그리드서치와 랜덤서치

그리드 서치란?

• 모델의 최적 하이퍼파라미터를 찾기 위한 기법.
• 성능을 가장 잘 내도록 하는 하이퍼파라미터 조합을 체계적으로 탐색함.
• 그리드 서치는 가능한 모든 조합을 시도하여 가장 좋은 성능을 내는 조합을 선택하는 방식임.

 

결정 트리 모델에서의 min_impurity_decrease 파라미터

• 정지 조건을 설정하는 하이퍼파라미터.
• 노드를 분할할지 여부를 결정하는 기준으로 사용.
• min_impurity_decrease가 클수록:
  • 정보 이득(impurity 감소량) 이 커야 분할이 일어나므로 → 덜 복잡한 트리
• 값이 작을수록 → 더 많이 분할, 리프 노드 증가, 과적합 가능성 증가

 

정보 이득(impurity decrease)이란?

결정 트리는 데이터셋을 질문으로 나누는 방식으로 학습합니다. 이때 각 분할은 데이터의 순도(purity)를 높이는 방향이어야 합니다.

• Gini index, entropy, variance 등이 impurity의 예시
• impurity가 많이 감소할수록 좋은 분할

 

그리드 서치의 필요성

• 예를 들어 max_depth=3이 최적인 상황에서,
  min_impurity_decrease의 최적값은 max_depth=3일 때와 다를 수 있음.
• 따라서 min_impurity_decrease와 max_depth를 동시에 탐색해야 함.

 

---

 

랜덤 서치(Random Search)란?

• 하이퍼파라미터 튜닝 기법 중 하나로, 모든 조합을 시도하는 그리드 서치와 달리
  지정된 범위 내에서 무작위로 일부 조합만 추출해 평가하는 방식
• 장점:
  • 고차원 공간에서 시간/자원 효율적
  • 모든 조합을 시도하지 않기 때문에 계산 비용 절감

 

---

 

항목	Grid Search	Random Search
시도하는 조합	전체 조합	무작위 일부 조합
효율성	낮음 (조합 많을수록 비용 ↑)	높음
탐색 범위	제한적 (고정된 격자)	유연 (연속형도 가능)
적용 예	소규모 조합, 정밀 튜닝	대규모 조합, 빠른 탐색