베이지안 최적화
- 목적 함수 식을 제대로 알 수 없는 블랙 박스 형태의 함수에서
최대 또는 최소 함수 반환 값을 만드는 최적 입력값을 가능한 적은 시도로 찾는 방법
- ex. f(x, y) = x - 2y 를 최대/최소로 하는 x, y를 찾는 것
- 입력값 = 하이퍼 파라미터
- 하이퍼 파라미터 튜닝에 사용
베이지안 최적화는 목적 함수를 직접적으로 최적화하지 않고,
1. 확률적 모델(보통 가우시안 프로세스, Gaussian Process) 로 목적 함수를 추정하고
2. 이 추정 모델을 이용해서 다음에 실험할 점을 똑똑하게 고르는 방식
→ 이 지점에서 실험을 하면 좋은 결과를 얻을 확률이 높겠다는 식으로
탐색과 이용(Exploration vs Exploitation)을 균형있게 해 나가면서 최적값을 찾는다.
베이지안 확률
- 새로운 사건의 관측이나 새로운 샘플 데이터를 기반으로 사후 확률을 개선해 나가는 것
→ 베이지안 최적화는 새로운 데이터를 입력받았을 때, 최적 함수를 예측하는 사후 모델을 개선
대체 모델 (Surrogate Model)
- 획득 함수로부터 최적 함수를 예측하는 입력값을 추천 받은 뒤 이를 기반으로 최적 함수 모델을 개선
획득 함수 (Acquisition Function)
- 개선된 대체 모델을 기반으로 최적 입력값을 계산
대체 모델은 획득 함수가 계산한 하이퍼 파라미터를 입력받으면서 점차적으로 개선
개선된 대체 모델을 기반으로 획득 함수는 더 정확한 하이퍼 파라미터를 계산
1. 시작: 몇 개의 초기 점에서 목적 함수를 평가
2. 모델링: 평가한 데이터를 바탕으로 목적 함수를 근사할 확률적 모델(보통 가우시안 프로세스)을 학습
3. 획득 함수(Acquisition Function): 다음 평가할 후보 점을 선택 (예: EI, PI, UCB 등)
4. 평가: 선택한 점에서 목적 함수를 실제로 평가
5. 업데이트: 새 데이터를 추가하여 모델을 갱신
6. 반복: 만족할 만한 결과가 나오거나 예산이 다할 때까지 반복
1. 랜덤하게 하이퍼 파라미터들을 샘플링 -> 성능 결과 관측
2. 관측된 값을 기반으로 대체 모델은 최적 함수를 추정
3. 추정된 최적 함수를 기반으로 획득 함수는 다음으로 관측할 하이퍼 파라미터 값을 계산
획득 함수는 이전의 관측 값보다 더 큰 최댓값을 가질 가능성이 높은 지점을 찾아서
다음에 관측할 하이퍼 파라미터를 대체 모델에 전달
4. 획득 함수로부터 전달된 하이퍼 파라미터를 수행하여 관측된 값을 기반으로 대체 모델은 갱신되어 다시 최적 함수를 예측
최적 함수 추정 알고리즘 = 가우시안 프로세스(Gaussian Process)
댓글