최우추정량 (MLE, Maximum Likelihood Estimator)

전체 링크

최우추정량 (MLE, Maximum Likelihood Estimator)

- 데이터가 실제로 관측되었을 때, 그 데이터를 가장 잘 설명하는 모수(parameter)를 찾는 방법

- 어떤 데이터 x1, x2, ..., xn에 대해, 이 데이터가 어떤 분포 f(x; θ)에서 왔다고 가정할 때, 데이터가 동시에 나타날 확률

를 가능도 함수(Likelihood Function)라 한다.

- 이때, 가능도 함수 L(θ)를 가장 크게 만드는 θ를 선택할 때, 

가 최우추정량

 

- 직관적이고 계산이 비교적 쉬움

- 많은 경우 일치성(consistency) : 표본이 많아지면 참값에 점점 가까워짐

- 불편추정량이 아닌 경우도 있음 (편향될 수 있음)

- MLE는 가능도를 최대화하는 값 (로그를 이용해 곱셈을 덧셈으로 바꿔서 미분)

- 결과가 직관적으로 기대되는 형태와 일치하는 경우가 많다. (정규분포, 포아송분포)

- MLE는 샘플이 커질수록 좋은 성질(일치성 등)을 가지지만, 작은 표본에서는 편향(bias)이 있을 수 있다.

 

ex.

- 정규분포의 최우추정량은 평균 (분산은 알려져있다고 가정)

- 정규분포에서 평균으로부터의 제곱오차 합을 최소화하는 값이 표본평균이고, 가능도를 최대로 만드는 값도 동일

---

- 지수분포의 최우추정량은 평균의 역수

-  λ : 단위시간당 평균 몇 번 사건이 일어나는지

- 1 / λ : 사건이 한 번 일어날 때까지 걸리는 평균 시간

- 지수분포의 평균이 1 / λ → 평균의 역수를 쓰는 게 자연스러움.

---

- 포아송분포의 최우추정량은 평균

- 포아송의 기대값이 λ  → 표본평균으로 자연스럽게 추정

---

- 기하분포의 최우추정량

* 1번 성공까지 시행 횟수 X = 1, 2, 3에 대해

 

 

* 성공 전 실패 횟수 X = 0, 1, 2에 대해