좋은 통계량의 필요 요소 - 일치성,충분성,효율성

왜 좋은 추정량이 필요한가?

— 추정량을 평가하기 위한 세 가지 기준의 출발점

우리는 데이터를 수집하고, 그 데이터를 통해 어떤 ‘숫자’를 계산합니다. 평균, 표준편차, 비율, 회귀계수… 하지만 그런 숫자들, 즉 ‘추정값’이 얼마나 믿을 만한지에 대해선 놀랍도록 많은 사람들이 무관심합니다.

예를 들어 어떤 약을 100명에게 줬더니 65명이 나았다고 해봅시다. 이때 "치유율은 65%"라고 말할 수 있을까요? 이건 단지 100명 중 65명이 나았다는 사실일 뿐입니다. 우리가 정말 알고 싶은 건 “전체 인구에서 이 약의 진짜 효과는 몇 퍼센트일까?” 입니다. 그 질문에 대답하기 위해 100명으로부터 얻은 데이터를 요약하고, 그걸로 진짜 값을 ‘추정’하는 것, 이게 통계의 핵심입니다.

그런데 한 가지 중요한 질문이 생깁니다.

“지금 우리가 계산한 이 추정값은 얼마나 믿을 만한가?”
“이 숫자가 ‘진짜’에 얼마나 가까울까?”

이건 단순히 숫자를 뽑는 것과는 완전히 다른 차원의 문제입니다. ‘어떤 방법으로 계산하느냐’에 따라, 우리가 얻게 되는 수치의 품질이 달라질 수 있기 때문입니다.

추정량은 많고, 방법도 많다

하나의 모수(예: 평균, 비율, 표준편차)를 추정하는 데는 다양한 방법이 존재합니다. 예를 들어, 평균을 구할 때도 단순 산술평균만 있는 게 아닙니다. 중앙값을 사용할 수도 있고, 절사평균(극단값 제거한 평균), 가중평균도 있습니다.

문제는 이들 중 어떤 것이 더 ‘좋은 추정량’인지 판단하기가 쉽지 않다는 것입니다. 모두 다 추정이긴 한데, 어떤 건 샘플 수가 많아져도 진짜 값과 멀고, 어떤 건 정보 일부만 사용하고, 어떤 건 샘플을 잘 압축하지 못합니다.

그래서 누군가는 이 질문을 던졌습니다.

“그렇다면 어떤 추정량이 ‘좋은 추정량’인가?”

이 질문에 대해 체계적으로 답변하려 한 사람이 바로 R. A. Fisher입니다. Fisher는 1922년 논문 “On the Mathematical Foundations of Theoretical Statistics”에서, 추정량의 ‘좋음’을 정의하기 위한 세 가지 기준을 제시합니다.

바로 다음의 세 가지입니다.

• 일치성(Consistency) – 샘플이 많아질수록 진짜 값에 가까워지는가?
• 효율성(Efficiency) – 같은 조건에서 오차가 가장 작은가?
• 충분성(Sufficiency) – 데이터에 담긴 모든 정보를 추정량이 포함하고 있는가?

이 세 기준은 단순한 기술적 조건이 아닙니다. 각각은 추정이라는 행위가 어떤 철학적 기반을 갖고 있어야 하는지, 또 수학적으로 어떤 구조를 따를 때 그 추정이 신뢰할 수 있는가를 보여주는 깊은 통찰입니다.

왜 세 가지나 필요한가?

세 가지 기준은 각각 다른 목적을 지닙니다.

• 일치성은 "장기적으로 맞는가?"라는 신뢰성의 기준을 줍니다.
• 효율성은 "지금 이 조건에서 가장 정확한가?"라는 실용적 기준을 줍니다.
• 충분성은 "그 수치가 데이터의 정보를 모두 담고 있는가?"라는 정보 이론적 기준을 줍니다.

예를 들어,

• 일치성만 만족하면, 장기적으로 맞긴 하지만 효율성이 낮아 쓸데없이 많은 샘플이 필요할 수 있습니다.
• 효율성만 만족하면, 빨리 추정하긴 하는데 진짜 값에 안 수렴할 수도 있습니다.
• 충분성만 만족하면, 정보는 잘 담고 있지만 그 값이 자꾸 흔들리거나 멀어질 수도 있습니다.

Fisher는 이 세 기준을 하나로 통합하려 하지 않았습니다. 그는 이 세 가지가 서로 다른 관점에서 추정을 바라보는 창이며, 좋은 추정량은 가능하면 이 세 가지를 동시에 만족하는 것이 이상적이라고 보았습니다.

지금 우리가 할 일: 세 기준을 하나하나 뜯어보기

이 글에서는 Fisher가 제시한 세 가지 기준을 하나씩 천천히 살펴볼 것입니다. 각 기준은 다음과 같은 구조로 다루어질 것입니다.

• 이 기준은 왜 등장했는가? (철학적 필요성)
• 어떻게 정의되는가? (수학적 정의와 조건)
• 직관적으로는 어떤 의미인가? (예시와 비유)
• 어떤 분포에서 어떻게 확인할 수 있는가? (정규분포, 이항분포, 포아송분포 예시)
• 이 기준이 없을 때 어떤 문제가 생기는가?

 

일치성(Consistency)

— 추정량은 반복할수록 진짜값에 가까워져야 한다

왜 일치성부터 시작하는가?

세 가지 기준 중 가장 먼저 생각해볼 수 있는 것이 바로 일치성입니다. 왜냐하면 이 기준은 마치 추정량에게 던지는 최소한의 예의 같은 것입니다.

“네가 아무리 다른 장점이 있어도,
계속 반복해서 쓰면 진짜 값에 가까워질 수는 있어야 하지 않겠니?”

Fisher는 이를 가장 기본적 기준으로 간주했습니다. 일치하지 않는 추정량은, 아무리 계산이 편하거나 지금은 정확해 보여도, 장기적으로는 믿을 수 없기 때문입니다.

일치성의 정의 — 수학적 표현

통계학에서 말하는 일치성(consistency)은 다음과 같이 정의됩니다.

\[ \hat{\theta}_n \xrightarrow{P} \theta \quad \text{(as } n \to \infty) \]

즉, 샘플 수 \( n \)이 무한히 커질수록, 추정량 \( \hat{\theta}_n \)은 모수 \( \theta \)에 확률적으로 수렴해야 한다는 뜻입니다.

\[ \forall \varepsilon > 0, \quad \lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \varepsilon) = 0 \]

이는 "샘플 수가 커질수록, 추정값이 진짜 값에서 벗어날 확률은 점점 0에 수렴한다"는 의미입니다. 말 그대로 계속 실험하고 관찰할수록 ‘진짜’에 가까워지는지를 따지는 것입니다.

직관적으로는 무슨 뜻인가?

사람들은 평균을 구할 때, 무의식적으로 이렇게 생각합니다.

“더 많은 데이터를 보면 진실에 더 가까워지겠지.”

이 기대는 바로 일치성이 있어야만 가능합니다.

예를 들어, 여러분이 어떤 주사의 치료율을 추정한다고 해봅시다. 10명을 써보면 대략적인 감을 잡을 수 있고, 100명을 써보면 훨씬 더 정확해지고, 1,000명을 써보면 거의 진짜 효과와 가까워질 것입니다.

이런 생각은 단순한 ‘느낌’이 아니라, 수학적으로 보장되어야 할 성질입니다. 그것이 바로 일치성입니다.

철학적으로는 왜 중요한가?

일치성은 단순히 ‘좋은 추정량’의 조건이 아닙니다. 그보다 훨씬 더 깊은 의미를 갖습니다. 그것은 바로,

반복 가능성의 정당화입니다.

과학은 경험의 반복을 통한 보편적 진리를 추구합니다. 그러기 위해서는 관찰 수가 많아질수록 그 결과가 안정적으로 수렴해야 합니다. 그렇지 않다면, 경험 자체가 무의미해질 수 있습니다.

따라서 일치성은 단지 수학적 수렴이 아니라, “실험이 의미 있으려면 이 조건은 반드시 만족해야 한다”는 철학적 원리에 가깝습니다.

Fisher의 정의는?

“A statistic satisfies the criterion of consistency, if, when it is calculated from the whole population, it is equal to the required parameter.”
(Fisher, 1922, Section 4)

즉, 모집단 전체로부터 계산했을 때 추정량이 진짜 모수와 일치한다면, 그 추정량은 일치적이라고 간주했습니다.

이 정의는 수학적 수렴 개념과는 조금 다르지만, 당시엔 추정량이 ‘제대로 작동하려면’ 가장 기본적으로 충족해야 하는 조건으로 강조된 것이었습니다.

세 가지 분포 예시로 보는 일치성

✅ 예시 1. 정규분포

\[ X_1, X_2, ..., X_n \sim \mathcal{N}(\mu, \sigma^2) \]

추정량: 표본평균 \( \bar{X} = \frac{1}{n} \sum X_i \)

→ 이 추정량은 평균 \( \mu \)에 대해 불편하고, 일치적입니다.

\[ E[\bar{X}] = \mu, \quad \text{Var}(\bar{X}) = \frac{\sigma^2}{n} \xrightarrow{n \to \infty} 0 \]

결론: 샘플 수가 많아질수록 \( \bar{X} \)는 \( \mu \)에 수렴합니다.

---

✅ 예시 2. 이항분포

\[ X \sim \text{Binomial}(n, p) \]

추정량: 성공률 추정 \( \hat{p} = x/n \)

→ 이 추정량도 \( p \)에 대해 일치성을 가집니다.

\[ E[\hat{p}] = p, \quad \text{Var}(\hat{p}) = \frac{p(1-p)}{n} \Rightarrow \text{확률수렴} \]

---

✅ 예시 3. 포아송분포

\[ X_1, ..., X_n \sim \text{Poisson}(\lambda) \]

추정량: \( \hat{\lambda} = \bar{X} \)

\[ E[\hat{\lambda}] = \lambda, \quad \text{Var}(\hat{\lambda}) = \frac{\lambda}{n} \to 0 \]

→ 역시 일치성 보장.

일치하지 않는 추정량도 있을까?

있습니다.

예를 들어, 어떤 이상한 방식으로 추정량을 정의했다고 해봅시다:

\[ \hat{\theta}_n = \text{표본의 첫 번째 값만 사용} \]

그러면 어떤 일이 벌어질까요?

• 분산은 줄지 않고,
• 표본 수가 늘어나도 정보가 축적되지 않습니다.

즉, 반복해도 진짜값에 가까워지지 않기 때문에 일치하지 않습니다.

요약

항목	설명
정의	샘플 수가 많아질수록 추정량이 진짜 모수에 수렴
수학적 조건	\( \hat{\theta}_n \xrightarrow{P} \theta \)
철학적 의미	반복 가능성, 경험의 누적이 유효하려면 반드시 필요
예시	정규분포(평균), 이항분포(성공률), 포아송분포(평균) 등
위배 시 문제	추정의 의미 자체가 붕괴됨

효율성(Efficiency)

— 같은 데이터를 써도 더 정확한 추정이 있다

왜 일치성만으로는 부족한가?

앞서 살펴본 일치성은 추정량이 장기적으로는 진짜 값에 수렴해야 한다는 기준입니다. 하지만 이런 질문을 해볼 수 있습니다.

“일치하긴 하는데, 너무 느리게 수렴하면 어떡하지?”
“누구는 100명만 봐도 정확히 추정하는데, 누구는 500명이나 필요하면?”
“그럼 둘 중 어느 추정량이 더 ‘좋다’고 말할 수 있을까?”

바로 이 질문에 답하기 위한 것이 효율성입니다.

효율성은 “같은 정보를 얼마나 잘 활용하느냐”의 문제입니다. 즉, 더 작은 오차로, 더 빨리 진짜 값에 도달하는 추정량을 찾고자 하는 것이죠.

Fisher의 정의

“The efficiency of a statistic is the ratio of its intrinsic accuracy to that of the most efficient statistic possible.”
(Fisher, 1922, Section 4)

여기서 말하는 intrinsic accuracy(고유 정확도)란 추정량이 가진 정보량, 혹은 오차의 크기를 의미합니다. 즉, 효율성은 다음과 같이 수학적으로 정의할 수 있습니다.

수학적 정의 — 분산을 비교하여 계산

\[ \text{Efficiency}(\hat{\theta}) = \frac{\text{Var}(\hat{\theta}_{\text{best}})}{\text{Var}(\hat{\theta})} \]

• \( \hat{\theta}_{\text{best}} \): 가능한 가장 낮은 분산을 가진 이상적 추정량
• \( \hat{\theta} \): 우리가 현재 사용 중인 추정량

결과적으로,

• 효율성 = 1 (또는 100%)이면 최적의 추정량
• 효율성 < 1이면 정보의 일부를 활용하지 못함
• 효율성 0.5라면, 같은 정확도를 내려면 샘플을 2배 더 많이 써야 함

예시를 통해 보는 직관

⚖️ A와 B가 평균을 추정한다고 해보겠습니다.

• A는 효율성 100%인 방법을 사용합니다.
• B는 효율성 50%인 방법을 사용합니다.

그러면?

• A는 샘플 100개만으로 충분한 정확도를 얻습니다.
• B는 동일한 정확도를 얻으려면 샘플을 200개나 모아야 합니다.

같은 목표에 도달하는 데, 더 많은 자원(샘플, 비용, 시간)을 쓰게 되는 셈이죠.

철학적으로 왜 중요한가?

효율성은 단순히 계산 편의의 문제가 아닙니다. 이는 정보를 낭비하느냐, 최대한 활용하느냐의 문제입니다.

• 일치성은 “언젠간 도달한다”는 보장을 줍니다.
• 효율성은 “빨리 도달할 수 있는가?”를 따집니다.

현실에서는 샘플 수가 무한히 클 수 없습니다. 언제나 제한된 데이터 속에서 우리는 추정을 해야 합니다. 이때 최대한 빠르고 정확하게 진실에 도달하는 능력, 그게 바로 효율성입니다.

“Among consistent statistics, choose the one with the smallest asymptotic variance.”

즉, 일치성은 기본 조건, 그 안에서 분산이 가장 작은 것, 그게 효율적인 추정량이라는 뜻입니다.

분포별 예시로 보는 효율성

---

✅ 예시 1. 정규분포에서의 표준편차 추정

\[ X_1, ..., X_n \sim \mathcal{N}(\mu, \sigma^2) \]

두 가지 표본분산 추정량:

• (1) \( s^2 = \frac{1}{n} \sum (X_i - \bar{X})^2 \)
• (2) \( s^2 = \frac{1}{n-1} \sum (X_i - \bar{X})^2 \)

- (1)은 편향이 있고, - (2)는 불편하며, 더 효율적입니다.

Fisher는 편향을 제거하면서 오차를 최소화하기 위해 (2)를 선호했습니다. 결과적으로, (2)는 효율성이 더 높습니다.

---

✅ 예시 2. 이항분포에서의 성공률 추정

\[ X \sim \text{Bin}(n, p), \quad \hat{p} = X/n \]

여기서 \( \hat{p} \)는

• 불편,
• 일치적,
• 최소 분산 추정량(MVUE)

\[ \text{Var}(\hat{p}) = \frac{p(1-p)}{n} \]

→ 효율성 100%. 어떤 다른 추정량도 이보다 더 나은 분산을 가질 수 없습니다.

---

✅ 예시 3. 포아송분포에서의 평균 추정

\[ X_1, ..., X_n \sim \text{Poisson}(\lambda) \]

추정량: \( \hat{\lambda} = \bar{X} \)

\[ E[\hat{\lambda}] = \lambda, \quad \text{Var}(\hat{\lambda}) = \frac{\lambda}{n} \]

→ 역시 효율성 100%, 최적 추정량입니다.

효율성 차이를 그림으로 보면?

추정량	분산	효율성	필요한 샘플 수
최적 추정량 A	1/n	100%	100개
다른 추정량 B	2/n	50%	200개
다른 추정량 C	4/n	25%	400개

요약

항목	설명
정의	추정량의 분산이 최적 추정량에 얼마나 가까운가
수학식	\( \text{Efficiency} = \frac{\text{Var}(\hat{\theta}_{\text{best}})}{\text{Var}(\hat{\theta})} \)
철학적 의미	정보의 최대 활용, 빠르고 정확한 추정
예시	정규분포(표본분산), 이항분포(성공률), 포아송분포(평균)
효율성 낮을 경우	같은 정확도 위해 샘플 수를 더 많이 써야 함

충분성(Sufficiency)

— 더 이상 줄일 수 없을 때, 그게 진짜 요약이다

추정값은 ‘정보 요약’이다

우리는 데이터를 수집하고, 거기서 어떤 수치를 계산합니다. 평균, 분산, 성공률, 회귀계수…

이 수치들은 데이터의 전부가 아니라, 데이터를 요약한 것입니다. 즉, 정보 압축입니다.

하지만 여기서 한 가지 중요한 질문이 생깁니다.

“그렇게 요약한 수치 하나로, 원래 데이터가 담고 있던 모든 정보를 보존했는가?”

예를 들어, 데이터 100개에서 평균 하나를 구했다고 합시다. 그 평균이 우리가 추정하고자 하는 모수(예: μ)에 관한 모든 정보를 담고 있을 수도 있고, 아니면 일부만 담고 있을 수도 있습니다.

이 차이를 판별하는 기준이 바로 충분성(sufficiency)입니다.

충분성의 정의 — 더 이상 아무것도 보탤 게 없는 상태

“A statistic satisfies the criterion of sufficiency when
no other statistic from the same sample provides any additional information
as to the value of the parameter to be estimated.”
(Fisher, 1922, Section 4)

즉, 어떤 통계량 \( T(X) \)을 구했는데, 그걸 알고 나면 데이터에서 모수 \( \theta \)에 대해 더 알 수 있는 게 아무것도 없다면, 그 \( T(X) \)는 충분(sufficient)하다고 말합니다.

📐 수학적으로는 이렇게 정의됩니다:

Factorization Theorem (인수분해 정리):
확률밀도 함수 \( f(x|\theta) \)가 다음과 같이 쪼개질 수 있을 때,

\[ f(x|\theta) = g(T(x), \theta) \cdot h(x) \]

여기서:

• \( T(x) \)는 통계량
• \( g \)는 \( \theta \)와 \( T(x) \)만의 함수
• \( h(x) \)는 \( \theta \)에 전혀 의존하지 않는 함수

그렇다면 \( T(x) \)는 \( \theta \)에 대해 충분한 통계량입니다.

직관적으로는 무슨 뜻인가?

이것은 "정보의 완전성"에 관한 기준입니다.

예를 들어, 데이터를 직접 보지 않고, 요약값 \( T(x) \)만 봤다고 합시다. 그런데 그걸 가지고도 \( \theta \)를 추정하는 데 아무런 손해가 없었다면?

→ 그때 \( T(x) \)는 충분한 통계량입니다.

다르게 말하면,

“이 이상 더 줄일 수 없을 만큼 정보를 압축한 요약이다.”

왜 중요한가?

충분성은 단순히 ‘정보를 잘 담았는가?’가 아닙니다. 이 개념은 통계 추정이 본질적으로 정보 요약이라는 점을 전제합니다.

“A sufficient statistic summarises the whole of the relevant information supplied by the sample.”

이 말은 다음의 사실을 암시합니다.

• 우리가 가진 데이터가 모수에 대해 주는 정보량은 한정되어 있다.
• 충분한 통계량은 그 정보를 100% 요약한 것이다.
• 만약 추정량이 충분하지 않다면, 정보 일부를 잃은 채로 추정하는 것이다.

따라서 충분성은 가장 정보 보존적인 추정량이 어떤 것인지 보여주는 기준입니다.

세 가지 분포 예시로 보는 충분성

---

✅ 예시 1. 정규분포 (평균과 분산 추정)

\[ X_1, ..., X_n \sim \mathcal{N}(\mu, \sigma^2) \]

모수: \( \mu, \sigma^2 \)
통계량: \( (\bar{X}, S^2) \)

→ 이 두 개의 통계량은 \( (\mu, \sigma^2) \)에 대해 충분합니다.

공동 밀도함수:

\[ f(x_1,...,x_n|\mu,\sigma^2) = \left( \frac{1}{\sqrt{2\pi \sigma^2}} \right)^n \exp\left( -\frac{1}{2\sigma^2} \sum (x_i - \mu)^2 \right) \]

이 식은 다음과 같이 표현됩니다:

\[ = g(\bar{X}, S^2, \mu, \sigma^2) \cdot h(x) \]

→ factorization 조건을 만족.

---

✅ 예시 2. 이항분포 (성공률 추정)

\[ X \sim \text{Binomial}(n, p) \]

통계량: 성공 횟수 \( x \)

→ 이것은 \( p \)에 대해 충분한 통계량입니다.

\[ f(x|p) = \binom{n}{x} p^x (1-p)^{n-x} = g(x, p) \cdot h(x) \]

→ factorization 만족.

---

✅ 예시 3. 포아송분포 (평균 추정)

\[ X_1, ..., X_n \sim \text{Poisson}(\lambda) \]

통계량: 총합 \( T = \sum X_i \)

→ 이 \( T \)는 \( \lambda \)에 대해 충분한 통계량입니다.

\[ f(x_1,...,x_n|\lambda) = \prod \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{\prod x_i!} = g\left(\sum x_i, \lambda\right) \cdot h(x) \]

---

충분성의 핵심: 조건부 독립성

충분성은 또 다른 방식으로도 정의할 수 있습니다:

“어떤 추정량 \( T \)이 충분하다면,
그걸 알고 나면 원래 데이터를 더 봐도 모수 \( \theta \)에 대한 이해는 달라지지 않는다.”

즉, \( \theta \)와 \( X \)는 \( T(X) \)이 주어졌을 때 조건부 독립입니다.

이건 통계학에서 매우 강력한 조건입니다. 추정량이 단지 “잘 맞는다” 수준이 아니라, 정보적으로 완전하다는 뜻이기 때문입니다.

요약

항목	설명
정의	데이터에서 추출한 통계량이 모수에 대한 모든 정보를 담고 있으면 충분함
수학식	\( f(x|\theta) = g(T(x), \theta) \cdot h(x) \)
철학적 의미	정보 보존의 극한. 데이터 압축의 완성형
예시	정규분포 (\( \bar{X}, S^2 \)), 이항분포 (성공횟수), 포아송 (총합)
조건부 해석	\( \theta \)와 \( X \)는 \( T(X) \)를 알고 나면 독립

세 가지 기준의 통합과 비교

— 좋은 추정량의 조건은 어떻게 함께 작동하는가?

세 기준, 다시 한 번 요약해보자

기준	핵심 질문	요약된 정의
일치성	“반복하면 진짜에 가까워지는가?”	샘플 수가 증가할수록 추정량이 모수에 확률적으로 수렴
효율성	“같은 정보로 더 정확하게 추정할 수 있는가?”	분산이 가장 작아야 하며, 정보를 최대로 활용해야 함
충분성	“모수에 대한 정보를 모두 담았는가?”	데이터에 담긴 모수 관련 정보를 손실 없이 요약한 통계량

각 기준은 통계 추정에서 다른 측면을 평가합니다.

• 일치성: 장기적 신뢰도
• 효율성: 단기적 정확도
• 충분성: 정보 압축력

세 기준은 어떤 관계에 있을까?

“충분성을 만족하면 효율성도 만족한다.”
“효율성은 일치성을 포함한다.”

즉, 세 기준은 계층적 구조를 가집니다.

🔁 논리적 포함 관계:

\[ \text{충분성} \Rightarrow \text{효율성} \Rightarrow \text{일치성} \]

그러나 역은 성립하지 않습니다.

조합	가능한가?	예시
일치성만 있음	✅	편향된 표준편차 추정량 (분모에 n 사용)
일치성 + 효율성	✅	불편하지만 충분하지 않은 추정량
효율성만 있음	❌	충분하지 않으면 효율성도 떨어지기 쉬움
충분성만 있음	❌	충분하면 거의 항상 효율성과 일치성도 포함
세 가지 모두 있음	✅	MLE, \(\hat{p}, \hat{\lambda}, \bar{X}\)

✅ 도식화: 세 기준의 포함 구조

     [충분성]
        ↓
     [효율성]
        ↓
     [일치성]

즉, 충분하면 효율하고, 효율하면 결국 일치합니다. 하지만 거꾸로는 성립하지 않습니다.

왜 이 구조가 중요한가?

이 포함 관계는 우리가 실제로 추정량을 설계하거나 선택할 때 매우 중요합니다. 각 기준이 요구하는 수준이 다르기 때문입니다.

🪜 단계별 요구 수준

• 일치성: “최소 요구 조건”
  → 수렴조차 하지 않는 추정량은 탈락
• 효율성: “여러 일치 추정량 중 최적”
  → 같은 정보로 더 빠르게 추정
• 충분성: “정보 손실 없이 요약”
  → 더 이상 개선 불가능한 최상 수준

결국 이 기준들은 추정량을 고를 때 걸러내는 세 개의 체처럼 작동합니다.

대표 추정량 기준별 비교표

추정량	일치성	효율성	충분성
정규분포의 \( \bar{X} \)	✅	✅	✅
표준편차 \( s = \sqrt{\frac{1}{n} \sum (x_i - \bar{x})^2} \)	✅	❌	❌
표준편차 \( s = \sqrt{\frac{1}{n-1} \sum (x_i - \bar{x})^2} \)	✅	✅	✅
이항분포의 \( \hat{p} = x/n \)	✅	✅	✅
포아송의 \( \hat{\lambda} = \bar{X} \)	✅	✅	✅
중앙값 (비모수)	✅	❌	❌

실험 설계나 통계적 판단에서의 시사점

통계학자는 언제나 한정된 데이터 안에서, 가장 정확한 추정을 원합니다. 그럴 때 위 기준은 다음과 같은 판단 기준이 됩니다:

• 일치성만 만족: 추정 자체는 가능하나, 신뢰도가 낮고 효율성 낮음
• 효율성까지 만족: 자원(데이터 수)을 덜 들이고 정확한 추정 가능
• 충분성까지 만족: 더 이상의 데이터 요약이 필요 없음 (완전 요약)

🎯 실제로 사용할 때는?

실제에서는 MLE를 쓰는 경우가 많습니다. 왜냐하면 대부분의 경우 MLE는 다음을 만족하기 때문입니다.

• asymptotic consistency (일치성)
• asymptotic efficiency (대표본 효율성)
• sufficiency (많은 분포에서 성립)

즉, MLE는 Fisher가 제시한 세 기준을 현실적으로 만족하는 대표적인 방법입니다.

맺음말: “좋은 추정량이란 무엇인가?”

Fisher는 추정량에 대해 세 가지 질문을 던졌습니다.

• 장기적으로 진짜를 말해주는가? → 일치성
• 최소한의 노력으로 최대한 정확한가? → 효율성
• 정보를 하나도 놓치지 않았는가? → 충분성

이 세 질문에 모두 "예"라고 대답할 수 있다면, 그 추정량은 좋은 추정량입니다.

그리고 통계학은 이 세 질문에 "그렇다"라고 대답할 수 있는 수단을 찾기 위한 학문이라 할 수 있습니다.