제1부 수학적 기초

1.20 확률·통계 II: 추정 이론(MLE·MAP·크라메르-라오)·정보 이론

1.20.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자

이 장은 측정에서 미지의 양을 구하는 추정의 이론, 곧 추정량의 평가 기준(편향·분산·평균제곱오차), 최대 우도 추정(MLE)과 사후 최대 추정(MAP), 어떤 불편 추정량도 넘지 못하는 정확도의 하한인 크라메르-라오 한계(CRB), 그리고 정보의 양을 재는 엔트로피·KL 발산·상호 정보를 정리한다. 상태추정 필터(9.1·9.3), 비선형 최소제곱 보정(1.12), 그래프 기반 SLAM(9.8)은 모두 최대 우도 또는 사후 최대 추정이며, CRB는 센서 배치의 정보량과 추정기의 효율을 판단하는 기준이다. 다룰 질문은 다섯 가지다. 추정량의 좋음은 어떻게 재며 최대 우도 추정은 왜 편향될 수 있는가, 피셔 정보와 CRB는 무엇이고 거리 측정 위치추정에서 센서 배치가 정확도 하한을 어떻게 바꾸는가, 표본 평균·중앙값·최대 우도는 분포에 따라 어떤 효율을 갖는가, 사전분포를 더한 MAP는 최대 우도와 어느 조건에서 유리한가, 정보 이득과 KL 발산은 어떻게 계산하고 해석하는가.

배우는 것:

• 추정량의 평가 — 편향, 분산, 평균제곱오차(MSE), 일치성, 효율.
• 최대 우도 추정 — 우도·점수, 가우시안과 코시 위치추정, $(1/N)$ 분산의 편향.
• 피셔 정보와 CRB — 정의, 가우시안 측정 모델의 $J^\top R^{-1}J$, 거리 측정 위치추정의 CRB.
• MAP와 편향-분산 — 가우시안 사전분포의 축소, 평균제곱오차의 교차점.
• 정보 이론 — 엔트로피, KL 발산(비대칭), 정보 이득.
• 라이브러리 — SciPy와의 비교.

선수 지식: 1.19(가우시안·베이즈 갱신), 1.12(비선형 최소제곱), 1.2(최소제곱·정규방정식). 확률 과정과 가우시안 과정은 1.21, 필터는 9.1·9.3, 추정기의 일관성·관측 가능성은 9.14이 다룬다.

특히 중요한 독자: 센서 배치와 필터 설계를 하는 엔지니어, 추정기의 정확도 한계를 평가하는 연구자, 최적화 기반 추정의 불확실성을 보고하는 소프트웨어 개발자.

출처 방침. 서지는 Crossref 응답으로 확인했다(목록은 이 장 끝). 직접 실행한 것: SciPy 1.18.1(stats.norm.fit·multivariate_normal.entropy·optimize.minimize_scalar·integrate.quad)과 NumPy 2.5.4(linalg). 읽지 못한 것: 인용한 교과서·논문의 본문(정리 번호는 (확인 필요)), SciPy의 소스. 이 장의 수치는 순수 파이썬 구현으로 계산했으며 1.19의 가우시안 표본·베이즈 갱신, 1.12의 레벤버그-마콰트, 1.9의 고유분해를 불러와 사용했다.

1.20.2 개념 — 추정의 정확도에는 한계가 있다

같은 측정에서 추정 방법은 여럿이지만 측정 잡음이 있는 한 어떤 방법도 일정 수준 이하로 오차를 줄일 수 없다. 그 하한이 피셔 정보로 정해지는 CRB이다. 하한에 닿는 추정량을 효율적(efficient)이라 한다. 표본 평균은 가우시안 잡음에서 효율적이지만 라플라스 잡음에서는 중앙값이 더 낫고, 코시 잡음에서는 평균이 수렴하지 않는다. 잡음의 분포를 알면 그 분포의 최대 우도가 최선의 후보이다.

사전 지식(사전분포)을 더하면 편향을 허용하는 대신 분산이 줄어 평균제곱오차가 작아질 수 있다. 이 균형(편향-분산)이 MAP·규제의 근거이다. 정보 이론은 이 모두를 같은 단위(nat 또는 bit)로 잰다.

1.20.3 원리

1.20.3.1 추정량의 평가

결론: 추정량 $\hat\theta$의 평균제곱오차는 분산과 편향 제곱의 합 $\mathrm{MSE}=\mathrm{Var}(\hat\theta)+\mathrm{bias}^2$이며, 편향이 없다고 최선은 아니고 편향을 허용하면 MSE가 작아지는 경우가 있다.

참값 $\theta$에 대해 $\mathrm{bias}=\mathbb E[\hat\theta]-\theta$이다. 표본 수가 늘 때 $\hat\theta\to\theta$이면 일치성이 있고, 일치성이 있으면서 분산이 CRB에 닿으면 점근적으로 효율적이다. 가우시안 $N(\mu,\sigma^2)$ 표본 $N$개의 최대 우도 분산 추정 $\hat\sigma^2=\tfrac1N\sum(x_i-\bar x)^2$은 $\mathbb E[\hat\sigma^2]=(1-1/N)\sigma^2$로 아래로 편향되며 $\tfrac1{N-1}$로 나누면 불편이다(1.20.5에서 확인).

1.20.3.2 최대 우도 추정

우도 $L(\theta)=\prod_ip(x_i\mid\theta)$를 최대화하는 $\hat\theta$가 최대 우도 추정이다. 로그 우도의 기울기 $s(\theta)=\partial\log L/\partial\theta$(점수)가 0인 점을 푼다. 표본 평균은 가우시안 평균의 최대 우도이고 코시 위치의 최대 우도는 닫힌 식이 없어 뉴턴 반복으로 푼다. 최대 우도는 일치성과 점근 정규성·효율성이 알려져 있다(정리 번호는 (확인 필요); Fisher 1922가 원 출처로 알려져 있다). 가우시안 잡음에서 측정 모델 $z=h(x)+v$의 최대 우도는 비선형 최소제곱 $\min\tfrac12\sum\lVert z_i-h_i(x)\rVert^2_{R^{-1}}$이다(1.12).

1.20.3.3 피셔 정보와 크라메르-라오 한계

결론: 불편 추정량의 공분산은 피셔 정보 행렬의 역행렬 이상이며($\Sigma\succeq I^{-1}$), 가우시안 측정에서 피셔 정보는 $J^\top R^{-1}J$이다. 비선형 최소제곱의 정규방정식 행렬이 곧 피셔 정보이다.

피셔 정보는 $I(\theta)=\mathbb E\bigl[(\partial_\theta\log p(x\mid\theta))^2\bigr]=-\mathbb E[\partial^2_\theta\log p]$이고 표본이 독립이면 $N$배가 된다. 불편 추정량 $\hat\theta$는 $\mathrm{Var}(\hat\theta)\ge1/(NI(\theta))$이다(Rao 1945와 Cramér가 원 출처로 알려져 있으며 정리 번호는 (확인 필요)). 다변수에서는 $\mathrm{Cov}(\hat\theta)\succeq(NI)^{-1}$이다. 가우시안 측정 $z=h(x)+v$($v\sim\mathcal N(0,R)$)에서 $I=J^\top R^{-1}J$($J=\partial h/\partial x$)이다. 이것은 가우스-뉴턴의 정규방정식 행렬이므로(1.12.3.1) 수렴한 해의 공분산 근사 $(J^\top R^{-1}J)^{-1}$가 선형화 CRB이다.

거리 측정 위치추정. 거리 측정 $z_i=\lVert x-a_i\rVert+v_i$($v_i\sim\mathcal N(0,\sigma^2)$)의 야코비안 행은 표지 방향의 단위 벡터 $u_i=(x-a_i)/\lVert x-a_i\rVert$이므로

$$I=\frac1{\sigma^2}\sum_iu_iu_i^\top,\qquad \mathrm{CRB}=\sigma^2\Bigl(\sum_iu_iu_i^\top\Bigr)^{-1}$$

이다. 방향이 다양할수록(표지가 위치를 둘러쌀수록) $\sum u_iu_i^\top$이 잘 조건화되어 CRB가 작아지고, 표지가 거의 한 방향이면 CRB가 커진다.

1.20.3.4 사후 최대 추정과 편향-분산

결론: 가우시안 사전분포를 더한 MAP는 최대 우도 해를 사전 평균 쪽으로 축소하며, 참값이 사전 평균 근처이면 평균제곱오차가 줄고 멀면 늘어난다.

MAP는 $\max_\theta[\log p(x\mid\theta)+\log p(\theta)]$이다. 평균 $\mu$의 측정이 $x_i\sim\mathcal N(\mu,\sigma^2)$이고 사전이 $\mathcal N(\mu_0,\tau^2)$이면 $\hat\mu_{\mathrm{MAP}}=a\bar x+(1-a)\mu_0$, $a=\dfrac{N/\sigma^2}{N/\sigma^2+1/\tau^2}$이다. 분산은 $a^2\sigma^2/N$로 줄고 편향은 $(1-a)(\mu_0-\mu)$이다. 이는 릿지 회귀·티호노프 규제(1.2)와 같은 구조이며, 팩터 그래프의 사전 팩터(9.8)가 MAP의 사전 항이다.

1.20.3.5 정보 이론의 기초

결론: 가우시안의 엔트로피는 공분산의 행렬식으로 정해지고, 측정이 주는 정보 이득은 엔트로피의 감소와 같으며, KL 발산은 비대칭이다.

연속 분포의 (미분) 엔트로피 $h(p)=-\int p\ln p\,dx$는 가우시안에서 $\tfrac12\ln\bigl((2\pi e)^n\det\Sigma\bigr)$이다(단위 nat; Shannon 1948이 정보 이론의 출처). KL 발산 $D_{KL}(p\Vert q)=\int p\ln(p/q)\,dx\ge0$(Kullback & Leibler 1951; 서지 확인)은 비대칭이다. 두 가우시안 $\mathcal N(m_0,S_0)$, $\mathcal N(m_1,S_1)$ 사이에서

$$D_{KL}=\tfrac12\Bigl[\mathrm{tr}(S_1^{-1}S_0)+(m_1-m_0)^\top S_1^{-1}(m_1-m_0)-n+\ln\tfrac{\det S_1}{\det S_0}\Bigr]$$

이다. 선형-가우시안 측정(1.19.3.3)의 정보 이득은 $\tfrac12\ln\det\Sigma-\tfrac12\ln\det\Sigma^+=\tfrac12\ln\det(I+R^{-1/2}H\Sigma H^\top R^{-1/2})$이다. 최대 우도는 경험 분포와 모형 사이의 KL 발산(교차 엔트로피)의 최소화와 같다는 관계가 알려져 있다 (확인 필요: 출처). 매개변수가 가까우면 KL 발산이 $\tfrac12\delta^\top I\delta$로 근사되어 피셔 정보가 KL의 곡률임을 보인다.

1.20.3.6 라이브러리 규약

SciPy의 stats.norm.fit은 최대 우도 평균과 $(1/N)$ 분산의 제곱근을 반환한다(이 장이 확인). stats.multivariate_normal.entropy는 위의 가우시안 엔트로피를 계산하고, 코시 위치의 최대 우도는 optimize의 스칼라 최소화로 구했다. 이 장의 구현과 같은 입력에서의 결과를 비교했다(1.20.5).

1.20.4 알고리즘

최대 우도(코시), CRB, MAP, 엔트로피·KL

가우시안 MLE:   μ̂ ← x̄ ;  σ̂² ← (1/N) Σ (x_i − x̄)²              (불편 추정은 1/(N−1))
코시 위치 MLE:  m ← 중앙값 ;  반복: g ← Σ 2(x−m)/(1+(x−m)²) ;  h ← Σ 2(1−(x−m)²)/(1+(x−m)²)²
                m ← m + g/h
거리 측정 CRB:  u_i ← (x − a_i)/‖x − a_i‖ ;  I ← Σ u_i u_iᵀ / σ² ;  CRB ← I⁻¹
MAP(평균):      a ← (N/σ²)/(N/σ² + 1/τ²) ;  μ̂ ← a x̄ + (1−a) μ₀
엔트로피:       h = ½ ln((2πe)^n det Σ) ;  KL: 위의 닫힌 식

구현은 1.20.5의 코드에 있다.

1.20.5 풀이 예제 — 편향·효율·CRB·MAP·정보와 라이브러리 확인

가우시안 분산 추정의 편향, 위치추정량(평균·중앙값·최대 우도)의 효율, 거리 측정 위치추정에서 비선형 최소제곱의 오차와 CRB의 비교, MAP 대 최대 우도의 평균제곱오차, 엔트로피·KL 발산·정보 이득을 계산하고 SciPy와 대조한다. 결론부터 적으면 다음과 같다. ① $(1/N)$ 분산 추정의 평균은 이론 $(1-1/N)\sigma^2$과 같고($N=2$에서 0.5037 대 0.5) $\tfrac1{N-1}$로 나누면 1에 가깝다. ② $N=101$에서 $N\cdot$MSE는 가우시안에서 평균 1.006(CRB 1)·중앙값 1.545($\pi/2=1.571$), 라플라스에서 평균 2.075·중앙값 1.199(표본이 늘면 1.506→1.194→1.062→0.990으로 점근값 1에 접근), 코시에서 평균은 수렴하지 않고(사분위 범위가 단일 관측의 2 근처에서 유지) 중앙값 2.630·최대 우도 2.145(CRB 2)이다. ③ 거리 측정 위치추정에서 비선형 최소제곱의 MSE는 CRB의 0.98~1.10배(네 모서리 표지)이고 표지가 거의 일직선이면 CRB 자체가 2배 이상 크며 잡음이 크면 비가 1.24에서 0.68로 벗어난다. ④ MAP의 MSE는 참 평균이 사전 평균 근처이면 최대 우도(0.2)보다 작고(참 평균 0에서 0.139) 약 1.5를 넘으면 커진다(3에서 0.390). ⑤ 엔트로피 감소와 정보 이득이 1.1989 nat으로 같고 KL 발산은 비대칭이다(0.692 대 1.195). ⑥ SciPy와 $10^{-8}$ 안에서 일치한다.

구현. mle_normal·cauchy_mle·crb_range·map_mean·entropy_gauss·kl_gauss(det2·inv2). 1.19의 sample·cholesky·bayes_update, 1.12의 levenberg_marquardt

import math

def det2(A):
    return A[0][0] * A[1][1] - A[0][1] * A[1][0]

def inv2(A):
    d = det2(A)
    return [[A[1][1] / d, -A[0][1] / d],
            [-A[1][0] / d, A[0][0] / d]]

def mle_normal(x):
    """가우시안의 최대 우도: 표본 평균과 (1/N) 분산"""
    n = len(x)
    m = sum(x) / n
    return m, sum((v - m) ** 2 for v in x) / n

def cauchy_mle(x, it=60):
    """코시(척도 1) 위치의 최대 우도: 뉴턴 반복"""
    m = sorted(x)[len(x) // 2]
    for _ in range(it):
        g = h = 0.0
        for v in x:
            r = (v - m) ** 2
            g += 2 * (v - m) / (1 + r)
            h += 2 * (1 - r) / (1 + r) ** 2
        m += g / h if h > 0 else 0.5 * g / len(x)
    return m

def crb_range(anchors, pos, sigma):
    """거리 측정 CRB: sigma^2 (sum u u^T)^-1, u = 단위 방향"""
    F = [[0.0, 0.0], [0.0, 0.0]]
    for a in anchors:
        d = math.hypot(pos[0] - a[0], pos[1] - a[1])
        u = ((pos[0] - a[0]) / d, (pos[1] - a[1]) / d)
        for i in range(2):
            for j in range(2):
                F[i][j] += u[i] * u[j] / sigma ** 2
    return inv2(F)

def map_mean(x, sigma, mu0, tau):
    """가우시안 평균의 MAP(사전 N(mu0, tau^2))"""
    n = len(x)
    w = n / sigma ** 2
    num = w * sum(x) / n + mu0 / tau ** 2
    return num / (w + 1 / tau ** 2)

def entropy_gauss(S):
    """(1/2) ln((2 pi e)^n det S), n=2, 단위 nat"""
    c = (2 * math.pi * math.e) ** 2
    return 0.5 * math.log(c * det2(S))

def kl_gauss(m0, S0, m1, S1):
    """KL(N0 || N1), n=2"""
    P, R = inv2(S1), range(2)
    d = [m1[i] - m0[i] for i in R]
    tr = sum(P[i][j] * S0[j][i] for i in R for j in R)
    q = sum(d[i] * P[i][j] * d[j] for i in R for j in R)
    return 0.5 * (tr + q - 2 + math.log(det2(S1) / det2(S0)))

① 분산 추정의 편향.

② 위치추정량의 효율. $N\cdot$MSE는 CRB의 $N$배(CRB$\times N$)와 비교한다. 가우시안의 최대 우도는 표본 평균, 라플라스의 최대 우도는 표본 중앙값과 같다.

가우시안의 표본 중앙값은 점근 효율 $2/\pi=0.637$(1/1.571)에 가까운 0.647(=1/1.545)이다. 라플라스에서는 표본 중앙값이 최대 우도이며 점근적으로 CRB에 닿는다. 라플라스의 중앙값은 표본이 작을 때 CRB보다 크다.

코시 분포의 표본 평균은 $N$이 늘어도 단일 관측과 같은 분포를 따르므로 정확도가 개선되지 않는다.

③ 거리 측정 위치추정과 CRB. 비선형 최소제곱 추정의 평균제곱오차를 CRB의 대각 합과 비교했다.

표지가 위치를 둘러싸면 잡음이 작을 때($\sigma=0.05$, 0.5) 추정이 CRB의 0.98~0.99배에 닿는다. 표지가 거의 일직선이면 CRB 자체가 2배 커지고($\sigma=0.5$에서 0.548 대 0.262) 추정 MSE가 CRB를 1.24배 넘으며, 도해는 $y$ 방향 오차가 길게 퍼지는 분포를 보인다. $\sigma=2$ m에서 일직선 배치의 비 0.68은 CRB 아래로 내려간 값이다. CRB는 불편 추정량의 한계이며 이 추정은 잡음이 크면 편향되므로 하한 아래의 MSE가 가능하다(이 해석은 (추정)).

④ MAP 대 최대 우도.

최대 우도의 MSE는 참 평균과 무관하게 $\sigma^2/N=0.2$이고, MAP는 참 평균이 사전 평균 0 근처에서 작고 멀수록 커져 약 1.5에서 교차한다(해석적 교차점 $\sqrt{(0.2-0.139)\times36}=1.48$).

⑤ 정보와 KL 발산.

1.19의 베이즈 갱신(측정 하나)에서 엔트로피 감소와 정보 이득 $\tfrac12\ln(1+H\Sigma H^\top/R)=\tfrac12\ln11$이 1.1989 nat으로 같다. KL 발산은 $A$에서 $B$로 0.692, $B$에서 $A$로 1.195이며 도해는 같은 평균 차이에서 $s$(표준편차 비)에 따라 KL이 달라짐을 보인다.

⑥ SciPy 호출 결과(실행 2026-11-03). 스크립트는 robotics/fig-src/1.20-libcheck.py, 출력은 robotics/fig-src/data/1.20-libcheck-output.txt에 있다.

한계. 수치는 합성 입력(시드 고정)이다. 위치추정량의 비교는 $N=101$(라플라스는 $N=11\sim10^4$)에서, 거리 측정 위치추정은 한 위치·두 표지 배치에서 측정했다. 비선형 최소제곱의 MSE는 레벤버그-마콰트가 수렴한 시행의 값이며 수렴하지 못한 시행의 처리(드물게 표지선 근처의 해로 가는 경우)는 구분하지 않았다. CRB는 불편 추정량의 하한이어서 편향 추정량과의 비교에는 한계가 있다. 상호 정보·교차 엔트로피 손실·피셔 정보 행렬의 다변수 사례는 식만 적었다.

견해: 이 책은 센서 배치 설계에서 후보 배치마다 선형화 CRB(거리 측정이면 $\sigma^2(\sum u_iu_i^\top)^{-1}$)를 계산해 비교하고, 추정기를 구현한 뒤에는 실제 MSE가 CRB의 몇 배인지 확인하는 것을 기본으로 둔다고 본다. 근거는 위 예제에서 표지 배치가 같은 잡음에서 CRB를 2배 가까이 바꾸었고, 표지가 둘러싼 배치에서는 추정이 CRB의 0.98~1.10배였다는 점이다. 잡음이 크거나 배치가 나쁜 경우(비 1.24)는 CRB만으로 정확도를 예측하지 못한다.

1.20.6 설계 트레이드오프 — 추정량의 선택

공개 문헌에서 확인되는 선택지는 세 가지다.

• ① 최대 우도. 잡음 모형이 맞으면 점근적으로 효율적이다. 모형이 틀리거나 표본이 작으면 편향·불안정이 있다.
• ② MAP·규제. 사전 지식으로 분산을 줄인다. 사전이 틀리면 편향이 크다.
• ③ 강건 추정(중앙값·허버 등). 이상치에 강하다. 모형이 맞을 때 효율이 낮다(가우시안의 중앙값 효율 약 0.64).

견해: 사전분포는 사전의 정확도가 확인될 때에만 사용하고, 확인되지 않으면 약한(넓은) 사전으로 두는 것이 맞다고 본다. 근거는 이 장의 MAP가 참 평균이 사전 평균 근처(1 이내)일 때만 최대 우도보다 작은 MSE를 냈고 3에서는 2배 가까이 컸다는 점이다.

1.20.7 응용 축 비교

이 표는 이 책의 정리이며 장별 요구는 다르다.

1.20.8 관련 규격·프로토콜

추정 이론의 표기에 국제 표준은 없다. 추정기의 보고는 추정값·공분산과 함께 하한(CRB)과 일관성 검사를 적는 것이 상호운용의 기준이다.

1.20.9 관련 규제·인증 요구와의 연결

직접 적용되는 규제는 없다. 위치·자세 추정의 정확도 한계(CRB)와 센서 배치의 정보량은 안전 기능이 가정하는 정확도의 근거가 될 수 있으며, 추정 정확도의 주장은 하한과 실측 MSE를 함께 보고하는 것이 안전 관련 소프트웨어의 검증 항목이 될 수 있다. 소프트웨어 안전과 품질 표준은 26.20이 다룬다.

1.20.10 한계·유의점·미해결

• 정리의 출처. 최대 우도의 일치성·점근 정규성, CRB의 증명, 상호 정보·교차 엔트로피와 최대 우도의 관계의 정리 번호와 교과서(Kay·Lehmann & Casella·Cover & Thomas) 장 번호는 확인하지 않았다 (확인 필요).
• 범위. 편향 추정량의 한계(편향 CRB), 베이즈 CRB, 상호 정보의 계산, 다변수 효율, 모형 불일치 아래 최대 우도(유사 최대 우도)는 다루지 않았다.
• 추정. 큰 잡음에서 비가 1 아래로 내려가는 현상의 해석은 편향 추정량의 특성으로 보았으며 검증하지 않았다 (추정).
• 라이브러리. SciPy·NumPy의 소스는 읽지 않았고 실행 결과로만 비교했다.

1.20.11 체크포인트·연구 질문

체크포인트:

1. 편향·분산·평균제곱오차의 관계와 불편 추정이 항상 최선이 아닌 이유를 설명할 수 있는가.
2. 최대 우도 추정을 정의하고 가우시안 분산 추정의 $(1/N)$ 편향을 설명할 수 있는가.
3. 피셔 정보와 CRB를 정의하고 가우시안 측정에서 $J^\top R^{-1}J$가 되는 이유를 설명할 수 있는가.
4. 거리 측정 위치추정의 CRB를 계산하고 표지 배치가 하한을 바꾸는 이유를 설명할 수 있는가.
5. 가우시안·라플라스·코시 잡음에서 표본 평균·중앙값의 효율 차이를 설명할 수 있는가.
6. MAP와 최대 우도의 평균제곱오차가 교차하는 조건을 유도할 수 있는가.
7. 엔트로피·KL 발산·정보 이득을 계산하고 KL의 비대칭을 설명할 수 있는가.

연구 질문(47.12에 수록한다):

• 로봇 센서 배치 최적화에서 선형화 CRB와 실제 비선형 추정기 MSE의 비는 어떤 잡음·기하 조건에서 1을 벗어나기 시작하는가.
• 이상치가 있는 측정에서 허버·코시 손실 추정(1.12)의 점근 효율은 가우시안 최대 우도 대비 얼마이며 실제 로봇 데이터에서는 어떤가.
• 정보 이득 기반 센서 선택(능동 인지)은 CRB 기반 선택과 계획 성능에서 얼마나 다른가.

1차 출처

• C. E. Shannon, 「A Mathematical Theory of Communication」, Bell System Technical Journal 27(3), 379–423, 1948(doi:10.1002/j.1538-7305.1948.tb01338.x); 27(4), 623–656(doi:10.1002/j.1538-7305.1948.tb00917.x) — 서지만 확인.
• S. Kullback, R. A. Leibler, 「On Information and Sufficiency」, The Annals of Mathematical Statistics 22(1), 79–86, 1951(doi:10.1214/aoms/1177729694) — 서지만 확인.
• C. R. Rao, 「Information and the Accuracy Attainable in the Estimation of Statistical Parameters」, 1945(Springer Series in Statistics 재수록, 235–247, 1992, doi:10.1007/978-1-4612-0919-5_16) — 서지만 확인.
• R. A. Fisher, 「On the Mathematical Foundations of Theoretical Statistics」, 1922(Springer Series in Statistics 재수록, 11–44, 1992, doi:10.1007/978-1-4612-0919-5_2) — 서지만 확인.
• T. M. Cover, J. A. Thomas, 『Elements of Information Theory』, Wiley(Crossref 등록 2001·2005; doi:10.1002/0471200611, doi:10.1002/047174882x) (확인 필요: 판·장 번호).
• S. M. Kay, 『Fundamentals of Statistical Signal Processing: Estimation Theory』, Prentice Hall (확인 필요: 판·연도·장 번호).
• E. L. Lehmann, G. Casella, 『Theory of Point Estimation』, Springer (확인 필요: 판·연도·장 번호).
• SciPy 1.18.1(stats.norm.fit·stats.multivariate_normal.entropy·optimize.minimize_scalar·integrate.quad 실행), NumPy 2.5.4, 2026-11-03.

다음 장. 1.21는 확률·통계 III으로, 확률 과정·가우시안 과정·몬테카를로 방법을 다룬다. 이 장의 추정과 정보의 기초를 시간에 따라 변하는 확률 모형과 표본 기반 계산으로 넓힌다.