Ước lượng không chệch

Định nghĩa: Thống kê $\hat{\theta}$ được gọi là ước lượng không chệch của tham số $\theta$ của tổng thể nếu $E(\hat{\theta})=\theta$.

Từ định nghĩa trên ta thấy $E(\hat{\theta} - \theta) = 0$, điều đó có nghĩa là trung bình độ lệch của ước lượng so với giá trị thật bằng 0. Nếu độ lệch có trung bình khác 0, ta có ước lượng chệch. Một sai số nào đó có trung bình khác không sẽ được gọi
là sai số hệ thống; ngược lại sẽ là sai số ngẫu nhiên. Như vậy một ước lượng sẽ được gọi là không chệch khi độ lệch so với giá trị thật (sai số ước lượng) là sai số ngẫu nhiên.

Ví dụ: Giả sử ĐLNN $X$ của tổng thể có $E(X)=\mu$, $D(X)=\sigma^2$ thì

1. $\overline{X}$ là một ước lượng không chệch của $\mu$, vì $E(\overline{X})=\mu$,
2. $S^2$  là một ước lượng không chệch của $\sigma^2$, vì $E(S^2)=\sigma^2$,
3. $\hat{S}^2$ là một ước lượng chệch của $\sigma^2$, vì $E(\hat{S}^2)\neq \sigma^2$.

Ước lượng hiệu quả

Định nghĩa: Ước lượng không chệch $\hat{\theta}$ được gọi là ước lượng hiệu quả của tham số $\theta$ nếu $\hat{\theta}$ có phương sai $D(\hat{\theta})$ nhỏ nhất trong các ước lượng không chệch khác được xây dựng trên cùng một mẫu ngẫu nhiên của $\theta$.

Định lý (Cramér-Rao): Giả sử BNN $X$ có hàm mật độ xác suất $f(x, \theta)$ trong đó $\theta$ là 1 đặc số (trung bình, phương sai, độ lệch chuẩn...) của $X$ và $\hat{\theta}$ là 1 ước lượng không chệch của $\theta$, khi đó: $$D(\hat{\theta})\geq \dfrac{1}{nE\left(\dfrac{\partial \ln f(x, \theta)}{\partial \theta}\right)^2}.\tag{*}\label{7.2}$$

Chú ý:

1. Bất đẳng thức \eqref{7.2} được gọi là bất đẳng thức Cramér-Rao, cho biết cận dưới của phương sai các ước lượng không chệch.
2. Nếu $\hat{\theta}$ là ước lượng không chệch của $\theta$, $\hat{\theta}$ có phương sai thỏa mãn dấu bằng trong bất đẳng thức \eqref{7.2} thì $\hat{\theta}$ là ước lượng hiệu quả của $\theta$.

Ví dụ: Nếu $X\sim N(\mu;\sigma^2)$ thì $\overline{X}$ là ước lượng hiệu quả của $\mu$.

Ước lượng vững

Định nghĩa: Thống kê $\hat{\theta}$ được gọi là một ước lượng vững của tham số $\theta$ nếu với mọi $\varepsilon >0$ cho trước ta có $$\lim\limits_{n \to \infty}P(|\hat{\theta}-\theta|<\varepsilon)=1.$$

Như vậy, nếu thống kê $\hat{\theta}$ là một ước lượng vững của $\theta$ thì khi $n$ lớn (kích thước mẫu lớn) sự sai khác giữa $\hat{\theta}$ và $\theta$ là không đáng kể.

Ví dụ: Giả sử ĐLNN $X$ của tổng thể có $E(X)=\mu$, $D(X)=\sigma^2$ thì $\overline{X}$ là một ước lượng vững của $\mu$.