Với một mẫu ngẫu nhiên có thể xây dựng nhiều thống kê $\hat{\theta}$ khác nhau để ước lượng cho tham số $\theta$. Vì vậy ta cần lựa chọn thống kê tốt nhất để ước lượng cho tham số $\theta$ dựa vào các tiêu chuẩn sau đây.

a. Ước lượng không chệch

Thống kê $\hat{\theta}= g(X_1, · · · , X_n)$ là một hàm của các BNN $X_1, · · · , X_n$ nên cũng là một BNN. Do đó ta có thể xét các đặc trưng của thống kê này.

Định nghĩa. Thống kê $\hat{\theta}$ được gọi là ước lượng không chệch của tham số $\theta$ của tổng thể nếu $E(\hat{\theta})=\theta$.

Từ định nghĩa trên ta thấy $E(\hat{\theta}-\theta)=0$ điều đó có nghĩa là trung bình độ lệch của ước lượng so với giá trị thật bằng 0. Nếu độ lệch có trung bình khác 0, ta có ước lượng chệch.

b. Ước lượng hiệu quả

Giả sử $\hat{\theta}$ là ước lượng không chệch của $\theta$, tức là $E(\hat{\theta})=\theta.$ Khi đó ta có: 

Định nghĩa. Ước lượng không chệch $\hat{\theta}$ được gọi là ước lượng hiệu quả của tham số $\theta$ nếu $\hat{\theta}$ có phương sai $D(\hat{\theta})$ nhỏ nhất trong các ước lượng không chệch khác được xây dựng trên cùng một mẫu ngẫu nhiên của $\theta$.

Định lý. (Cramér-Rao) Giả sử BNN $X$ có hàm mật độ xác suất $f(x, \theta)$ trong đó $\theta$ là 1 đặc số (trung bình, phương sai, độ lệch chuẩn...) của $X$ và $\hat{\theta}$ là 1 ước lượng không chệch của $\theta$, khi đó: $$D(\hat{\theta})\geq \dfrac{1}{nE\left(\dfrac{\partial \ln f(x, \theta)}{\partial \theta}\right)^2}.\tag{*}\label{7.2}$$

Chú ý: Bất đẳng thức \eqref{7.2} được gọi là bất đẳng thức Cramér-Rao, cho biết cận dưới của phương sai các ước lượng không chệch.

c. Ước lượng vững. 

Một trong những đặc tính ưa chuộng của ước lượng là khi kích thước mẫu $n$ đủ lớn, ước lượng sẽ có độ tin cậy đủ tốt.

Định nghĩa. Thống kê $\hat{\theta}$ được gọi là một ước lượng vững của tham số $\theta$ nếu với mọi $\varepsilon >0$ cho trước ta có $$\lim\limits_{n \to \infty}P(|\hat{\theta}-\theta|<\varepsilon)=1.$$

Như vậy, nếu thống kê $\hat{\theta}$ là một ước lượng vững của $\theta$ thì khi $n$ lớn (kích thước mẫu lớn) sự sai khác giữa $\hat{\theta}$ và $\theta$ là không đáng kể.

Cho tổng thể là BNN X với kì vọng $E(X) = \mu$ và $D(X) = \sigma^2$. Khi đó:

1. Trung bình mẫu $\overline{X}$ là một ước lượng vững của $\mu$. Thật vậy, $\forall  \varepsilon> 0$, áp dụng bất đẳng thức Chebyschev, ta có: $$P(|\overline{X}-\mu|<\varepsilon)\leq 1-\dfrac{D(\overline{X})}{\varepsilon^2}=1-\dfrac{\sigma^2}{n\varepsilon^2}\to 1, \text{ khi }n \to \infty.$$
2. Tần suất mẫu $f=\overline{X}$ là ước lượng vững của xác suất $p$ xuất hiện sự kiện $A$ nào đó (nếu $X$ có phân phối Bernoulli).