Bài toán ước lượng tham số có thể phát biểu tổng quát như sau: Cho BNN $X$ của tổng thể có luật phân phối xác suất đã biết nhưng chưa biết tham số $\theta$ nào đó, ta phải xác định giá trị của $\theta$ dựa trên các thông tin thu được từ một mẫu quan sát $x_1, · · · , x_n$ của $X$. Quá trình xác định một tham số $\theta$ chưa biết được gọi là quá trình ước lượng tham số. Giá trị tìm được trong quá trình ấy, kí hiệu là $\hat{\theta}$, được gọi là ước lượng của $\theta$. Vì $\hat{\theta}$ là một giá trị số nên nó được gọi là ước lượng điểm, sau này ta còn có ước lượng khoảng (hay khoảng tin cậy).

Rõ ràng $\hat{\theta}$ là một hàm số $n$ biến $g(X_1, · · · , X_n)$ nào đó hay là một thống kê, nhận đầu vào là các mẫu thực nghiệm $(x_1, · · · , x_n)$ của $X$ và đầu ra là giá trị ước lượng của $\theta$. Điều chúng ta muốn có là sai số $|\hat{\theta}- \theta|$ giữa ước lượng $\hat{\theta}$ và giá trị thật của $\theta$ càng nhỏ càng tốt. Vì vậy ta phải đưa ra các tiêu chuẩn để đánh giá chất lượng của thống kê $\hat{\theta}$ như là một xấp xỉ tốt nhất của $\theta$.