Thống kê 3 — Lấy mẫu & Định lý giới hạn trung tâm

Vì sao dân dữ liệu ngân hàng phải quan tâm đến lấy mẫu?

Bài Thống kê 1 — Thống kê mô tả mô tả dữ liệu ta đang có, còn Thống kê 2 — Xác suất & phân phối trang bị ngôn ngữ để nói về sự không chắc chắn. Bài này lắp hai mảnh đó lại thành câu hỏi trung tâm của phân tích: "Từ một phần nhỏ dữ liệu, tôi kết luận được gì về toàn thể — và sai số bao nhiêu?".

Đây không phải chuyện hàn lâm. Rất nhiều bài toán ngân hàng buộc phải làm việc trên mẫu (sample) chứ không phải toàn bộ dân số (population):

• Không thể đo toàn bộ: khảo sát hài lòng khách hàng — không thể gọi cả 5 triệu khách. Kiểm tra chất lượng hồ sơ tín dụng — không thể mở lại từng bộ trong hàng trăm nghìn khoản vay.
• Không cần đo toàn bộ: để ước lượng số dư trung bình, một mẫu vài nghìn tài khoản đã cho câu trả lời chính xác tới mức chi phí đo thêm không đáng.
• Chi phí tính toán: chạy một mô hình nặng hay một query phức tạp trên toàn bộ bảng transactions hàng tỷ dòng để thử nghiệm là lãng phí; lấy mẫu 1% để làm nhanh, xác nhận trên toàn bộ khi cần.

Toàn bộ suy diễn thống kê phía sau — khoảng tin cậy (stat-04), kiểm định giả thuyết (stat-05), A/B testing (stat-07) — đều dựng trên hai trụ cột của bài này: phân phối của trung bình mẫu và Định lý giới hạn trung tâm (CLT).

1. Dân số, mẫu và tham số

Cần phân biệt rạch ròi ba khái niệm, vì lẫn lộn chúng là nguồn gốc của phần lớn sai lầm:

Mục tiêu của suy diễn: dùng thống kê (biết được) để nói về tham số (không biết). Cầu nối giữa hai thế giới này chính là cách ta rút mẫu. Mẫu rút sai thì mọi phép tính đẹp đẽ phía sau đều vô nghĩa — "garbage in, garbage out".

2. Các phương pháp lấy mẫu

2.1 Lấy mẫu ngẫu nhiên đơn giản (Simple Random Sampling — SRS)

Mỗi phần tử trong dân số có xác suất được chọn như nhau và độc lập. Đây là chuẩn vàng lý thuyết vì nó cho mẫu không thiên lệch và công thức thống kê áp dụng trực tiếp.

• Ưu: đơn giản, không thiên lệch, dễ phân tích.
• Nhược: cần có danh sách đầy đủ (sampling frame); có thể tốn kém nếu dân số trải rộng; mẫu nhỏ có thể "hụt" các nhóm hiếm.

2.2 Lấy mẫu phân tầng (Stratified Sampling)

Chia dân số thành các tầng (strata) đồng nhất theo một tiêu chí, rồi lấy mẫu ngẫu nhiên trong từng tầng. Ví dụ: chia khách theo phân khúc (mass / affluent / priority), lấy mẫu tỷ lệ trong mỗi phân khúc.

• Ưu: đảm bảo mọi nhóm đều có mặt; giảm phương sai ước lượng nếu các tầng đồng nhất bên trong; cho phép so sánh giữa các tầng.
• Khi nào dùng: khi biết trước một biến phân nhóm mạnh và muốn nhóm hiếm (ví dụ khách priority chỉ chiếm 2%) không bị bỏ sót.

2.3 Lấy mẫu cụm (Cluster Sampling)

Chia dân số thành các cụm (cluster) tự nhiên (ví dụ: chi nhánh, tỉnh/thành), chọn ngẫu nhiên một số cụm, rồi khảo sát toàn bộ (hoặc tiếp tục lấy mẫu) bên trong cụm được chọn.

• Ưu: rẻ và khả thi khi dân số phân tán địa lý — chỉ cần cử người tới vài chi nhánh thay vì khắp cả nước.
• Nhược: sai số thường lớn hơn SRS vì các phần tử trong cùng cụm hay giống nhau (khách cùng một chi nhánh có đặc điểm tương đồng), làm giảm "lượng thông tin thực".

Phân biệt nhanh: phân tầng lấy mẫu trong tất cả các nhóm (để chính xác hơn); cụm chỉ chọn một số nhóm rồi đào sâu (để rẻ hơn).

2.4 Lấy mẫu hệ thống (Systematic Sampling)

Sắp xếp dân số rồi chọn mỗi phần tử thứ k (ví dụ cứ 50 hồ sơ lấy 1). Đơn giản, nhưng nguy hiểm nếu danh sách có chu kỳ trùng với k — ví dụ danh sách giao dịch sắp theo thứ tự thời gian mà k trùng với chu kỳ lương tháng sẽ làm lệch mẫu.

2.5 Các thiên lệch lấy mẫu cần tránh (Sampling Bias)

Đây là nơi hầu hết sai lầm thực tế xảy ra — và không công thức nào cứu được:

• Convenience sampling (lấy mẫu tiện lợi): chỉ lấy dữ liệu dễ với tới — ví dụ khảo sát hài lòng chỉ trên khách đến quầy giao dịch, bỏ qua khách chỉ dùng app.
• Self-selection bias (thiên lệch tự chọn): chỉ những người chủ động phản hồi mới vào mẫu. Người rất hài lòng hoặc rất bực mới trả lời khảo sát → điểm hài lòng bị kéo về hai cực, không đại diện đám đông thầm lặng ở giữa.
• Survivorship bias (thiên lệch kẻ sống sót): phân tích chỉ trên các khoản vay còn tồn tại, bỏ quên các khoản đã đóng/xóa nợ → đánh giá rủi ro lạc quan sai lệch.
• Undercoverage: sampling frame thiếu một phần dân số (ví dụ danh sách email bỏ sót khách lớn tuổi ít dùng email).

3. Sampling error vs Bias — hai loại sai khác hẳn nhau

Đây là phân biệt cốt lõi nhất của toàn bài:

Ẩn dụ bắn bia: sampling error là các viên đạn tản quanh tâm (bắn thêm sẽ tụ về tâm); bias là chùm đạn tụm chặt nhưng lệch hẳn khỏi tâm (bắn thêm chỉ tụm chặt hơn ở chỗ sai). Một khảo sát self-selection với 100.000 phản hồi vẫn cho câu trả lời sai — nhiều dữ liệu không cứu được thiết kế hỏng.

4. Phân phối của trung bình mẫu (Sampling Distribution)

Đây là ý tưởng đắt giá nhất và cũng khó hình dung nhất. Hãy làm một thí nghiệm tưởng tượng:

1. Rút một mẫu ngẫu nhiên n = 500 tài khoản, tính số dư trung bình x̄₁.
2. Rút mẫu khác cũng n = 500, được x̄₂ — khác x̄₁ một chút.
3. Lặp lại hàng nghìn lần: x̄₃, x̄₄, …

Tập hợp tất cả các x̄ đó tạo thành một phân phối mới: phân phối của trung bình mẫu (sampling distribution of the mean). Đây không phải phân phối của số dư từng tài khoản, mà là phân phối của các con trung bình. Hai tính chất quan trọng:

• Tâm: trung bình của các x̄ bằng đúng μ (trung bình dân số thật). Nói cách khác, x̄ là ước lượng không thiên lệch của μ.
• Độ rộng: các x̄ tản hẹp hơn nhiều so với dữ liệu gốc — và độ tản này có công thức chính xác.

4.1 Standard Error = σ/√n

Độ lệch chuẩn của phân phối trung bình mẫu được gọi riêng là standard error (SE) để phân biệt với độ lệch chuẩn σ của dữ liệu gốc:

SE = σ / √n

Trong đó σ là độ lệch chuẩn của dân số, n là cỡ mẫu. Ý nghĩa thực chiến:

• SE đo mức độ dao động của con ước lượng x̄ — nó nói "trung bình mẫu của tôi lệch khỏi μ thật khoảng bao nhiêu".
• SE giảm theo căn bậc hai của n, không phải tuyến tính. Muốn giảm SE một nửa, phải tăng n gấp bốn lần. Đây là quy luật "lợi ích giảm dần" của cỡ mẫu:

Từ 100 lên 400 mẫu (gấp 4) mới giảm SE còn một nửa. Đây là lý do các khảo sát quốc gia hiếm khi cần quá vài nghìn người: qua ngưỡng đó, tiền bỏ thêm mua được rất ít độ chính xác.

Thực tế σ dân số thường không biết, ta thay bằng độ lệch chuẩn mẫu s: SE ≈ s/√n. Điều này dẫn tới việc dùng phân phối t thay vì chuẩn khi mẫu nhỏ — chi tiết ở stat-04.

5. Định lý giới hạn trung tâm (Central Limit Theorem — CLT)

Đây là định lý nền móng của toàn bộ suy diễn thống kê. Phát biểu gọn:

Khi n đủ lớn, phân phối của trung bình mẫu x̄ tiến về phân phối chuẩn (normal) với trung bình μ và độ lệch chuẩn SE = σ/√n — BẤT KỂ phân phối gốc có hình dạng gì.

Điểm gây kinh ngạc nằm ở cụm "bất kể phân phối gốc". Số dư tài khoản ngân hàng lệch phải khủng khiếp (log-normal — vài khách VIP kéo đuôi rất dài), số giao dịch/ngày lệch, thời gian giữ khách lệch. Dữ liệu gốc không hề chuẩn. Vậy mà trung bình của các mẫu rút từ nó lại hội tụ về hình chuông đối xứng.

5.1 Điều kiện & lưu ý

• Cỡ mẫu: quy tắc ngón tay thường dùng là n ≥ 30 đủ cho phần lớn phân phối. Nhưng nếu dữ liệu gốc rất lệch (như số dư ngân hàng), cần n lớn hơn — vài trăm — để xấp xỉ chuẩn chấp nhận được.
• Độc lập: các quan sát trong mẫu phải độc lập (hệ quả của lấy mẫu ngẫu nhiên đúng). Giao dịch của cùng một khách không độc lập — vi phạm điều này làm SE thực tế lớn hơn công thức.
• Phương sai hữu hạn: σ phải tồn tại và hữu hạn (gần như luôn đúng với dữ liệu ngân hàng thực).

5.2 Vì sao CLT là nền của mọi suy diễn

Vì x̄ có phân phối chuẩn đã biết (tâm μ, độ rộng SE), ta có thể:

• Nói "95% các mẫu cho x̄ nằm trong khoảng μ ± 1,96·SE" → dựng khoảng tin cậy.
• Tính xác suất quan sát được một x̄ cực đoan nếu giả thuyết đúng → p-value trong kiểm định.

Không có CLT, ta sẽ mắc kẹt vì mỗi biến có một phân phối kỳ dị riêng. CLT biến mọi bài toán về trung bình thành một bài toán chuẩn duy nhất — đó là lý do phân phối chuẩn xuất hiện khắp nơi.

6. Bootstrap — khi công thức không đủ

CLT và công thức SE = σ/√n đẹp cho trung bình, nhưng nhiều đại lượng khác (trung vị, tỷ lệ phân vị 95, tỷ số giữa hai nhóm, chỉ số Gini của mô hình rủi ro) không có công thức SE gọn. Bootstrap là kỹ thuật máy tính giải quyết chuyện này bằng cách "để dữ liệu tự nói".

Ý tưởng: coi mẫu đang có như một dân số thu nhỏ, rồi lấy mẫu lại có hoàn lại (resampling with replacement):

Các bước:

1. Từ mẫu gốc n quan sát, rút ngẫu nhiên n quan sát có hoàn lại (một phần tử có thể xuất hiện nhiều lần) → một "bootstrap sample".
2. Tính thống kê cần quan tâm trên bootstrap sample đó.
3. Lặp B lần (thường 1.000–10.000). B giá trị thu được tạo thành phân phối bootstrap — chính là xấp xỉ thực nghiệm của sampling distribution.
4. Độ lệch chuẩn của các giá trị này là SE; lấy phân vị 2,5% và 97,5% ta được khoảng tin cậy 95% (percentile method).

• Ưu: không cần giả định phân phối, áp dụng cho bất kỳ thống kê nào, dễ code.
• Nhược: tốn tính toán; không sửa được bias — nếu mẫu gốc đã thiên lệch, bootstrap chỉ tái tạo lại cái thiên lệch đó; kém tin cậy khi n gốc quá nhỏ.

Use case thực tế

Bài toán: Khối Bán lẻ cần báo cáo số dư trung bình tài khoản tiết kiệm để đặt mục tiêu huy động, nhưng bảng có 2,4 triệu tài khoản và việc quét toàn bộ mỗi lần thử nghiệm là chậm. Yêu cầu: ước lượng nhanh với sai số chấp nhận được.

Bước 1 — Rút mẫu ngẫu nhiên một tập tài khoản để tính thử. Trên sandbox PostgreSQL, minh hoạ lấy mẫu ngẫu nhiên 1.000 tài khoản:

-- ▶ Chạy được
SELECT id, balance FROM accounts ORDER BY RANDOM() LIMIT 1000;

Bước 2 — Tính thống kê mẫu trên chính mẫu đó (trung bình, độ lệch chuẩn, cỡ mẫu) để suy ra standard error:

-- ▶ Chạy được
SELECT COUNT(*) AS n, AVG(balance) AS mean_balance, STDDEV_SAMP(balance) AS sd_balance
FROM (SELECT balance FROM accounts ORDER BY RANDOM() LIMIT 1000) AS s;

Giả sử kết quả: n = 1.000, x̄ = 48,2 triệu, s = 95 triệu (lệch phải mạnh — vài tài khoản VIP kéo trung bình lên). Khi đó:

• SE = s/√n = 95 / √1.000 ≈ 95 / 31,6 ≈ 3,0 triệu.
• Nhờ CLT, dù số dư gốc rất lệch, x̄ xấp xỉ chuẩn → khoảng tin cậy 95% ≈ 48,2 ± 1,96 × 3,0 = [42,3 ; 54,1] triệu.

Bước 3 — Quyết định cỡ mẫu: nếu lãnh đạo muốn sai số chỉ ±1,5 triệu (một nửa hiện tại), theo quy luật √n phải tăng mẫu gấp 4 lên n = 4.000. Con số này minh hoạ cách dùng SE để cân đối chi phí và độ chính xác trước khi chạy trên toàn bộ 2,4 triệu dòng.

Cảnh báo bias: song song, phòng Trải nghiệm khách hàng chạy khảo sát hài lòng qua popup trên app. Chỉ ~4% khách bấm trả lời — điển hình self-selection. Điểm CSAT 4,6/5 nghe đẹp nhưng không đại diện: khách bực thường đóng popup ngay. Tăng n không cứu được; phải chuyển sang mời khảo sát trên mẫu phân tầng theo phân khúc rồi chủ động liên hệ để đạt tỷ lệ phản hồi đại diện.

Ghi nhớ

• Ta lấy mẫu vì không thể (khảo sát toàn bộ khách) hoặc không cần (đủ chính xác với chi phí thấp) đo toàn dân số.
• SRS là chuẩn vàng; phân tầng lấy trong mọi nhóm để chính xác hơn; cụm chọn một số nhóm để rẻ hơn; hệ thống đơn giản nhưng sợ chu kỳ.
• Convenience và self-selection là bẫy phổ biến nhất — dữ liệu nhiều không cứu được thiết kế lấy mẫu hỏng.
• Sampling error giảm khi tăng n; bias thì không — đây là phân biệt quan trọng nhất.
• Sampling distribution là phân phối của các trung bình mẫu; tâm nó là μ, độ rộng là SE = σ/√n.
• SE giảm theo √n: muốn chính xác gấp đôi phải tăng mẫu gấp bốn — lợi ích giảm dần.
• CLT: trung bình mẫu tiến về phân phối chuẩn bất kể phân phối gốc khi n đủ lớn (≥30, cần lớn hơn nếu gốc rất lệch). Đây là nền của khoảng tin cậy và p-value.
• Bootstrap: lấy mẫu lại có hoàn lại để ước lượng SE/CI cho bất kỳ thống kê nào không có công thức — nhưng không sửa được bias sẵn có.