Thống kê 2 — Xác suất & các phân phối quan trọng

Vì sao dân dữ liệu ngân hàng cần xác suất?

Bài Thống kê 1 — Thống kê mô tả trả lời câu hỏi "dữ liệu đang có trông như thế nào". Nhưng công việc phân tích thật sự luôn phải bước sang câu hỏi khó hơn: "chuyện gì có khả năng xảy ra tiếp theo, và tôi chắc chắn tới mức nào?". Đó là địa hạt của xác suất (probability) và phân phối (distribution).

Không có nền xác suất, mọi thứ phía sau đều lung lay: khoảng tin cậy (stat-04), kiểm định giả thuyết (stat-05), A/B testing (stat-07) và mô hình chấm điểm rủi ro (03-classic-ml) đều dựng trên đó. Bài này đi theo thứ tự trực quan: xác suất cơ bản → Bayes → biến ngẫu nhiên → kỳ vọng/phương sai → catalog các phân phối và ứng dụng ngân hàng.

1. Xác suất cơ bản: ngôn ngữ của sự không chắc chắn

1.1 Không gian mẫu và biến cố

• Không gian mẫu (sample space, Ω): tập hợp tất cả kết quả có thể. Tung một đồng xu: Ω = {ngửa, sấp}. Một hồ sơ vay: Ω = {trả đúng hạn, vỡ nợ}.
• Biến cố (event): một tập con của Ω mà ta quan tâm. Ví dụ "khách vỡ nợ trong 12 tháng" là một biến cố.
• Xác suất P(A): một con số trong khoảng [0, 1]. P = 0 là không bao giờ, P = 1 là chắc chắn.

Ba quy tắc nền tảng, đủ dùng cho phần lớn công việc:

Điểm hay sai nhất: quên trừ P(A và B) trong quy tắc cộng.

1.2 Xác suất điều kiện và tính độc lập

Xác suất điều kiện (conditional probability) là xác suất của A khi đã biết B đã xảy ra:

P(A | B) = P(A và B) / P(B)

Ví dụ ngân hàng: P(vỡ nợ) toàn danh mục là 3%, nhưng P(vỡ nợ | nhóm nợ xấu 90+ ngày) có thể là 60%. Việc biết thêm điều kiện thay đổi hoàn toàn ước lượng — đây chính là linh hồn của mọi mô hình rủi ro.

Độc lập (independence): A và B độc lập khi biết B không thay đổi gì về A, tức P(A | B) = P(A). Cẩn thận: giao dịch của cùng một khách thường không độc lập (một người tiêu hôm nay có xu hướng tiêu tiếp), nên đừng ngây thơ nhân xác suất với nhau.

2. Định lý Bayes: cập nhật niềm tin khi có bằng chứng

2.1 Công thức và trực giác

Định lý Bayes cho phép "đảo chiều" xác suất điều kiện — từ P(bằng chứng | nguyên nhân) sang P(nguyên nhân | bằng chứng):

P(A | B) = P(B | A) × P(A) / P(B)

Diễn giải theo ngôn ngữ dữ liệu:

• Prior P(A): niềm tin ban đầu (tỷ lệ gian lận nền = 0,1%).
• Likelihood P(B | A): bằng chứng khớp giả thuyết tới đâu (mô hình gắn cờ đúng giao dịch gian lận 95% lần).
• Posterior P(A | B): niềm tin đã cập nhật sau khi thấy bằng chứng.

2.2 Nghịch lý báo động giả — vì sao "mô hình chính xác 95%" vẫn ngập cảnh báo sai

Ví dụ kinh điển mọi cán bộ chống gian lận (fraud) và AML nên thuộc. Giả sử:

• Tỷ lệ gian lận nền (prior): 0,1% giao dịch là gian lận.
• Mô hình bắt được gian lận thật với độ nhạy (recall): 95%.
• Tỷ lệ báo động giả trên giao dịch sạch (false positive): 2%.

Trên 1.000.000 giao dịch:

Xác suất một giao dịch bị gắn cờ thật sự là gian lận:

P(gian lận | bị cờ) = 950 / 20.930 ≈ 4,5%

Dù mô hình "chính xác 95%", hơn 95% cảnh báo vẫn là báo động giả — chỉ vì gian lận cực hiếm (prior thấp). Bài học: khi lớp dương tính hiếm, precision phụ thuộc nặng vào prior, không chỉ độ nhạy. Đây là lý do đội fraud/AML luôn ngợp trong alert; xem AML.

Cơ chế lọc spam Bayesian hoạt động y hệt: mỗi từ trong email là một "bằng chứng", bộ lọc nhân dồn các likelihood để cập nhật P(spam | nội dung).

3. Biến ngẫu nhiên: rời rạc vs liên tục

Biến ngẫu nhiên (random variable) là một con số gắn với kết quả ngẫu nhiên. Có hai loại, và phân biệt chúng quyết định bạn dùng công cụ gì.

Điểm dễ vấp: với biến liên tục, hỏi "xác suất số dư đúng bằng 5.000.000đ" là vô nghĩa (bằng 0). Chỉ hỏi được xác suất rơi vào một khoảng, ví dụ 4,9–5,1 triệu.

4. Kỳ vọng và phương sai: tâm và độ trải

Hai đại lượng tóm tắt mọi phân phối:

• Kỳ vọng (expected value, E[X]): giá trị "trung bình dài hạn" nếu lặp vô số lần. Nó là trung bình có trọng số theo xác suất.
• Phương sai (variance, Var[X]) và độ lệch chuẩn (σ): mức độ dao động quanh kỳ vọng. σ cùng đơn vị với dữ liệu nên dễ đọc hơn.

Ví dụ trực quan — tung xúc xắc công bằng: E[X] = (1+2+3+4+5+6)/6 = 3,5. Không lần tung nào ra 3,5, nhưng đó là "tâm" dài hạn.

Ví dụ ngân hàng — tổn thất kỳ vọng (Expected Loss): E[Loss] = PD × LGD × EAD, chính là kỳ vọng của biến ngẫu nhiên "tổn thất một khoản vay". Đây là nền của mô hình dự phòng IFRS 9 — xem credit-06.

Vài tính chất hữu dụng: E[aX + b] = a·E[X] + b; Var[aX + b] = a²·Var[X] (cộng hằng số không đổi độ trải); nếu X, Y độc lập thì Var[X + Y] = Var[X] + Var[Y].

5. PDF vs CDF: hai cách nhìn cùng một phân phối

• PDF/PMF (hàm mật độ/khối lượng): cho biết mật độ xác suất tại mỗi giá trị — chính là hình chuông, hình dốc mà ta hay vẽ.
• CDF (hàm phân phối tích luỹ): F(x) = P(X ≤ x), tức xác suất dồn từ trái tới điểm x. CDF luôn tăng từ 0 lên 1.

Vì sao dân phân tích yêu CDF? Vì mọi câu hỏi thực tế đều dạng "≤" hoặc "≥":

• "Bao nhiêu % khách có số dư ≤ 1 triệu?" → tra CDF tại 1 triệu.
• Percentile chính là CDF đảo ngược: P90 là giá trị mà CDF = 0,90.

Có thể tính CDF thực nghiệm ngay trên sandbox — tỷ lệ tài khoản có số dư dưới một ngưỡng:

-- ▶ Chạy được
SELECT
  ROUND(AVG(CASE WHEN balance <= 1000000 THEN 1 ELSE 0 END), 4) AS cdf_tai_1_trieu,
  ROUND(AVG(CASE WHEN balance <= 5000000 THEN 1 ELSE 0 END), 4) AS cdf_tai_5_trieu
FROM accounts;

6. Catalog các phân phối quan trọng

6.1 Bernoulli & Binomial — biến "có/không"

• Bernoulli: một phép thử duy nhất với hai kết cục, xác suất thành công p. Ví dụ: một khách có vỡ nợ không (p = PD); một lượt hiển thị quảng cáo có được click không (p = CTR).
• Binomial: đếm số thành công trong n phép thử Bernoulli độc lập cùng p. Kỳ vọng = n·p, phương sai = n·p·(1−p).

Ứng dụng: trong danh mục 500 khoản vay có PD = 3%, số vỡ nợ kỳ vọng ≈ 15. Binomial cho biết xác suất thấy 25 vụ trở lên — cơ sở để đặt ngưỡng cảnh báo chất lượng danh mục. Cũng chính là mô hình đằng sau A/B testing tỷ lệ chuyển đổi (stat-07).

6.2 Poisson — đếm sự kiện trên một đơn vị

Poisson mô hình hoá số lần một sự kiện hiếm, độc lập xảy ra trong một khoảng cố định (thời gian, không gian). Chỉ cần một tham số λ (lambda) = số sự kiện trung bình. Đặc trưng: kỳ vọng = phương sai = λ.

Ứng dụng ngân hàng:

• Số giao dịch tới một ATM mỗi phút.
• Số cuộc gọi vào tổng đài mỗi giờ (nền tảng bài toán xếp hàng, tính nhân sự trực).
• Số lỗi hệ thống mỗi ngày, số đơn khiếu nại mỗi tuần.

Dấu hiệu Poisson hợp lý: sự kiện đếm được, hiếm tương đối, độc lập, tốc độ ổn định. Nếu phương sai lớn hơn nhiều trung bình (overdispersion) thì Poisson không hợp.

6.3 Normal — phân phối chuẩn, ngôi sao của thống kê

Phân phối chuẩn (normal/Gaussian) là hình chuông đối xứng, xác định bởi trung bình μ và độ lệch chuẩn σ. Quy tắc 68-95-99.7 (empirical rule) cần thuộc lòng:

Z-score chuẩn hoá một giá trị: z = (x − μ) / σ, tức "x cách trung bình bao nhiêu độ lệch chuẩn". z = 2,5 nghĩa là cao bất thường (chỉ ~0,6% giá trị vượt mức này ở đuôi trên) — công cụ phát hiện outlier và giám sát chỉ số.

Ví dụ: thời gian xử lý một giao dịch trung bình μ = 200ms, σ = 30ms. Giao dịch mất 290ms có z = (290−200)/30 = 3 → nằm ngoài 99,7%, đáng điều tra.

6.4 Exponential — thời gian giữa các sự kiện

Nếu số sự kiện/đơn vị thời gian theo Poisson, thì thời gian chờ giữa hai sự kiện theo phân phối mũ (exponential). Nó luôn dương, lệch phải mạnh và có tính "không nhớ" (memoryless): đã chờ 5 phút không làm sự kiện tiếp theo tới sớm hơn.

Ứng dụng: khoảng cách thời gian giữa hai giao dịch của một tài khoản, thời gian tới lần khách rời bỏ (churn), thời gian giữa hai lần hệ thống lỗi (dùng ước lượng MTBF).

6.5 Log-normal — cho giá trị tiền tệ lệch phải

Rất nhiều đại lượng tiền tệ không đối xứng: số dư tài khoản, giá trị giao dịch, thu nhập. Đa số giá trị nhỏ, một số ít cực lớn kéo đuôi phải rất dài. Đây là dấu hiệu điển hình của log-normal: biến mà logarithm của nó mới theo phân phối chuẩn.

Hệ quả thực tế cực quan trọng:

• Trung bình bị đuôi kéo lệch → dùng trung vị (median) để mô tả "khách điển hình" (xem stat-01).
• Trước khi đưa vào mô hình yêu cầu phân phối chuẩn, hãy log-transform (lấy log số dư/giá trị) để "nắn" phân phối gần chuẩn hơn.

Kiểm tra nhanh độ lệch phải trên sandbox — nếu trung bình lớn hơn hẳn trung vị thì dữ liệu lệch phải:

-- ▶ Chạy được
SELECT
  ROUND(AVG(balance), 0) AS trung_binh,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY balance)::numeric, 0) AS trung_vi
FROM accounts;

6.6 Uniform — mọi giá trị như nhau

Phân phối đều (uniform): mọi giá trị trong khoảng [a, b] có mật độ như nhau. Ít gặp trong dữ liệu tự nhiên nhưng nền tảng cho sinh số ngẫu nhiên, chia nhóm A/B (gán ngẫu nhiên đều), và lấy mẫu (bài stat-03). Nếu một trường "ngẫu nhiên" của bạn không đều khi lẽ ra phải đều, đó là tín hiệu lỗi hệ thống.

7. Vì sao phân phối chuẩn quan trọng đến vậy?

Ba lý do khiến normal là trục xoay của toàn bộ suy diễn thống kê:

1. Định lý giới hạn trung tâm (CLT): trung bình của nhiều mẫu độc lập sẽ tiệm cận phân phối chuẩn, bất kể dữ liệu gốc phân phối gì. Nhờ đó ta suy diễn được về trung bình dù dữ liệu gốc lệch — chi tiết ở stat-03.
2. Nền của khoảng tin cậy & kiểm định: hầu hết công thức CI và p-value giả định phân phối chuẩn (của thống kê mẫu), nhờ CLT bảo chứng — xem stat-04 và stat-05.
3. Toán học đẹp: chỉ cần μ và σ là mô tả trọn vẹn; z-score, quy tắc 68-95-99.7 cho phép ước lượng nhanh trong đầu.

Cảnh báo: đừng giả định dữ liệu gốc là chuẩn khi nó không phải (số dư, thu nhập gần như luôn lệch). CLT áp dụng cho trung bình mẫu, không phải cho từng quan sát.

Use case thực tế

Bài toán: giám sát bất thường lưu lượng giao dịch của một chi nhánh

Đội vận hành muốn cảnh báo khi số giao dịch/giờ của một chi nhánh bất thường.

1. Chọn mô hình đếm — Poisson. Đếm lịch sử: trung bình λ ≈ 120 giao dịch/giờ trong giờ hành chính. Kiểm tra phương sai ≈ trung bình để xác nhận Poisson hợp lý (không bị overdispersion).
2. Đặt ngưỡng theo xác suất. Với Poisson λ = 120, độ lệch chuẩn ≈ √120 ≈ 11. Áp xấp xỉ chuẩn (λ đủ lớn): ngưỡng μ + 3σ ≈ 120 + 33 = 153 giao dịch/giờ. Vượt ngưỡng → chưa tới 0,15% khả năng do dao động ngẫu nhiên → gắn cờ điều tra.
3. Kiểm tra hướng ngược — sụt bất thường. Dưới μ − 3σ ≈ 87 giao dịch/giờ có thể báo hiệu sự cố kênh (đứt kết nối, POS lỗi).
4. Phân tầng bằng Bayes. Khi một cụm giao dịch giá trị lớn cùng gắn cờ, kết hợp prior "chi nhánh này hiếm khi có giao dịch > 500 triệu" với likelihood để ước lượng P(bất thường thật | bằng chứng), tránh ngập báo động giả như mục 2.2.
5. Với giá trị tiền — dùng log-normal. Giá trị giao dịch lệch phải: mô tả bằng trung vị và đặt ngưỡng trên thang log, không dùng trung bình + σ thô (đuôi sẽ kéo ngưỡng sai).

Kết quả: một khung cảnh báo dựa trên xác suất, biết định lượng mức bất thường thay vì đặt ngưỡng cảm tính.

Ghi nhớ

• Xác suất điều kiện là linh hồn của mô hình rủi ro: biết thêm điều kiện thay đổi hoàn toàn ước lượng. P(A|B) ≠ P(B|A).
• Bayes cập nhật niềm tin: posterior ∝ likelihood × prior. Khi lớp dương tính hiếm (gian lận, AML), dù mô hình "chính xác 95%" thì phần lớn cảnh báo vẫn là báo động giả — precision phụ thuộc nặng vào prior.
• Phân biệt rời rạc vs liên tục: với biến liên tục, xác suất tại một điểm luôn = 0, chỉ hỏi được trên khoảng.
• Kỳ vọng = tâm dài hạn; phương sai/σ = độ trải. Expected Loss = PD × LGD × EAD là một kỳ vọng.
• Nhớ nhanh các phân phối: Bernoulli/Binomial (có/không, đếm thành công), Poisson (đếm sự kiện/đơn vị thời gian, λ), Normal (hình chuông, 68-95-99.7, z-score), Exponential (thời gian giữa sự kiện), Log-normal (tiền tệ lệch phải), Uniform (nền cho lấy mẫu/A/B).
• PDF = mật độ tại điểm; CDF = xác suất tích luỹ (≤ x); percentile là CDF đảo ngược.
• Normal quan trọng vì CLT: trung bình mẫu tiệm cận chuẩn bất kể dữ liệu gốc — nền cho CI và kiểm định. Nhưng CLT nói về trung bình mẫu, không phải từng quan sát; đừng giả định số dư/thu nhập là chuẩn.
• Với dữ liệu tiền tệ lệch phải: dùng trung vị và cân nhắc log-transform trước khi mô hình hoá.