BI

Bản chất BI: biến dữ liệu thô thành quyết định; phân biệt báo cáo, phân tích, BI, Data Science; vai trò BI trong ngân hàng.

Từ nguồn dữ liệu qua ETL/ELT vào Data Warehouse, Data Mart đến dashboard; staging, ODS, batch vs streaming.

Kimball dimensional modeling: bảng fact/dimension, star vs snowflake, grain, và Slowly Changing Dimension.

Metric vs dimension, KPI tốt, semantic layer, single source of truth và bẫy khi định nghĩa chỉ số.

Khối OLAP, các thao tác drill-down/roll-up/slice & dice/pivot, OLAP vs OLTP và ROLAP/MOLAP/HOLAP.

Chọn biểu đồ đúng cho từng loại dữ liệu, nguyên tắc thiết kế dashboard, và kể chuyện bằng dữ liệu.

Các kỹ thuật phân tích kinh doanh: cohort & retention, churn, funnel chuyển đổi, RFM và phân khúc khách hàng.

So sánh các công cụ BI phổ biến, khái niệm DAX, row-level security, lịch refresh và data governance.

Calculated column vs measure, context (row/filter), CALCULATE, time intelligence và mẫu công thức thường dùng.

Biến số liệu thành câu chuyện thuyết phục: cấu trúc narrative, chọn insight, ngữ cảnh và trình bày cho lãnh đạo.

Cân bằng giữa tự phục vụ và kiểm soát: dataset chứng nhận, semantic layer, RLS, vòng đời báo cáo và quản trị.

Đi từ yêu cầu đến dashboard điều hành ngân hàng: định nghĩa KPI, mô hình dữ liệu, bố cục và truy vấn nguồn.

Bức tranh Power BI: các thành phần (Desktop, Service, Gateway, Report Server, Mobile), luồng làm việc từ kết nối dữ liệu đến xuất bản, mô hình bản quyền (Pro/PPU/Fabric capacity) và vị trí trong Microsoft Fabric.

Tầng chuẩn bị dữ liệu của Power BI: Power Query để làm sạch/biến đổi, ngôn ngữ M và các bước áp dụng, query folding (đẩy phép biến đổi về nguồn), tham số, và dataflow tái sử dụng.

Trái tim của một báo cáo tốt là mô hình: vì sao star schema thắng, quan hệ (1:*, hướng lọc), cardinality, bảng fact vs dimension, snowflake vs star, và các bẫy hiệu năng của mô hình sai.

Hiểu đúng DAX bắt đầu từ ngữ cảnh: row context vs filter context, calculated column vs measure, hàm CALCULATE và context transition — nền tảng cho mọi phép tính phức tạp về sau.

Nâng DAX lên tầm chuyên gia: time intelligence (YTD, YoY, MoM, moving average), iterators (SUMX/AVERAGEX), biến (VAR), bảng ảo (virtual tables), ranking (TOPN/RANKX) và các mẫu tính toán hay dùng.

Chọn chế độ lưu trữ đúng: Import (VertiPaq in-memory, nhanh nhất), DirectQuery (truy vấn trực tiếp nguồn, dữ liệu mới), Composite/Dual & aggregations, incremental refresh, và Direct Lake của Fabric.

Biến mô hình thành báo cáo hữu dụng: chọn visual đúng, tương tác (cross-filter/highlight), drill-through & drill-down, bookmarks, tooltips, điều hướng, chủ đề & khả năng tiếp cận, và tối ưu hiệu năng trang báo cáo.

Đưa Power BI vào tổ chức một cách bền vững: workspace & vai trò, deployment pipeline (DEV/TEST/PROD), bảo mật dữ liệu (RLS/OLS), gateway & lịch refresh, chia sẻ qua app, và giám sát/quản trị tenant.

Looker khác gì các công cụ BI khác: kiến trúc in-database (query đẩy về warehouse), tầng mô hình hoá LookML như một 'nguồn sự thật' về metric, so sánh với Power BI/Tableau, và phân biệt Looker với Looker Studio.

Ngôn ngữ mô hình hoá của Looker: cấu trúc project (model, view, explore), khai báo view với dimension & measure, kết nối tới bảng warehouse, và cách LookML sinh SQL.

Nơi người dùng khám phá dữ liệu: Explore là gì, cách khai báo join giữa các view (relationship, sql_on), vấn đề fan-out & symmetric aggregates của Looker, và derived table làm nguồn cho explore.

Đào sâu field trong LookML: các type dimension (tier, yesno, dimension_group cho thời gian), các type measure, measure lọc & of-type, parameters & templated filters, và Liquid để tạo SQL/label động.

Tạo bảng dẫn xuất trong Looker: derived table (SQL-based & native), Persistent Derived Table (PDT) được vật chất hoá trong warehouse, chiến lược làm mới bằng datagroup/triggers, và incremental PDT cho bảng lớn.

Trình bày dữ liệu cho người dùng: Look vs dashboard, dashboard do người dùng tạo vs LookML dashboard (as code), các loại visualization, bộ lọc & drill, và các hành động/lịch gửi báo cáo.

Vận hành Looker trong tổ chức: quản lý nội dung & thư mục, phân quyền theo model và theo dữ liệu (access_grant, access_filter — hàng/cột), quy trình Git dev→production, và tối ưu chi phí warehouse.

Bài mở đầu series thống kê: đo xu hướng trung tâm và độ phân tán, phân vị và five-number summary, hình dạng phân phối, và cách xử lý dữ liệu lệch phải điển hình trong ngân hàng. Kèm SQL chạy được trên PostgreSQL sandbox.

Xác suất cơ bản, xác suất điều kiện và định lý Bayes (ứng dụng phát hiện gian lận/spam), biến ngẫu nhiên, kỳ vọng & phương sai, cùng các phân phối quan trọng trong ngân hàng: Bernoulli/Binomial, Poisson, Normal, Exponential, Log-normal, Uniform. Diễn giải trực quan, ít công thức nặng, nhiều ví dụ thực chiến.

Vì sao phải lấy mẫu thay vì đo toàn bộ dân số, các phương pháp lấy mẫu (ngẫu nhiên đơn giản, phân tầng, cụm, hệ thống) và những thiên lệch cần tránh. Giải thích sampling error vs bias, phân phối của trung bình mẫu, standard error = σ/√n, Định lý giới hạn trung tâm (CLT) và bootstrap — nền móng của mọi suy diễn thống kê.

Phân biệt ước lượng điểm và ước lượng khoảng, cách xây khoảng tin cậy (CI) bằng margin of error z*·SE / t*·SE, đánh đổi mức 90/95/99%, và cách DIỄN GIẢI ĐÚNG khoảng tin cậy (95% CI không phải xác suất tham số nằm trong khoảng). Có CI cho trung bình và cho tỷ lệ, ảnh hưởng của cỡ mẫu, cùng ví dụ ngân hàng về tỷ lệ nợ xấu và số dư trung bình.

Khung kiểm định giả thuyết đầy đủ: H0 vs H1, một phía/hai phía, mức ý nghĩa alpha, miền bác bỏ, test statistic và p-value (định nghĩa chính xác). Phân biệt sai lầm Type I/Type II, power và cách tăng power; catalog các test thông dụng (z, t, chi-square, ANOVA), effect size và bẫy 'ý nghĩa thống kê khác ý nghĩa thực tiễn', kèm ví dụ ngân hàng NCB.

Hiệp phương sai & tương quan, hệ số Pearson vs Spearman và cách diễn giải độ mạnh; vì sao tương quan không phải nhân quả (biến gây nhiễu); hồi quy tuyến tính đơn/bội, trực giác OLS, cách đọc hệ số, R² và phần dư; các giả định của hồi quy và hệ quả khi vi phạm, đa cộng tuyến, overfitting. Có SQL chạy được trên sandbox dùng CORR/REGR_SLOPE/REGR_R2.

A/B testing từ thiết kế đến phân tích: chọn metric chính và guardrail, randomization, tính cỡ mẫu trước khi chạy (MDE/alpha/power/baseline), two-proportion z-test và t-test, đọc p-value và khoảng tin cậy cho lift. Điểm mặt các bẫy phổ biến (peeking, multiple testing, novelty, sample ratio mismatch) và giới thiệu sequential/Bayesian A/B, với ví dụ onboarding app, offer thẻ tín dụng và email nhắc thanh toán.

Bài tổng kết series: 10 cạm bẫy khiến phân tích dữ liệu ngân hàng đi sai — từ tương quan giả và biến gây nhiễu, p-hacking, multiple comparisons, Simpson's paradox (có ví dụ số cụ thể), survivorship bias, regression to the mean, base rate fallacy, tới trực quan hoá gây hiểu lầm và nhầm ý nghĩa thống kê với ý nghĩa thực tiễn. Mỗi bẫy kèm ví dụ ngân hàng và cách phòng tránh.

Vì sao ngân hàng và team dữ liệu quan tâm tới BI mã nguồn mở: chi phí license, tự chủ, self-host on-prem giữ dữ liệu nội bộ. Giới thiệu Metabase và Apache Superset, so sánh với Power BI/Looker, kiến trúc BI hiện đại và các khái niệm nền tảng.

Metabase từ góc nhìn thực chiến: kết nối và đồng bộ database, dựng Question bằng query builder không cần SQL, tổ chức trong Collection, ghép Dashboard với filter dùng chung, X-ray, models và subscriptions. Đi kèm SQL chạy được minh hoạ đúng những gì query builder sinh ra cho dashboard nghiệp vụ ngân hàng.

Vượt qua query builder: viết native SQL cho truy vấn phức tạp (JOIN nhiều bảng, window function), SQL variables & filter widgets, models làm lớp ngữ nghĩa, dashboard nâng cao (linked filter, drill-through, conditional formatting), alerts & subscriptions, caching, phân quyền theo group & data sandbox row-level, và embedding vào app nội bộ. Kèm SQL chạy được minh hoạ đúng những gì một native question dựng trên schema ngân hàng.

Apache Superset từ góc nhìn thực chiến: kiến trúc Flask + metadata DB + Celery/cache + kết nối warehouse qua SQLAlchemy, và luồng làm việc dataset-centric — kết nối database, tạo physical/virtual dataset, khai báo metric/cột tính toán, dựng chart rồi ghép dashboard với native filter. So sánh triết lý với Metabase và minh hoạ bằng SQL chạy được cho dashboard phân tích ngân hàng.

Đào sâu hai trụ cột của Apache Superset: SQL Lab — IDE SQL trong trình duyệt để viết, chạy, lưu truy vấn thành virtual dataset và dùng Jinja templating; và tư duy chọn chart đúng cho từng câu hỏi phân tích. Kèm metric/calculated column, native filter nâng cao, tối ưu cache và annotation, minh hoạ bằng SQL chạy được cho dashboard giao dịch/rủi ro ngân hàng.

Giải bài toán 'mỗi báo cáo một con số' bằng lớp ngữ nghĩa (semantic layer) và định nghĩa chỉ số tập trung. So sánh cách Metabase (models + metrics) và Superset (dataset metrics, calculated columns) tiếp cận, giới thiệu xu hướng metrics layer/headless BI (dbt Semantic Layer, Cube), và cách chuẩn hoá các chỉ tiêu ngân hàng như CASA, NIM, tỷ lệ nợ xấu, số dư bình quân, tăng trưởng tín dụng để mọi dashboard dùng chung một định nghĩa.

Quản trị và bảo mật một nền BI dùng chung cho nhiều chi nhánh ngân hàng: mô hình roles/permissions của Superset và groups/permissions của Metabase, Row-Level Security (RLS filter vs data sandbox) để mỗi chi nhánh chỉ thấy dữ liệu của mình, che cột nhạy cảm, tích hợp LDAP/SSO, embedding có ký (signed embed), kết nối DB read-only và audit truy cập.

Bài tổng kết loạt: đưa Metabase và Superset vào production ngân hàng. Kiến trúc triển khai Docker Compose và Kubernetes, cấu hình bền vững metadata DB, kết nối warehouse read-only, hiệu năng cache/async, backup và nâng cấp, vận hành giám sát. Kèm bảng tiêu chí chọn giữa Metabase, Superset và BI thương mại, cùng checklist go-live cho nền BI ngân hàng.

Bài mở đầu series dataviz: vì sao bộ não đọc hình nhanh hơn số, phân biệt trực quan hoá khám phá (exploratory) và giải thích (explanatory), quy trình 6 bước từ câu hỏi đến kể chuyện, và bài học Anscombe's quartet. Kèm SQL chạy được trên PostgreSQL sandbox.

Cơ sở khoa học của một biểu đồ tốt: mắt và não xử lý hình ảnh thế nào. Preattentive attributes (nhận ra <250ms), sáu nguyên lý Gestalt để nhóm phần tử, thang chính xác giải mã Cleveland–McGill (position > length > angle > area > color) giải thích vì sao bar chính xác hơn pie hơn bubble, chọn kênh mã hoá theo loại dữ liệu, và data-ink ratio của Tufte để bỏ mực thừa.

Chọn biểu đồ theo thông điệp và loại dữ liệu, không theo thói quen. Khung phân loại kiểu Visual Vocabulary (so sánh, xu hướng, phân bố, quan hệ, cấu tạo, thứ hạng, dòng chảy, địa lý), bảng quyết định từ câu hỏi, cảnh báo anti-chart (pie nhiều lát, 3D, dual-axis, radar) và ví dụ ngân hàng.

Dùng màu như công cụ mã hoá dữ liệu, không phải trang trí. Ba loại bảng màu (sequential, diverging, categorical) và khi nào dùng, màu mang ý nghĩa, accessibility cho người mù màu, dùng màu có mục đích và nhất quán, cùng nguyên tắc typography, layout, whitespace và tối giản cho dashboard ngân hàng.

Thiết kế dashboard hiệu quả bằng cách bắt đầu từ người dùng và câu hỏi, không từ chart. Phân biệt strategic/analytical/operational, nguyên tắc bố cục (phân cấp trực quan F/Z, inverted pyramid, 5-second rule), cách trình bày KPI có ngữ cảnh, tương tác đúng mức, các lỗi cần tránh và ví dụ dashboard điều hành/giám sát ngân hàng.

Biến số liệu thành câu chuyện thuyết phục dẫn tới hành động, khác với dashboard khám phá. Ba thành phần dữ liệu-hình ảnh-narrative, biết khán giả và mục tiêu, cấu trúc setup/conflict/resolution và quy tắc So What, cách dẫn dắt chú ý bằng annotation và tiêu đề mang thông điệp, giảm tải nhận thức, phân biệt present vs read, minh hoạ qua tình huống sụt giảm CASA của ngân hàng.

Cách biểu đồ nói dối và cách vẽ trung thực: 12 cạm bẫy phổ biến (trục Y không từ 0, thang phi tuyến, lie factor, dual axis giả tương quan, cherry-picking, pie/3D, spaghetti, tổng hợp che giấu, bản đồ tuyệt đối, thiếu baseline), mỗi cái kèm cơ chế đánh lừa và cách sửa. Đạo đức dữ liệu, trách nhiệm người phân tích ngân hàng và checklist tự kiểm trước khi công bố.