贝叶斯方法

贝叶斯思想的精髓

贝叶斯方法可以先不要从公式开始，而是从“人怎样不断修正判断”开始理解。我们每天都在做贝叶斯更新：医生看病、挑餐馆、判断一个店铺靠不靠谱，背后都是先有一个初步判断，再根据新证据不断调整。

• 其中 $\theta$ 表示未知参数或状态，$y$ 表示观测到的数据。先验 $p(\theta)$ 记录数据到来前的判断，似然 $p(y\mid\theta)$ 描述某个参数下观察到数据的可能性，后验 $p(\theta\mid y)$ 是更新后的认知。
• 如果把医生看病放进这个公式，疾病就是未知状态，症状就是观察到的数据。医生最初的经验判断是先验，症状与疾病之间的匹配程度是似然，问诊之后重新排序的疾病可能性就是后验。
• 如果把选餐馆放进这个公式，餐馆是否值得去就是未知状态，评分、人气、装修和评论就是观察到的数据。你最初平均分配概率，后来根据证据重新排序，这也是贝叶斯更新。
• 在农村信贷、小微企业融资和早期风险识别中，道理完全一样：客户是否可靠是未知状态，流水、还款记录、经营年限、地区产业情况是证据。贝叶斯框架允许把经验判断和新增数据合在一起。

贝叶斯定理与全概率公式

贝叶斯公式真正想表达的是一个简单逻辑：不要只看证据本身，还要看这个证据更支持哪一种解释。同样是“发烧”，它可能支持感冒，也可能支持流感；同样是“店里人多”，可能说明好吃，也可能只是因为位置好或排队慢。

• 全概率公式告诉我们：同一个观测结果可能由多个潜在状态产生。医生不能看到发烧就只判断一种病，风控人员也不能看到逾期就只判断客户恶意违约。
• 概率 $p(\theta\mid y)$ 是在观测数据后对状态的判断；似然 $p(y\mid\theta)$ 是在给定状态下数据出现的可能性。二者不能混用。
• 基准概率谬误是金融应用中的常见错误：只关注一个证据很显眼，却忽略事件本身的基础发生率。例如欺诈比例很低时，即使模型精度较高，也可能产生大量误报。
• 回到餐馆例子：一家店排队很长是一个证据，但你还要问，排队长在“好吃”这个假设下常见吗？在“出餐慢”这个假设下是不是也常见？贝叶斯思维要求我们比较不同解释，而不是被单一证据带走。

朴素贝叶斯分类器

朴素贝叶斯是贝叶斯方法中最常用、最容易上手的一类分类器。它特别适合课堂教学，因为每一步都能用表格算出来：先数每一类有多少，再数每个特征在每一类中出现多少，最后把这些概率乘起来比较。

• 公式中的 $C_k$ 是候选类别，例如“好信用/坏信用”或“通过/复核”。$x_1,\ldots,x_d$ 是观察到的特征，例如账户状态、信用历史、储蓄水平、就业年限。
• 在信用审批中，特征可以包括还款记录、交易频率、收入稳定性、经营年限和地区产业结构。模型给出的每一项条件概率都可以解释为一个证据贡献。
• 当某个特征组合在训练样本中没有出现时，需要使用拉普拉斯平滑：$\hat p(x_j=v\mid C_k)=\frac{n_{v,k}+\alpha}{n_k+\alpha m}$。这可以避免某个概率为零导致整体后验归零。
• 朴素贝叶斯特别适合作为基准模型。复杂模型若无法显著超过这个透明基准，说明数据、标签或特征工程可能存在问题。

贝叶斯线性回归

传统线性回归给出一个点估计；贝叶斯线性回归给出参数分布。后者更适合需要风险区间和不确定性表达的金融决策。

• 后验均值可以理解为“数据估计”和“先验判断”的加权平均。当样本量增加时，数据的权重上升；当样本稀缺时，先验能提供稳定性。
• 在存款利率敏感性、贷款需求预测或县域金融指标建模中，贝叶斯回归可以同时报告预测均值和可信区间，便于制定风险缓冲。
• 常见后验形式为 $p(\beta\mid y,X)\propto p(y\mid X,\beta)p(\beta)$。该表达式直接说明参数估计来自似然与先验的共同作用。

层次贝叶斯模型

层次贝叶斯适合“多地区、多网点、多客群”的金融数据结构。它既允许群体差异，又能在样本少的群体之间共享信息。

• 下标 $j$ 可以表示县域、支行、行业或客户群体。每个群体有自己的参数 $\beta_j$，但这些参数又来自共同的总体分布。
• 这种“部分池化”机制可以避免两个极端：完全合并会掩盖地区差异，完全分开会让小样本地区估计不稳定。
• 在县域普惠金融评价中，层次模型可以把省级、县级和个体层面的信息同时纳入分析。

本章练习

• 解释为什么“高模型准确率”并不必然意味着“高欺诈识别价值”。请结合基准概率说明。
• 构造一个农村信贷申请人的朴素贝叶斯分类例子，列出至少四个特征和两个类别。
• 比较普通最小二乘回归和贝叶斯线性回归在风险预测报告中的表达差异。