聚类算法与金融应用

无监督学习的本质与价值

聚类不依赖预先标注的违约、欺诈或流失标签，而是从数据内在结构中发现相似群体。

• 在普惠金融中，许多客户缺少完整征信记录。聚类可以从交易行为、经营周期和资金流特征中形成客户画像。
• 聚类结果不是最终决策，而是分析入口。每个簇都需要结合业务解释、风险指标和后续表现进行验证。
• 无监督学习尤其适合探索性分析、特征构造、策略分层和异常样本识别。

相似性度量方法

不同距离度量对应不同的“相似”定义。度量选择错误会直接导致聚类结果失真。

• 欧式距离适合量纲一致、变量已标准化且簇形状接近球形的数据。
• 余弦相似度 $\cos(x,y)=\frac{x^{\top}y}{\|x\|\|y\|}$ 更关注方向而非规模，适合消费结构、资产配置比例和文本向量。
• 动态时间规整 DTW 适合比较时间序列形状，例如两家企业现金流节奏相似但时间上存在滞后。
• 马氏距离 $d_M(x,\mu)=\sqrt{(x-\mu)^{\top}\Sigma^{-1}(x-\mu)}$ 能考虑变量相关性，适合金融多指标联合异常识别。

K-means 算法

K-means 通过最小化簇内平方和寻找簇中心，是最经典的聚类方法。

• 算法交替执行两步：把样本分配到最近簇中心；根据簇内样本重新计算中心。
• 簇中心更新为 $\mu_k=\frac{1}{|C_k|}\sum_{x_i\in C_k}x_i$。这个更新有明确均值解释，但对异常值敏感。
• K-means++ 通过更稳健的初始化降低陷入较差局部解的概率。

肘部法则与聚类评估

聚类没有真实标签时，不能只凭视觉效果判断。需要结合内部指标、稳定性和业务可解释性。

• 肘部法则观察簇内平方和随簇数增加的下降速度。当下降幅度明显变缓时，可作为候选簇数。
• 轮廓系数同时考虑簇内紧密度和簇间分离度，值越高通常表示聚类结构越清晰。
• 金融场景还需要看簇的业务稳定性：不同时间窗口、不同抽样下，同一类客户画像是否仍然存在。

高斯混合模型 GMM

GMM 把数据视为多个高斯分布的混合，允许样本以概率形式属于多个簇，因此属于软聚类。

• GMM 输出责任度 $\gamma_{ik}=p(z_i=k\mid x_i)$，可以解释为客户属于第 $k$ 类的概率。
• 与 K-means 相比，GMM 能表达椭圆形簇和不同方差结构，更适合风险边界不清晰的客户群体。
• GMM 对分布假设更强，且需要注意协方差矩阵估计稳定性。

EM 算法的统一框架

EM 用于含有隐变量的最大似然估计。聚类中的簇标签就是典型隐变量。

• E 步估计隐变量的后验分布，例如每个样本属于每个簇的概率。
• M 步在当前隐变量分布下更新模型参数，例如混合权重、均值和协方差。
• K-means 可被视为硬分配版本的 EM 思想；GMM 则保留了概率责任度。

KMeans：从“小微信贷客户分群”一步一步理解

KMeans 的核心非常朴素：先放几个中心点，让每个客户找离自己最近的中心；再把中心移动到本组客户的平均位置；不断重复，直到中心不再明显移动。

先用一个很小的样本理解算法。假设平台收集了 12 家小微商户的两个标准化特征：经营活跃度和资金流稳定性。数值越接近 1，表示该特征越强。真实业务中当然会有更多变量，例如月流水、交易频率、退款率、线上订单占比、历史逾期次数、行业季节性等；这里先用两个变量，是为了让几何图像足够清楚。

这个目标函数可以翻译成一句话：让每个客户尽量靠近自己所属簇的中心。其中 xᵢ 是第 i 个客户的特征向量，μₖ 是第 k 个簇的中心，Cₖ 是第 k 个簇中所有客户的集合。KMeans 不是直接最大化利润，也不是直接预测违约，而是在做一件更基础的事：把特征相近的客户放到一起。

import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

df = pd.DataFrame({
    "merchant": ["A01","A02","A03","A04","B01","B02","B03","B04","C01","C02","C03","C04"],
    "activity": [0.22,0.25,0.30,0.28,0.68,0.74,0.79,0.70,0.62,0.70,0.78,0.83],
    "cashflow_stability": [0.86,0.80,0.84,0.76,0.64,0.58,0.62,0.52,0.22,0.25,0.18,0.30],
})

X = df[["activity", "cashflow_stability"]]
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

kmeans = KMeans(n_clusters=3, init="k-means++", n_init="auto", random_state=42)
df["cluster"] = kmeans.fit_predict(X_scaled)

print(df[["merchant", "activity", "cashflow_stability", "cluster"]])
print("inertia =", round(kmeans.inertia_, 4))

   merchant  activity  cashflow_stability  cluster
0       A01      0.22                0.86        1
1       A02      0.25                0.80        1
2       A03      0.30                0.84        1
3       A04      0.28                0.76        1
4       B01      0.68                0.64        0
5       B02      0.74                0.58        0
6       B03      0.79                0.62        0
7       B04      0.70                0.52        0
8       C01      0.62                0.22        2
9       C02      0.70                0.25        2
10      C03      0.78                0.18        2
11      C04      0.83                0.30        2

inertia = 0.8997

注意：scikit-learn 的簇编号只是 0、1、2，并没有天然含义。不能写“0 类就是好客户、1 类就是坏客户”。正确做法是先看每一类的均值、违约率、收入增长、授信利用率、复贷率，再给它业务名称。例如：稳定经营型、成长扩张型、高波动经营型。

GMM：对照 KMeans 理解“软分群”

KMeans 问的是“这个客户离哪个中心最近”；GMM 问的是“这个客户有多大概率来自每一种客户分布”。这就是硬分配与软分配的核心区别。

这条公式的含义是：一个客户的特征不是来自单一规则，而可能来自多个客户群体分布的混合。πₖ 是第 k 个群体在总体中的占比，μₖ 是群体中心，Σₖ 则刻画该群体的形状和变量之间的相关性。KMeans 只关心中心距离，GMM 还关心这个群体是胖是瘦、是圆是椭圆、变量是否一起变化。

γᵢₖ 通常被翻译为 responsibility，即责任度。它回答的是：第 k 个高斯成分对解释第 i 个客户负多大责任。一个边界客户可能不是 100% 属于成长型，也不是 100% 属于高波动型，而是 64% 像成长型、34% 像高波动型、2% 像稳定型。这种信息对金融很重要，因为边界客户往往正是风险管理和产品设计最需要关注的人群。

import pandas as pd
from sklearn.mixture import GaussianMixture
from sklearn.preprocessing import StandardScaler

X = df[["activity", "cashflow_stability"]]
X_scaled = StandardScaler().fit_transform(X)

gmm = GaussianMixture(
    n_components=3,
    covariance_type="full",
    random_state=42
)
gmm.fit(X_scaled)

df["gmm_cluster"] = gmm.predict(X_scaled)
proba = gmm.predict_proba(X_scaled)

print(df[["merchant", "gmm_cluster"]])
print(pd.DataFrame(proba, columns=["component_0", "component_1", "component_2"]).round(3))

   merchant  gmm_cluster
0       A01            1
1       A02            1
2       A03            1
3       A04            1
4       B01            0
5       B02            0
6       B03            0
7       B04            0
8       C01            2
9       C02            2
10      C03            2
11      C04            2

   component_0  component_1  component_2
0        0.000        1.000        0.000
4        0.996        0.004        0.000
8        0.031        0.000        0.969

EM 框架：为什么 GMM 要“猜—更新—再猜”

EM 的难点不在计算，而在理解“看不见的东西”。在聚类中，客户真实属于哪个潜在群体是看不见的，所以只能先估计归属概率，再用这些概率反过来更新模型。

放到数字普惠金融里，隐变量可以是“真实经营类型”“真实风险状态”或“真实资金需求模式”。这些东西不能直接从一张表中读出来，但它们会影响客户的流水、交易频率、还款行为和融资需求。EM 的作用就是在隐藏类型和可观察数据之间搭桥。

这两个更新式要用很简单的话解释：如果一个客户对第 k 类的责任度很高，它对第 k 类中心的影响就大；如果责任度很低，它对该类中心的影响就小。也就是说，GMM 的更新不是“把客户硬塞进某一类再求平均”，而是“按像不像这一类来加权求平均”。

边界客户 x = [经营活跃度 0.64, 资金流稳定性 0.48]

根据当前 GMM 参数计算：
稳定经营型责任度 ≈ 0.015
成长扩张型责任度 ≈ 0.641
高波动经营型责任度 ≈ 0.343

解释：
这个客户最像成长扩张型，但同时有明显高波动特征。
授信时不宜简单套用“成长型客户”的额度策略，最好加入现金流波动监测。

金融应用案例

• 农户数字信贷：根据经营周期、收入季节性、交易频率和历史还款行为进行客户分群，形成差异化授信策略。
• 交易反欺诈：使用聚类发现正常交易模式，再把远离主要簇或频繁跨簇迁移的账户列为风险线索。
• 供应链金融：根据企业上下游关系、应收账款周期和现金流结构识别核心企业、稳定配套企业和高波动企业。