马氏距离：把斜的空间拉直再量

1936 年，加尔各答。印度统计研究所的创始人 P. C. Mahalanobis 正在处理一批人类测量学数据：不同族群的身高、头长、鼻高、头指数。要把“两个族群有多像”压缩成一个数字，最直接的办法是把各项指标之差平方加总——也就是欧氏距离。但数据不配合：身高以厘米计，头指数是百分比；个子高的人头围往往也大，同一份信息被重复计数。合成出来的距离于是匪夷所思，量纲大的变量淹没量纲小的，相关的变量互相放大。

Mahalanobis 给出的解法后来以他的名字命名：用样本协方差矩阵的逆做加权，先把“斜的”数据空间拉直，再量距离。这个量还随身带着一条概率性质——多维高斯假设下，它服从卡方分布，“偏离多远才算反常”由此可以查表。九十年后，同样的问题换了一副面孔：BERT 一类的模型把一句话映射成 768 维向量，维度之间高度相关、方差悬殊，研究者称之为各向异性（anisotropy）。拿余弦或欧氏距离直接量，量到的大半是语言的公共套路，而不是这句话的特异之处。

在我们正在进行的一项工作论文（Ni and Guo, 2026，条件马氏语义分数 CMSS）中，这个老统计量被搬进 768 维嵌入空间，用来度量专利摘要的语义特异性——卡方分布提供的概率口径，正是把“离领域分布多远”转成可比分数的统计基础。这篇文章讲四件事：马氏距离从哪来、与欧氏距离差在哪；它的卡方分布性质在维度升高时意味着什么；嵌入空间为什么尤其需要它；以及它在专利文本上的一个具体用法。

一、来历：一个测量学难题

Mahalanobis 是个有意思的人物：物理训练出身，创办了印度统计研究所，与费雪保持了多年的通信争论。二十世纪二三十年代他主持了大范围的人类测量调查，要在几十项相关指标上比较族群之间的接近程度。当时的统计工具箱里，皮尔逊的相似系数管形态，费雪的判别函数管分类，但“一个点到一组人的平均有多远”这个问题，没有现成答案。

1936 年发表于 PNAS 的那篇短文给了答案：以族群的联合协方差为尺度，度量偏差。这个量后来被叫做马氏距离（Mahalanobis distance），记作 $D^2$。它与同时代的两个经典统计量是近亲：Hotelling 的 $T^2$ 取平方后本质上就是两组均值之差的马氏距离；Fisher 判别函数在等协方差假设下给出的线性判别面，正是马氏距离相等的那张面。

此后九十年，它在化学计量学、遥感、质量控制、金融风险里长期担任离群点检测的工具，化学计量学界甚至专门写过一篇以它为题的综述 [2]。长期冷门、始终好用，是这类基础工具的典型命运。

二、它在做什么：三个动作一次完成

马氏距离的定义是：

其中 $\boldsymbol{\mu}$ 是参照组的均值向量，$\boldsymbol{\Sigma}$ 是协方差矩阵。几何上，$\boldsymbol{\Sigma}^{-1}$ 相当于一套两步变换：先旋转，把坐标轴对齐数据的主方向；再缩放，每个方向按其方差的倒数伸缩。于是原来“斜的”椭圆云，在新坐标里变回了各向同性的圆云，欧氏距离重新变得可信。

拆开看，这一步同时完成了三件事：

三、维度升高时：卡方分布的口径

那条概率性质值得单独展开。若 $\mathbf{x}$ 服从均值 $\boldsymbol{\mu}$、协方差 $\boldsymbol{\Sigma}$ 的多元高斯分布，则马氏距离的平方严格服从自由度为维数 $d$ 的卡方分布：

直觉上这不意外：把 $\boldsymbol{\Sigma}^{-1/2}$ 作用到 $(\mathbf{x}-\boldsymbol{\mu})$ 上，等于把相关的高斯“漂白”成 $d$ 个独立标准正态，各自平方后加总，正是卡方的定义。维数于是同时出现在两个地方：典型距离以 $d$ 为中心增长，而相对波动以 $\sqrt{2d}/d=\sqrt{2/d}$ 的速度收缩。

读法有两层。低维时卡方明显右偏：二维下 99% 分位是期望的四倍多，一个 12 的 $D^2$ 已经相当扎眼。高维时分布向 $d$ 集中：768 维下一个“典型”样本落在 768 上下约 40 的窄带里，偏出 12% 就进入最反常的 1%。换句话说，维数越高，以 $D^2/d$ 为标尺的相对偏离反而量得越准——这条集中性质，正是高维空间里卡方阈值仍然可用的原因。

口径是条件给的。这条性质依赖三件事同时成立：参照分布确实是那个多元高斯、$\boldsymbol{\mu}$ 与 $\boldsymbol{\Sigma}$ 已知而非估计、维数固定。嵌入向量经 L2 归一化后落在单位球面上，离高斯很远，CMSS 工作论文因此不用卡方表，而是在独立校准队列上把分数转成经验百分位——查表的思路保留，表换成数据自己生成。

四、BERT 的斜空间：各向异性与马氏修正

把一句话喂给 BERT，得到一个 768 维向量。这些向量住的空间，比多数人想象的要“斜”得多。Ethayarajh 在 2019 年系统地测量了 BERT、ELMo、GPT-2 的上下文表示，发现它们挤在向量空间的一个窄锥里：随便挑两个词，余弦相似度都偏高，相似度失去区分度 [4]。Timkey 与 van Schijndel 随后找到了主要肇事者：往往只有 1–5 个维度占据了总方差的大头，他们称之为无赖维度（rogue dimensions）[5]。

打个比方：一间会议室装了 768 支麦克风，只有三支音量拧到最大，等权重合成的录音基本被这三支承包。余弦相似度正是这样一套等权合成。

修正路线有两支。后处理一派试图把锥子撑开：去掉均值和前几个主成分（All-but-the-Top）、白化变换、用 normalizing flow 拉直分布。但后续研究提醒，各向异性本身可能编码有用的结构信息，未必全是噪声，一删了之有代价。马氏一派不删任何方向，只按 $\boldsymbol{\Sigma}^{-1}$ 重新配权：大方差方向自动调低，中等方差方向的信息保留下来。它还占着一个更强的理论位置——在高斯假设下，类条件马氏距离是分布外样本检测的贝叶斯最优判别得分 [6]。深度学习的分布外检测（OOD detection）文献由此把它当作标准基线。

代价在高维暴露出来：768 维的满秩协方差需要远多于 768 个样本，样本协方差矩阵条件数动辄天文数字，求逆后距离完全失真。Ledoit 与 Wolf 的收缩估计在这里出场——在样本协方差与单位阵之间取一个解析最优的折中，把病态矩阵拉回可用区间 [3]：

其中 $\hat\delta\in[0,1]$ 是解析的收缩强度。这套技术在计量经济与组合优化里同样身经百战：高维资产收益协方差估计，靠的正是它。顺带一提，近年还有工作发现，先把向量投影到单位球面再估计协方差，能让高斯近似更紧、异常检测更稳，算是马氏距离的又一次小迭代。

五、量专利摘要的“特异性”

工作论文里的任务可以一句话说清：给定一篇专利摘要的嵌入，问它在所属技术领域的语言分布里站得多偏。偏离得远，可能是探索性的技术组合，也可能是起草潦草或翻译失真——这恰好是需要后续验证才能定的构念，距离本身只负责把“站得偏”量出来。

为什么不能直接用余弦或欧氏？专利摘要里满是法律套话和领域惯用语，所有向量都被推向共同方向，等权量到的先是“套路浓度”。CMSS 的做法是：在领域 $c$、年份 $t$，用历史数据块估计该领域的 $\boldsymbol{\mu}$ 与 $\boldsymbol{\Sigma}$（Ledoit–Wolf 收缩），对每篇摘要计算领域条件下的马氏距离；再减去全局（全部专利语言背景）的马氏距离，得到带符号的相对分数；最后在一个独立校准队列上，把这个分数转成领域内可比的百分位。

两个设计决定值得单独说。其一，时序交叉拟合。估计用 $t-3$ 年及以前的数据，校准用 $t-2$ 与 $t-1$，评估只看 $t$ 年。任何一篇专利都不参与构建自己的参照分布——否则等于自己给自己当背景，距离会系统性地偏小。其二，领域条件加校准。不同技术领域演化速度不同，跨领域的原始距离没有可比性；转成领域内百分位后，“化学领域的第 95 分位”和“电子领域的第 95 分位”才在同一把尺子上。

论文的初步结果显示出清晰的非线性：中高特异性的专利，五年后的引用影响更高；而最极端的尾部同时包含高影响的突破与更高的撤回风险——特异性带来的不是单一“质量”，而是一个更宽的结局分布。关联在累积型技术和先验知识更宽的申请人身上更强。数字仍在定稿中，这里只交代方向。

在这个应用里，马氏距离不是被用来“修复”嵌入，而是把几何本身当作诊断工具：协方差矩阵记录了一个领域的语言习惯，逆矩阵给出的加权，恰好把习惯性表达调低、把真正的偏离放大。

六、使用时的四个注意

1. 高维必须收缩。样本量不足维度两倍（$n<2d$）时别硬估 $\boldsymbol{\Sigma}$。Ledoit–Wolf 收缩、非线性收缩、Graphical Lasso 都是常规选项；估计完看一眼条件数，收缩强度本身也值得报告。
2. 非高斯就当排序用。卡方口径依赖多元高斯与已知参数两条假设；数据长尾、多峰或落在球面上时，分位数仍可用于排序与比较，但别当精确概率解读——CMSS 论文改用经验百分位校准，正是这个原因。
3. 分布会漂移。参照的 $\boldsymbol{\mu}$ 与 $\boldsymbol{\Sigma}$ 是某个时期的快照。语言、市场、技术都在变，参照分布要定期重估；嵌入模型也应先冻结再评估，避免信息泄漏。
4. 先问相对于谁。换一个领域、换一个时期、换一个参照总体，同一个 $D^2$ 讲的是不同的故事。报告马氏距离时，把参照分布交代清楚，和距离本身一样重要。

写在最后

九十多年前，它处理的是颅骨和身高；今天，问题换成了 768 维向量。内核没有变：先弄清数据的长相——均值在哪里、往哪个方向歪、各方向散得多开——再谈距离。度量之前先看协方差，这大概是计量统计最经得起时间的一条心法。