第六章

大语言模型

Transformer、金融文本智能与可控生成

本章补齐课程总览中的大语言模型模块，介绍 Transformer、自注意力、预训练、RAG、金融文本处理、合规审查与模型评估。

本课件中的数学公式已在本地构建阶段预渲染为静态 HTML/MathML，并使用随站点发布的本地字体与 CSS；页面不加载浏览器端公式渲染脚本。

从金融文本到语言模型

金融市场中大量信息以文本形式存在：年报、公告、新闻、研报、电话会议纪要、监管文件和客户交互记录。

把大语言模型想成一个读材料很快的研究助理

研究助理可以很快读完公告、年报、访谈记录和政策文件，并整理重点。但如果他没有标明依据，或者把没有看到的内容说得很肯定，就会出问题。

大语言模型也是这样。它的价值在于帮助处理大量文本，但金融结论必须能回到原始证据，不能只因为语言流畅就相信。

阅读

从文本中找到相关材料

整理

抽取主体、事件、金额、风险点

核验

结论必须能追溯到证据

传统 NLP 常以任务为中心训练单独模型；大语言模型则通过大规模预训练获得通用语言能力，再适配具体金融任务。
金融文本具有高专业性、高时效性和强合规约束。模型不仅要“会说”，还必须能引用依据、控制风险和保留审计链条。
文本智能可以服务于信息抽取、情绪分析、风险预警、合规审查、智能客服和研究助手。

怎么理解

大语言模型最适合处理“文字里的金融信息”，但它本身不等于事实数据库。

普惠金融例子

县域银行可以让模型阅读小微企业访谈记录、贷款用途说明和经营计划，提取风险线索，但最终结论必须回到原始材料核验。

课堂追问

模型写得很流畅，为什么仍然可能是错的？

Transformer 与自注意力

Transformer 的核心是自注意力机制，它让模型根据上下文动态决定不同词元之间的相关程度。

\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V

查询 $Q$ 、键 $K$ 、值 $V$ 来自输入向量的线性变换。注意力权重表示一个位置对其他位置的信息依赖。
多头注意力允许模型从不同语义角度同时建模，例如主体、事件、时间、金额和风险类型。
位置编码用于补充序列顺序信息，因为纯注意力机制本身不包含词序。

怎么理解

自注意力可以理解为模型在读一句话时，自动判断哪些词彼此重要。金融文本里，金额、主体、期限和条件往往要一起看。

普惠金融例子

“企业获得授信但尚未提款”和“企业逾期未还款”都出现授信相关词，但风险含义完全不同。注意力机制帮助模型结合上下文理解。

课堂追问

为什么只数关键词不足以理解金融公告？

预训练、微调与提示工程

大语言模型的能力来自预训练，但金融任务通常需要通过提示、检索增强或微调进行约束。

\mathcal L=-\sum_{t=1}^{T}\log p(x_t\mid x_{<t})

预训练目标通常是根据上下文预测下一个词元，使模型学习语言结构和世界知识。
提示工程通过清晰定义角色、任务、输入格式、输出格式和约束条件来引导模型。
微调适合稳定、重复、标注充分的任务；若知识频繁更新或需要引用来源，RAG 往往更合适。

怎么理解

提示工程像给实习生写清楚任务要求；微调像做岗位培训；RAG 像让他先查资料再回答。

普惠金融例子

如果要回答最新监管政策，RAG 通常比微调更合适，因为政策文件会更新，答案需要引用来源。

课堂追问

哪些任务适合微调，哪些任务更适合 RAG？

RAG：检索增强生成

RAG 把外部知识库检索结果作为上下文提供给模型，降低幻觉并提高可追溯性。

p(y\mid x)=\sum_{d\in \mathcal D}p(y\mid x,d)p(d\mid x)

金融问答和合规审查中，RAG 可以把制度文件、公告、年报或课程资料作为依据返回。
RAG 的质量取决于文档切分、向量表示、召回排序、上下文压缩和答案约束。
模型输出应尽量附带来源位置，便于人工复核和责任追踪。

怎么理解

RAG 的重点不是“让模型知道更多”，而是“让模型基于指定材料回答，并能追溯来源”。

普惠金融例子

普惠金融课程问答系统可以把教材、课件和政策文件做成知识库。学生提问时，系统先检索相关段落，再生成答案。

课堂追问

如果检索到的材料本身不相关，生成模型还能可靠吗？

金融文本任务

信息抽取：从公告中抽取主体、金额、日期、事件类型和风险提示。
情绪与语调分析：度量管理层讨论、新闻报道或投资者互动中的乐观、谨慎和不确定性。
报告生成：根据结构化数据和文档证据生成研究摘要、授信意见或风险提示，但必须保留人工审核。
合规审查：检查表述是否违反适当性、宣传、隐私或信息披露规则。

怎么理解

金融文本任务应尽量结构化输出。例如把公告拆成事件、主体、金额、日期、影响方向和证据句。

普惠金融例子

对小微企业访谈记录，模型可以抽取“主要收入来源”“最近经营困难”“资金用途”“还款来源”等字段，辅助客户经理形成调查报告。

课堂追问

哪些字段必须由人工确认，不能完全依赖模型抽取？

评估与风险控制

准确性：答案是否与证据一致，是否存在编造事实、错误引用或过度推断。
稳定性：同一问题在相近提示下是否给出一致结论。
安全性：是否泄露客户隐私、内部数据或未公开信息。
可审计性：是否保存输入、检索证据、模型版本、提示模板和人工修改记录。

怎么理解

大语言模型的评估不能只看回答是否顺眼，要看是否忠实于证据、是否稳定、是否可审计。

普惠金融例子

如果模型生成授信意见，系统应保存输入材料、检索证据、提示模板、模型版本和人工修改记录，便于事后复核。

课堂追问

金融场景中，模型“幻觉”最可能造成哪些实际损害？