强化学习与金融应用

什么是强化学习

强化学习研究智能体如何在环境中通过试错学习策略，以最大化长期累计奖励。

• 策略 $\pi(a\mid s)$ 表示在状态 $s$ 下选择动作 $a$ 的规则。奖励 $r_t$ 可以是收益、风险调整收益、客户响应或风险成本的函数。
• 与监督学习不同，强化学习的标签不是事先给定的，而是由行动后的环境反馈产生。
• 金融场景天然具有序列性：今天的授信额度、组合权重或营销策略会影响明天的风险和收益。

马尔可夫决策过程 MDP

MDP 是强化学习的数学框架，把动态决策问题拆成状态、动作、转移概率、奖励函数和折扣因子。

• 状态空间可以包含客户画像、市场状态、账户余额、宏观变量或历史行为摘要。
• 动作空间可以是是否授信、授信额度、组合权重、止损比例或推荐产品。
• 状态转移 $P(s_{t+1}\mid s_t,a_t)$ 描述动作如何影响未来。金融系统的难点在于转移机制常常非平稳。
• 折扣因子 $\gamma$ 控制远期收益的重要性。长期客户价值模型通常需要较高折扣因子，短期交易策略则可能更低。

探索-利用困境

探索意味着尝试不确定但可能更好的动作；利用意味着选择当前已知表现最好的动作。

• 过度利用会使模型陷入局部最优，例如只向历史表现好的客群投放金融产品，忽略潜在新客群。
• 过度探索会带来成本和风险，例如向风险不明客户过度放贷。
• UCB 算法把当前收益估计和不确定性奖励相加，对样本少但潜力大的动作给予探索机会。

多臂老虎机 Bandit

Bandit 是强化学习的简化版本：每次选择一个动作并立即观察奖励，但不显式建模长期状态转移。

• 遗憾值衡量算法与始终选择最优动作相比损失了多少收益。
• 金融营销、智能投顾产品推荐、线上额度策略和组合资产选择都可以用 Bandit 建模。
• Contextual Bandit 进一步引入客户特征或市场状态，使策略能够因人、因时、因场景而变化。

贝尔曼方程与价值函数

贝尔曼方程把长期价值分解为当前奖励和下一状态价值，是强化学习的核心递归结构。

• 最优价值函数满足 $V^*(s)=\max_a\mathbb E[r_t+\gamma V^*(s_{t+1})\mid s_t=s,a_t=a]$。
• Q 函数 $Q(s,a)$ 表示在状态 $s$ 采取动作 $a$ 后的长期价值，适合直接比较不同动作。
• 在组合管理中，短期收益高但增加未来回撤风险的动作，可能在长期价值上并不优。

深度强化学习

深度强化学习用神经网络近似价值函数或策略函数，使模型能够处理高维状态。

• DQN 使用神经网络近似 Q 函数，并通过经验回放和目标网络提高训练稳定性。
• Actor-Critic 同时学习策略和价值函数：Actor 负责选择动作，Critic 负责评价动作。
• 金融应用必须特别注意回测偏差、交易成本、流动性约束和极端风险。模拟环境若不可信，强化学习结果也不可信。

金融应用与边界

• 组合管理：强化学习可以动态调整仓位，但必须纳入交易成本、风险约束和样本外回测。
• 授信策略：可以把额度调整视为序列决策，但奖励函数不能只看放款收益，还要纳入违约、投诉和合规成本。
• 智能投顾：可根据客户风险偏好和市场状态动态推荐资产组合，但需要可解释披露和风险适当性控制。