全文概述

HuatuoGPT-o1 是一种基于大语言模型（LLM）的医学复杂推理系统，通过两阶段方法（微调和强化学习）提升推理能力。该系统使用40K个可验证的医学问题进行训练，并在实验中表现出色，超越了现有基线模型。核心在于其能够通过验证器检查推理过程的正确性，从而提高医疗领域的推理准确性。

医学复杂推理的重要性

医学领域需要强大的推理能力来提供可靠答案，但验证医学推理具有挑战性。HuatuoGPT-o1 通过构建可验证的医学问题和使用医学验证器来解决这一问题，确保推理结果的可靠性。

两阶段训练方法

第一阶段使用验证器指导搜索复杂的推理轨迹以微调 LLM；第二阶段应用基于验证器的奖励强化学习 (RL) 来进一步增强复杂推理。这种方法使得 HuatuoGPT-o1 能够识别错误并改进答案。

数据集与验证器

从 MedQA-USMLE 和 MedMcQA 中收集了192K道医学多项选择题，并转化为40K个可验证的医学问题。验证器根据真实答案检查模型输出的正确性，提供二元反馈以优化推理轨迹。

实验结果与应用前景

实验表明，HuatuoGPT-o1 在复杂推理任务中表现优异，超越了一般和医学特定的基线模型。该系统的成功为未来在其他专业领域的应用提供了参考，特别是在金融、法律等领域。

技术细节与算法

采用近端策略优化 (PPO) 算法进行强化学习，结合稀疏奖励和 KL 散度稳定训练。通过合成20K SFT 数据点进行监督微调，教会模型在回答之前深入思考和改进其推理过程。