香港中文大学和深圳大数据研究院的研究人员提出了一种名为HuatuoGPT-o1的医学LLM，它通过增强推理能力来改进大型语言模型（LLM）。该模型专注于医学领域的复杂推理，通过使用医学验证器来检查模型输出的正确性，并通过两阶段方法推动医学推理的进步。第一阶段使用验证器指导搜索复杂的推理轨迹以微调LLM，第二阶段应用基于验证器的奖励强化学习（RL）来进一步增强复杂推理。HuatuoGPT-o1仅使用40K个可验证问题就超越了一般和医学特定的基线，实验表明复杂推理可提高医学问题解决能力，并且可从强化学习中获益更多。