安德烈·卡帕西盛赞DeepSeek-R1强化学习技术 称其思维能力令人难以置信

近日，OpenAI联合创始人、前特斯拉AI总监安德烈·卡帕西（Andrej Karpathy）在YouTube上发布了一则长达3.5小时的免费课程，详细介绍了大模型的技术背景及其最新进展。其中，他特别强调了DeepSeek-R1模型在强化学习领域的突破性贡献。

卡帕西指出，在大语言模型的训练过程中，预训练、监督微调和强化学习是三个主要阶段。尽管前两个阶段已经相对成熟，但强化学习仍处于早期发展阶段。他认为，“强化学习是一切调整到位的环节”，它通过试错学习的方式，引导模型不断优化其性能。DeepSeek-R1研究论文首次公开讨论了强化学习在大语言模型中的应用，并展示了这项技术如何让模型涌现出推理能力。

具体来说，DeepSeek-R1通过纯强化学习方法（即DeepSeek-R1-Zero）和冷启动加多阶段训练的方法（即DeepSeek-R1），显著提升了模型在数学、代码等领域的推理能力。特别是在AIME竞赛数学问题上的准确性提升过程中，R1模型不仅提高了正确率，还发展出了一套独特的解题策略，表现出类似于人类思维链的能力。这一过程被卡帕西称为“最令人难以置信的成效”。

此外，DeepSeek团队还将这种强化学习方法应用于小模型的知识蒸馏，使得小规模模型也能具备强大的推理能力。这为低资源环境下的应用提供了新的可能性。未来，随着强化学习技术的进一步发展，我们有望看到更多类似AlphaGo“第37步棋”那样的创新解决方案，从而解锁全新的思考方式。

不过，卡帕西也提醒，要实现这些潜力，我们需要创造足够大且多样化的问题集，以支持模型进行广泛的探索和学习。总体来看，DeepSeek-R1的研究成果不仅验证了纯强化学习在提升大语言模型推理能力方面的巨大潜力，也为未来的研究提供了宝贵的经验和方向。