清华姚班校友团队揭示Transformer模型组合能力限制

近期，一篇关于Transformer架构的研究再次引发了人工智能领域的广泛关注。研究指出，尽管Transformer模型在自然语言处理方面取得了显著成就，但在处理复杂的组合性任务时仍存在根本性的限制。

这项研究由清华大学姚班校友彭炳辉及其团队主导。他们通过一系列实验发现，Transformer模型在解决组合性问题时表现不佳。例如，在基本的乘法运算中，GPT-4计算两个三位数相乘的正确率仅为59%，而当涉及四位数相乘时，准确率急剧下降至4%。这表明，即使是目前最先进的大模型，在基础算术运算上也存在明显的局限性。

彭炳辉和他的团队进一步探讨了这种限制的原因。他们认为，Transformer缺乏“组合能力”，即在处理需要整合多个子问题答案的任务时，模型无法有效地进行推理。具体来说，如果一个大模型只有单层Transformer结构，且总参数量小于问题域的大小，那么该模型将无法解决组合性任务。这一结论得到了数学上的严格证明，并在多篇论文中得到了验证。

然而，这些发现也引发了学术界的争议。OpenAI的研究科学家Noam Brown表示，学术界的研究节奏相对较慢，而LLM领域的发展速度远超其惯常步调。DeepMind的研究者则反驳称，即使在四位数运算中，AI的表现仍未达到完美水平，这说明技术仍有改进空间。

尽管如此，研究人员已经开始探索改进Transformer的方法。马里兰大学的Tom Goldstein及其同事通过在数字中嵌入额外的位置信息，显著提高了模型在加法运算中的准确率。此外，思维链提示也被提出作为一种有效策略，帮助模型更好地处理复杂任务。

总的来说，虽然Transformer架构存在难以逾越的局限性，但通过不断的创新和改进，研究人员正在逐步克服这些挑战，为未来的人工智能发展开辟新的道路。