清华姚班校友团队揭示Transformer模型组合能力限制
近期,一篇关于Transformer架构的研究再次引发了人工智能领域的广泛关注。研究指出,尽管Transformer模型在自然语言处理方面取得了显著成就,但在处理复杂的组合性任务时仍存在根本性的限制。
这项研究由清华大学姚班校友彭炳辉及其团队主导。他们通过一系列实验发现,Transformer模型在解决组合性问题时表现不佳。例如,在基本的乘法运算中,GPT-4计算两个三位数相乘的正确率仅为59%,而当涉及四位数相乘时,准确率急剧下降至4%。这表明,即使是目前最先进的大模型,在基础算术运算上也存在明显的局限性。
彭炳辉和他的团队进一步探讨了这种限制的原因。他们认为,Transformer缺乏“组合能力”,即在处理需要整合多个子问题答案的任务时,模型无法有效地进行推理。具体来说,如果一个大模型只有单层Transformer结构,且总参数量小于问题域的大小,那么该模型将无法解决组合性任务。这一结论得到了数学上的严格证明,并在多篇论文中得到了验证。
然而,这些发现也引发了学术界的争议。OpenAI的研究科学家Noam Brown表示,学术界的研究节奏相对较慢,而LLM领域的发展速度远超其惯常步调。DeepMind的研究者则反驳称,即使在四位数运算中,AI的表现仍未达到完美水平,这说明技术仍有改进空间。
尽管如此,研究人员已经开始探索改进Transformer的方法。马里兰大学的Tom Goldstein及其同事通过在数字中嵌入额外的位置信息,显著提高了模型在加法运算中的准确率。此外,思维链提示也被提出作为一种有效策略,帮助模型更好地处理复杂任务。
总的来说,虽然Transformer架构存在难以逾越的局限性,但通过不断的创新和改进,研究人员正在逐步克服这些挑战,为未来的人工智能发展开辟新的道路。