Sakana AI开源TreeQuest算法,让多模型协作解题能力超越单打独斗,揭示“组合智能”的力量

想象一下,让ChatGPT的流畅对话、Gemini的多模态理解、DeepSeek的长文本分析能力汇聚一堂,共同解决一个难题。这不再是科幻场景,而是由Transformer架构创始人之一Llion Jones创立的明星AI公司Sakana AI实现的技术突破。他们提出的全新算法AB-MCTS(自适应分支蒙特卡洛树搜索),正是为了最大化多个大型语言模型(LLM)的协作潜力。

核心理念:协作创造卓越

Sakana AI的灵感源于一个朴素的真理:最伟大的成就往往源于不同思想的碰撞与合作。他们相信这一原则同样适用于人工智能。AB-MCTS正是设计用来模拟这种“团队协作”的算法:多个AI模型(如ChatGPT、Gemini、DeepSeek)可以同时处理一个问题,相互交换并完善各自的解决方案建议,最终协同得出更优的答案。

突破性成果:组合智能显威力

在极具挑战性的ARC-AGI-2基准测试(衡量AI通用智能的重要标准)中,多模型协作的AB-MCTS表现惊艳:

解决了30%的谜题,显著超越了顶尖单模型(如GPT-4o)单独工作时的表现(23%)。

关键发现:存在一些难题,只有不同模型的组合协作才能得出正确答案,单一模型无论多强大都束手无策。这强有力地证明了“组合智能”的价值——整体大于部分之和。

技术核心:动态平衡“深挖”与“广探”

AB-MCTS的核心创新在于解决了传统蒙特卡洛树搜索(MCTS)的关键局限,并引入了强大的自适应能力:

突破“无界分支”挑战: 传统MCTS扩展节点有限制。但LLM在相同提示下能生成无限可能的输出(非零温度采样)。AB-MCTS允许节点多次扩展,并引入GEN(生成)节点概念。选择GEN节点意味着要求LLM从当前节点生成一个全新的候选方案子节点。

自适应搜索策略: 这是AB-MCTS的灵魂。在树的每个节点,算法都实时决策:

“变宽”(探索): 选择GEN节点,生成全新方案,探索不同解题路径。

“变深”(利用): 选择现有子节点进行优化、深化,改进有潜力的方案。

智能决策机制: 决策基于贝叶斯后验预测分布估计节点潜力,并使用Thompson采样来选择动作,确保以原则性的方式平衡探索与利用。这使得AB-MCTS能充分利用LLM庞大且多样化的输出空间。

变体增强:分层与轻量

Sakana AI还提出了AB-MCTS的两种优化变体:

AB-MCTS-M(混合效应): 采用分层贝叶斯推断,在子树间共享统计信息,更好地平衡全局与局部探索,适合复杂任务。

AB-MCTS-A(轻量自适应): 显式分离“生成”(GEN)和“优化”(CONT)动作,利用共轭先验实现高效后验更新,计算更轻量。

全面碾压基准测试:

AB-MCTS及其变体在多个权威基准测试(LiveCodeBench, CodeContest, ARC-AGI, MLE-Bench)中展现了全面且显著的优势:

普遍优于基线: 在代码生成(LiveCodeBench, CodeContest)和AGI核心推理(ARC-AGI)任务上,AB-MCTS在各种计算预算下都优于标准MCTS和重复采样等基线方法。尤其是在预算增加时,AB-MCTS的持续提升能力更强(例如在ARC-AGI上,DeepSeek-V3预算增至512时,AB-MCTS优势显著扩大)。

适应性强: 在机器学习工程挑战(MLE-Bench)中,AB-MCTS-M成为唯一一个在所有分项竞赛中都表现优异的方法,而不同基线方法只在特定竞赛中领先。这证明了AB-MCTS能自适应不同任务对探索/利用的独特需求。

可视化证明: 搜索树结构分析显示,AB-MCTS生成的树比标准MCTS更宽,体现了其更强的探索能力;同时它在需要顺序优化的任务中也表现出色,证明了其利用能力的有效性。

开源与传承:自然启发的AI之路

Sakana AI已将此突破性算法以TreeQuest的名称在GitHub上开源,推动社区发展。
这项研究并非孤立,它延续了Sakana AI“自然启发AI”的核心路线:

2024年进化模型融合: 从“混合模型以创造新模型”转向“混合模型以协同使用现有强大模型”。

2025年达尔文-哥德尔机 (DGM): 与哥伦比亚大学合作,开发能像生物进化和科学发现一样进行开放式搜索、持续自我修改和进化的AI框架。

结语:协作智能的未来

AB-MCTS的成功不仅是算法的胜利,更是“协作智能”理念的胜利。它清晰地表明,通过精巧的算法设计,让多个各有所长的AI模型像人类团队一样有效协作,能够解决单一个体无法攻克的复杂问题。Sakana AI利用自然界的智慧(进化、集体智能)来启发AI研究的路径,正为我们打开通向更强大、更通用人工智能的大门。TreeQuest的开源,则为整个社区探索多模型协作的潜力铺平了道路。

参考链接:

Sakana AI 官方介绍 / 开源地址 (TreeQuest): https://x.com/SakanaAILabs/status/1939854145856708910

相关报道: https://the-decoder.com/sakana-ais-new-algorithm-lets-large-language-models-work-together-to-solve-complex-problems/