📌 项目地址Alibaba-NLP/DeepResearch | ⭐ 18,983 颗星 | 🔧 Python | 📜 Apache-2.0

这不是聊天模型,是能自己搜索验证的智能体

通义实验室开源的 Tongyi DeepResearch(仓库 Alibaba-NLP/DeepResearch)是一个 MoE 模型,总参数 30.5B,推理时每个 token 只激活 3.3B 参数。它的定位不是对话,而是“长周期深度信息搜索”(long-horizon deep information-seeking)。给它一个复杂问题,它会自己决定搜索词、翻网页、交叉验证,最后输出结论。在 Humanity’s Last Exam、BrowseComp、WebWalkerQA 等七个搜索智能体评测集上拿了第一。

这些评测测的不是模型记住了多少知识,而是模型在多步搜索中的决策能力:该搜什么、怎么搜、何时该停下来。Tongyi DeepResearch 把“搜索-阅读-判断-再搜索”这个闭环当作核心能力来训练,而不是把搜索当成一个外挂插件随便接上。

三阶段训练:全自动合成 + 持续预训练 + 端到端 RL

READMe 写得很清楚,三阶段都是数据和算法创新,没有依赖人工标注。

第一阶段:全自动合成数据管线

训练用的每条数据都是一条完整的“智能体交互轨迹”——模型模拟搜索动作、点击文档、得出步骤结论或决定继续搜。整套管线全自动运行,可以无限生成覆盖不同搜索策略和失败恢复场景的轨迹。READMe 原话是:“highly scalable data synthesis pipeline, fully automatic”。零人工成本,解决了搜索智能体训练数据稀缺的核心问题。

第二阶段:大规模持续预训练

用合成出来的智能体交互数据继续训练基座模型(应该是通义基座)。目标有二:让模型适应网络环境(比如搜索引擎返回页的结构、链接格式、PDF 摘要等),同时保持知识的新鲜度并强化推理能力。这不是从零训,是在基座上加餐。

第三阶段:端到端强化学习

用定制的 Group Relative Policy Optimization (GRPO) 框架训练。READMe 列出了四个关键改良点,每个都对应一个实际工程难题:

  • token-level policy gradients:每个 token 单独计算策略梯度,粒度比整句更新更细。模型可以在搜索链的每个步骤上精细调整,而不是只看整句效果。
  • leave-one-out advantage estimation:留一法估计优势函数,减少方差。GRPO 典型实现是用当前组内多个轨迹的平均 reward 作为 baseline,留一法让评估更稳定。
  • selective filtering of negative samples:训练过程中只保留对策略提升有益的错误样本。有些失败轨迹(比如搜错了关键词)其实对学习没有帮助,过滤掉能加速收敛。
  • stabilizing training in non-stationary environment:搜索结果页和网页内容随时变化,模型不能假设两次搜索看到的东西一样,RL 必须处理这种动态环境。这个坑很深,做搜索智能体的人都能明白。

这几个点比“我们用 RL 训了”这种泛泛描述有价值很多。尤其是非平稳环境处理,很多公开项目根本没有提及。

推理双模式:ReAct 与 IterResearch Heavy

同一个权重,两种推理行为。READMe 明确写了:

  • ReAct 模式:用于严格评估模型的核心能力,资源开销小。如果你想跑对比实验或者做能力基准测试,用这个。模型只靠自身推理和内置搜索策略,不额外堆计算。
  • IterResearch “Heavy” 模式:测试时缩放计算资源,反复检索、验证、迭代,解锁模型最高性能天花板。做复杂调研、多轮溯源需求高时用。这相当于模型可以调用更多计算资源去走更深的搜索链。

对实际部署很有价值:简单问题走 ReAct 省钱,复杂问题砸钱上 Heavy 模式,按需切换。README 说两种模式都兼容,不需要重新加载权重。

在线 Demo 体验:建议直接跑本地

官方给了三个渠道:ModelScope 在线 Demo、HuggingFace 在线 Demo、阿里云百炼服务。但 READMe 用 NOTE 明确警告:

This demo is for quick exploration only. Response times may vary or fail intermittently due to model latency and tool QPS limits. For a stable experience we recommend local deployment; for a production-ready service, visit bailian.

我试了 HuggingFace 的 Demo。第一个请求等了一分多钟出了结果。第二个请求直接超时,页面报“Error”。这不是偶然,单次推理本来就慢,叠上并发限制,体验很差。如果你想稳定测试,建议本地部署或者直接用阿里云百炼。

开源的是权重,不是工程方案

模型权重可以从 HuggingFace(Alibaba-NLP/Tongyi-DeepResearch-30B-A3B)或 ModelScope 下载。但 READMe 只给了下载链接,没有加载脚本、推理命令、硬件要求、框架依赖。你拿到的是 .bin 文件,不是 docker-compose.yml。

硬件推测:总参数 30.5B,MoE 架构推理时只激活 3.3B,但全部参数需要加载到显存。按常见 MoE 实现,30B 参数用 FP16 大概需要 60GB 显存。Heavy 模式涉及多轮搜索和长上下文,估计需要 A100 80GB 或两台 24GB 卡做张量并行。具体没官方数据,这只是估算。

谁适合用这个模型

有 GPU 资源、想做搜索智能体方向的小团队。这个模型比跑全套 DeepSeek 划算:参数少一个数量级,能力针对搜索优化,MoE 又省推理时算力。先拿 ReAct 模式验证能力,再上 Heavy 模式深挖。

如果只是想体验搜索效果,在线 Demo 够用但体验差,直接上阿里云百炼更靠谱。如果目标是复现训练方法,论文和博客已经把数据合成和 RL 框架公开了,复现门槛相对低。

短板也明显:没有工程化套件。想跑起来还得自己搞定模型加载、搜索 API 集成、并发调度、结果后处理。对个人开发者来说,自建推理和搜索链路依然不轻。

这篇文章对你有帮助吗?

发表回复