Perplexity 为其 Agent API 增加 Wide Research,并发布包含 500 项任务的 WANDR 基准测试
Perplexity 已在其 Agent API 中新增 Wide Research 预设,并发布 WANDR——一项包含 500 项任务、用于评估有证据支持的研究工作的基准测试。
Perplexity 已在其 Agent API 中提供 Wide Research 预设,并发布 WANDR——一项包含 500 项任务的基准测试,旨在检验 AI 系统能否完成广泛且有证据支持的研究任务,而不只是找到少数相关文档。
这一产品变化面向一类以覆盖范围为核心要求的工作:找出所有符合既定条件的结果,补充这些结果的额外事实,区分名称相似的实体,并为每项结论提供证据。Perplexity CEO Aravind Srinivas 在宣布发布时表示,普通的“狭义搜索”已在很大程度上得到解决,而更难的问题是在规模化条件下开展广泛研究。
这一区别很重要,因为对研究请求给出有用答案,并不总是等同于交付合格的研究成果。一套模型可能从大量候选对象中识别出几个看似合理的示例,但仍会遗漏符合条件的实体、将不同个人或公司的记录合并,或提供只支持最终列表部分内容的引用。这类失败在市场图谱绘制、供应商筛选、公共记录研究、竞争分析,以及文献或政策审查等工作流中尤其代价高昂。
Perplexity 正在向 Agent API 添加什么
Perplexity 表示,Wide Research 预设采用其“Search as Code”架构。其所述设计是让模型一次性制定研究计划,然后在更大规模的搜索与检索操作中以确定性方式执行该计划,而不是反复将每项中间结果都带入模型的上下文窗口。
这与传统基于聊天的研究流程有着不同的技术侧重。在狭窄任务中,智能体通常可以搜索、阅读少量页面,并在一段持续演进的对话中综合得出答案。广泛任务则可能要求对数十或数百个候选对象重复执行同一组检查:识别候选对象、检验资格规则、提取字段、获取支持页面、消除重复项,并生成结构化输出。
Perplexity 的主张并不是模型不再需要对任务进行推理。模型仍需确定应搜索什么、什么构成符合条件的结果、哪些证据足够,以及最终输出应如何组织。变化在于计划的执行方式:重复操作可以作为程序化研究工作流处理,而无需将不断增长的原始结果列表强行送回模型的工作上下文。
从实际角度看,这种方法旨在缓解广泛研究任务中两种常见压力。第一,上下文可能被已经处理、但仍需保留以供比较的记录挤满。第二,当长时间运行的智能体必须多次重述标准,或反复重新评估同类记录时,执行过程可能发生偏移。确定性执行层本身无法保证完整覆盖,但可以让研究计划中重复的部分更加一致,也更便于检查。
该公告并未确立“每一个”符合条件结果的通用定义。完整性始终取决于可获得的来源、确切的纳入标准,以及相关材料能否被公开检索。更具体的主张是,API 现在提供了一种预设,面向将覆盖范围和逐条记录证据视为一等要求的任务。
WANDR 将广泛研究转化为可测试的任务
WANDR 是 Perplexity 配套推出、用于“广泛且深入研究”的基准测试。其公共仓库将该基准描述为一种结构化、高信息量的工作,要求广泛发现、深度信息补充、系统化提取、精确实体消歧,以及有证据支持的答案综合。
这些要求使 WANDR 与主要对单一答案或简短推理链进行评分的基准测试明显不同。系统必须处理一组实体,并为任务生成所需文件或结构化输出。该基准的源任务包括任务树、模式、提示词、评分配置和任务专属工件。随后,这些源定义会被渲染为自包含的任务包。
每个生成的 WANDR 包都包括求解器说明、任务元数据、公共 Docker 环境、评估器材料和有序任务清单。该仓库表示,任务本地评估器是刻意设计:任务可以在运行时不依赖独立的 WANDR 包而被发布、下载和验证。这使基准测试更具可移植性,也让评估契约更加明确。
评估过程旨在检查的不只是最终答案是否听起来令人信服。智能体生成所需输出文件后,WANDR 的验证器可以获取提交的页面、规范化实体、去重记录,并对结果作出判断。该仓库区分了获得零奖励的已完成运行与验证器错误:零分是已评分的结果,而错误则意味着没有产生有效分数。
这对研究型智能体评估很重要,因为看似精致的叙述可能掩盖操作层面的错误。系统可以写出流畅的文字,却未能返回必需记录、引用不支持某个字段的页面,或以多个名称重复列出同一组织。相比于宽泛的偏好判断,检查任务专属文件和评分材料的验证器更适合发现这些问题。
围绕可复现性而非仅围绕提示词构建的基准测试
Perplexity 以 Apache-2.0 许可证发布了 WANDR。该仓库将可编辑的任务源文件、生成的基准测试包,以及用于运行远程端点的通用智能体适配器分开。这种划分让研究人员和开发者能够更清楚地区分:修改任务语义、将任务转换为 Harbor 基准格式,以及针对生成包测试智能体。
该项目还包含单任务冒烟测试、全提供商冒烟测试、双任务验证运行和完整基准测试运行的配置。其文档列出的提供商矩阵包括 OpenAI、Anthropic、Perplexity、Exa、Parallel 和 Gemini 集成。该仓库提醒,完整评估会产生付费的求解器、抓取和评审 API 调用,而基准测试框架并不设置支出上限。
这一警告有助于理解广泛研究评估衡量的内容。该基准测试并未将复杂的研究任务简化为一次廉价的单轮提示词。评估广泛发现、页面检索、证据验证和结构化输出可能需要大量模型和网页访问资源,尤其是在同一任务跨多个系统运行时。
该项目的 Relay 组件会记录每次试验的生命周期事件、工具活动、使用情况、生成文件、提示词、最终消息和规范化结果元数据。它还要求声明的输出文件在验证器启动前必须存在且非空。这些机制使人们能够检查结果失败的原因:是智能体没有生成所请求的工件、输出格式错误,还是提交的研究未满足任务评分规则。
对开发者而言的实际变化
对于构建研究型智能体的开发者而言,当输出是数据集、经过审查的候选名单或证据链,而不只是附带几个链接的答案段落时,Wide Research 预设最具相关性。
例如,采购工作流可能需要找出所有符合地区、认证、产品类别和规模门槛的供应商,并提供支持每个字段的来源。政策研究人员可能需要找出界定时间段内所有相关申报文件,消除重复实体,并根据固定量规对每一项进行分类。在这两种情况下,找到几个好的示例并不足够;工作流需要可重复的操作,以及能够逐条记录核查的结果。
WANDR 为测试这种区别提供了公开方式。其任务结构、验证器设计和已发布工件,让开发者在比较研究型智能体系统时,拥有比轶事性演示更具体的依据。与此同时,Perplexity 的 API 预设将 Search as Code 呈现为一种执行模型,用于处理这类任务产生的重复性工作。
此次发布并未证明任何单一模型已经解决了全面研究问题。但它确实让底层标准更加明确:广泛研究系统应依据覆盖范围、提取质量、实体解析、输出契约和证据来评判,而不仅仅是看其最终文字是否具有说服力。
参考来源
Share