Perplexity 为其 Agent API 增加 Wide Research,并发布包含 500 项任务的 WANDR 基准测试
Perplexity 已在其 Agent API 中新增 Wide Research 预设,并发布 WANDR——一项包含 500 项任务、用于评估有证据支持的研究工作的基准测试。
文章目录 · 9
Perplexity 已在其 Agent API 中提供 Wide Research 预设,并发布 WANDR——一项包含 500 项任务的基准测试,旨在检验 AI 系统能否完成广泛且有证据支持的研究任务,而不只是找到少数相关文档。
这一产品变化面向一类以覆盖范围为核心要求的工作:找出所有符合既定条件的结果,补充这些结果的额外事实,区分名称相似的实体,并为每项结论提供证据。Perplexity CEO Aravind Srinivas 在宣布发布时表示,普通的“狭义搜索”已在很大程度上得到解决,而更难的问题是在规模化条件下开展广泛研究。
这一区别很重要,因为对研究请求给出有用答案,并不总是等同于交付合格的研究成果。一套模型可能从大量候选对象中识别出几个看似合理的示例,但仍会遗漏符合条件的实体、将不同个人或公司的记录合并,或提供只支持最终列表部分内容的引用。这类失败在市场图谱绘制、供应商筛选、公共记录研究、竞争分析,以及文献或政策审查等工作流中尤其代价高昂。
一、Perplexity 正在向 Agent API 添加什么
Perplexity 表示,Wide Research 预设采用其“Search as Code”架构。其所述设计是让模型一次性制定研究计划,然后在更大规模的搜索与检索操作中以确定性方式执行该计划,而不是反复将每项中间结果都带入模型的上下文窗口。
这与传统基于聊天的研究流程有着不同的技术侧重。在狭窄任务中,智能体通常可以搜索、阅读少量页面,并在一段持续演进的对话中综合得出答案。广泛任务则可能要求对数十或数百个候选对象重复执行同一组检查:识别候选对象、检验资格规则、提取字段、获取支持页面、消除重复项,并生成结构化输出。
Perplexity 的主张并不是模型不再需要对任务进行推理。模型仍需确定应搜索什么、什么构成符合条件的结果、哪些证据足够,以及最终输出应如何组织。变化在于计划的执行方式:重复操作可以作为程序化研究工作流处理,而无需将不断增长的原始结果列表强行送回模型的工作上下文。
从实际角度看,这种方法旨在缓解广泛研究任务中两种常见压力。第一,上下文可能被已经处理、但仍需保留以供比较的记录挤满。第二,当长时间运行的智能体必须多次重述标准,或反复重新评估同类记录时,执行过程可能发生偏移。确定性执行层本身无法保证完整覆盖,但可以让研究计划中重复的部分更加一致,也更便于检查。
该公告并未确立“每一个”符合条件结果的通用定义。完整性始终取决于可获得的来源、确切的纳入标准,以及相关材料能否被公开检索。更具体的主张是,API 现在提供了一种预设,面向将覆盖范围和逐条记录证据视为一等要求的任务。
二、WANDR 将广泛研究转化为可测试的任务
WANDR 是 Perplexity 配套推出、用于“广泛且深入研究”的基准测试。其公共仓库将该基准描述为一种结构化、高信息量的工作,要求广泛发现、深度信息补充、系统化提取、精确实体消歧,以及有证据支持的答案综合。
这些要求使 WANDR 与主要对单一答案或简短推理链进行评分的基准测试明显不同。系统必须处理一组实体,并为任务生成所需文件或结构化输出。该基准的源任务包括任务树、模式、提示词、评分配置和任务专属工件。随后,这些源定义会被渲染为自包含的任务包。
每个生成的 WANDR 包都包括求解器说明、任务元数据、公共 Docker 环境、评估器材料和有序任务清单。该仓库表示,任务本地评估器是刻意设计:任务可以在运行时不依赖独立的 WANDR 包而被发布、下载和验证。这使基准测试更具可移植性,也让评估契约更加明确。
评估过程旨在检查的不只是最终答案是否听起来令人信服。智能体生成所需输出文件后,WANDR 的验证器可以获取提交的页面、规范化实体、去重记录,并对结果作出判断。该仓库区分了获得零奖励的已完成运行与验证器错误:零分是已评分的结果,而错误则意味着没有产生有效分数。
这对研究型智能体评估很重要,因为看似精致的叙述可能掩盖操作层面的错误。系统可以写出流畅的文字,却未能返回必需记录、引用不支持某个字段的页面,或以多个名称重复列出同一组织。相比于宽泛的偏好判断,检查任务专属文件和评分材料的验证器更适合发现这些问题。
三、围绕可复现性而非仅围绕提示词构建的基准测试
Perplexity 以 Apache-2.0 许可证发布了 WANDR。该仓库将可编辑的任务源文件、生成的基准测试包,以及用于运行远程端点的通用智能体适配器分开。这种划分让研究人员和开发者能够更清楚地区分:修改任务语义、将任务转换为 Harbor 基准格式,以及针对生成包测试智能体。
该项目还包含单任务冒烟测试、全提供商冒烟测试、双任务验证运行和完整基准测试运行的配置。其文档列出的提供商矩阵包括 OpenAI、Anthropic、Perplexity、Exa、Parallel 和 Gemini 集成。该仓库提醒,完整评估会产生付费的求解器、抓取和评审 API 调用,而基准测试框架并不设置支出上限。
这一警告有助于理解广泛研究评估衡量的内容。该基准测试并未将复杂的研究任务简化为一次廉价的单轮提示词。评估广泛发现、页面检索、证据验证和结构化输出可能需要大量模型和网页访问资源,尤其是在同一任务跨多个系统运行时。
该项目的 Relay 组件会记录每次试验的生命周期事件、工具活动、使用情况、生成文件、提示词、最终消息和规范化结果元数据。它还要求声明的输出文件在验证器启动前必须存在且非空。这些机制使人们能够检查结果失败的原因:是智能体没有生成所请求的工件、输出格式错误,还是提交的研究未满足任务评分规则。
四、对开发者而言的实际变化
对于构建研究型智能体的开发者而言,当输出是数据集、经过审查的候选名单或证据链,而不只是附带几个链接的答案段落时,Wide Research 预设最具相关性。
例如,采购工作流可能需要找出所有符合地区、认证、产品类别和规模门槛的供应商,并提供支持每个字段的来源。政策研究人员可能需要找出界定时间段内所有相关申报文件,消除重复实体,并根据固定量规对每一项进行分类。在这两种情况下,找到几个好的示例并不足够;工作流需要可重复的操作,以及能够逐条记录核查的结果。
WANDR 为测试这种区别提供了公开方式。其任务结构、验证器设计和已发布工件,让开发者在比较研究型智能体系统时,拥有比轶事性演示更具体的依据。与此同时,Perplexity 的 API 预设将 Search as Code 呈现为一种执行模型,用于处理这类任务产生的重复性工作。
此次发布并未证明任何单一模型已经解决了全面研究问题。但它确实让底层标准更加明确:广泛研究系统应依据覆盖范围、提取质量、实体解析、输出契约和证据来评判,而不仅仅是看其最终文字是否具有说服力。
常见问题
Perplexity 的 Wide Research 预设适合什么任务?
它适合需要广泛发现、重复执行结构化检查,并为每个符合条件的结果提供证据的研究任务,而不是只依靠少量来源生成简短答案。
WANDR 基准测试衡量什么?
WANDR 衡量研究型智能体能否发现大规模结果集、补充信息并消除实体歧义、生成规定的结构化工件,以及用可验证证据支持每条记录。
WANDR 是否证明 AI 已经解决全面研究问题?
没有。该基准让结果不完整和证据不足等失败更容易量化,但发布基准或获得高分,都不能保证系统在开放式真实任务中做到穷尽覆盖。
参考来源
Share