InterLV-Search：定义下一代AI智能体搜索能力的基准测试

1. 项目概述当AI学会“边看边想”最近在AI圈子里一个词的热度正在悄然攀升——“Agentic Search”智能体搜索。这不再是简单的“输入关键词返回网页列表”。想象一下你有一个数字助手你告诉它“帮我规划一个为期三天的北京文化之旅要包含小众博物馆和特色美食预算控制在5000元以内。” 传统的搜索引擎会给你一堆零散的链接旅游攻略、博物馆官网、美食推荐。而一个具备“智能体”能力的搜索系统会像一个真正的旅行顾问那样工作它先理解你的复杂需求时间、兴趣、预算然后主动去“执行”一系列搜索——查找小众博物馆的开放时间和评价对比不同区域的酒店价格搜寻特色餐厅的人均消费和口碑甚至计算交通路线和时间。在整个过程中它可能会根据上一步搜索到的信息比如发现某个博物馆周一闭馆动态调整下一步的搜索策略将周一的行程替换为其他活动。这种多步骤、有状态、能根据反馈自主规划并执行搜索动作的能力就是“智能体搜索”的核心。而“Interleaved Multimodal Agentic Search”交错式多模态智能体搜索则将这个概念推向了更复杂的维度。它强调两个关键点“交错式”和“多模态”。交错式指智能体的“思考”推理、规划与“行动”执行搜索、调用工具是高度交织、循环进行的而不是简单的“先规划所有步骤再逐一执行”。这更贴近人类的解决问题方式——我们通常是有一个大致想法然后尝试一下根据结果调整策略再继续尝试。多模态意味着智能体处理和生成的信息不限于文字。它需要理解图片从商品图片中提取信息、视频从教程视频中总结步骤、音频理解语音指令甚至可能是未来的3D模型或传感器数据。它生成的答案也可能是图文并茂的报告或者一个包含了地图和图片的行程单。InterLV-Search这个项目正是为了系统性地衡量和推动这类前沿智能体搜索能力而诞生的一个基准测试。它的目标非常明确为学术界和工业界提供一个标准化的“考场”和“评分体系”用来客观、全面地评估一个AI智能体在完成复杂、开放式的多模态搜索任务时到底有多“聪明”、多“能干”。简单来说它要回答的问题是当AI像人一样通过边看多模态信息边想推理边搜执行的方式去解决一个复杂问题时我们该如何科学地给它打分这个项目就是为了定义打分的规则、出考题的题库以及评分的标准。这对于当前致力于开发更强大AI助手如升级版的Copilot、更智能的Siri或新形态的搜索产品的团队来说具有至关重要的指导意义。2. 核心需求与设计思路拆解为什么我们需要一个专门的基准来测试“交错式多模态智能体搜索”这源于现有评估体系的几个关键短板以及该领域发展的迫切需求。2.1 现有评估体系的局限性在InterLV-Search出现之前评估AI的搜索或问答能力通常依赖于以下几类基准但它们各有不足传统问答数据集如SQuAD、HotpotQA等。它们通常是静态的、单轮的、纯文本的。给定一个问题和一篇背景文章模型从中找出答案。这完全无法评估智能体主动获取信息搜索和多轮交互的能力。工具调用基准如ToolBench、API-Bank等。它们评估模型是否能正确调用某个工具如计算器、天气API。但这更像是“函数调用”测试任务往往孤立且预设了工具缺乏真实搜索中从海量、未知信息源中筛选和整合的挑战。多模态理解基准如VQA、TextVQA等。它们测试模型对“图片问题”的理解能力但问题是预设的答案也通常局限于图片内容本身不涉及外部的、动态的信息检索。简单Web导航基准如WebShop、MiniWoB。它们让智能体在模拟网页上点击、输入来完成购物或表单填写等任务。这类基准开始涉及“动作”但环境高度简化、任务领域狭窄且模态通常仅限于结构化的网页文本与真实互联网丰富、非结构化的多模态内容相去甚远。这些基准像是考“单项科目”语文、数学、计算机。而现实世界的复杂任务比如“为我策划一场主题婚礼”需要的是综合能力理解需求语文、计算预算数学、搜索场地和供应商信息检索、审美设计多模态理解、协调步骤规划。没有一个现有的“考场”能系统性地考核这种综合的、动态的、多模态的智能体搜索能力。2.2 InterLV-Search要解决的核心问题因此InterLV-Search的设计目标就是填补这个空白。它的核心设计思路围绕以下几个关键问题展开如何定义“交错式”任务任务必须是多步骤的且步骤间的依赖关系复杂。下一步该做什么严重依赖于上一步搜索得到的结果。例如任务“找一部类似《星际穿越》但结局更乐观的科幻电影”。智能体可能需要先搜索《星际穿越》的详细信息和影评提取其核心要素硬科幻、父女情、时间膨胀然后基于这些要素去搜索其他电影再根据搜索结果中的用户评价来筛选“结局乐观”的影片。这个过程是典型的“搜索-分析-再搜索”的交错循环。如何融入“多模态”任务指令和所需的信息源必须是多模态的。任务可能以一段包含截图的对话开始“帮我看看这个植物是什么附图”而解决任务需要智能体不仅能搜索文字描述还要能理解并可能搜索相似的图片或者从视频教程中提取关键步骤。答案的生成也可能要求是多模态的例如返回一个包含图片、链接和文字说明的汇总报告。如何构建逼真的评估环境基准需要提供一个尽可能接近真实互联网搜索的环境。这包括真实的网页/API模拟器或直接使用受限的真实网络环境如通过安全沙盒。丰富的多模态内容包含文本、图片、表格、视频链接、交互式元素如可点击的按钮、下拉菜单的模拟网页。动态性与不确定性搜索结果可能每次略有不同链接可能失效页面布局多样以此来考验智能体的鲁棒性和适应性。如何制定公平且全面的评估指标这是最大的挑战之一。不能只看最终答案的对错因为复杂任务的答案可能不唯一。评估体系需要是多维度的任务完成度最终结果是否满足了用户的核心诉求动作效率智能体用了多少步搜索、点击等完成任务步骤是否冗余规划合理性其搜索和行动序列是否符合逻辑是否做出了关键的信息决策多模态利用能力是否有效地理解和利用了不同模态的信息中间过程质量每一步的决策和观察是否合理基于这些思路InterLV-Search的架构通常会包含几个核心模块一个任务生成器用于产生多样化、可评估的复杂任务一个环境模拟器提供多模态的、可交互的搜索环境以及一套自动化评估工具根据智能体与环境交互的全轨迹从多个维度进行评分。3. 基准的核心构成与任务设计解析一个优秀的基准其价值很大程度上取决于它提出的“考题”是否巧妙、全面且具有代表性。InterLV-Search在任务设计上需要精心构思以覆盖智能体搜索能力的各个维度。3.1 任务类型与复杂度分层InterLV-Search的任务库很可能采用分层设计从相对简单的任务到极其复杂的开放式任务形成一个难度梯度。层级一基础信息整合与验证示例任务“验证这条消息的真伪‘某品牌手机电池在低温下会自动关机’。请提供权威来源的证据。”能力考察点智能体需要理解任务包含两个动作1) 搜索该传闻的原始出处和广泛讨论2) 搜索手机品牌的官方声明或权威科技媒体的测试报告。它必须能判断信息源的可信度并交叉验证最终给出一个附有来源链接的结论。这里已经开始涉及多步骤搜传闻、搜辟谣和简单判断信源评估。层级二多约束条件规划与决策示例任务“我下周五晚上抵达上海浦东机场需要入住外滩附近、评分4.5以上、价格低于800元/晚的酒店住两晚。请为我推荐三个选项并说明理由附上酒店图片和预订页链接。”能力考察点这是一个经典的多约束规划任务。智能体需要解析时间、地点、评分、价格等多个约束条件。它的行动轨迹可能是1) 搜索“上海浦东机场到外滩交通方式及时间”以确定入住时间范围2) 在旅游平台搜索外滩区域酒店应用评分和价格过滤器3) 对初步结果进行详细查看获取图片、用户最新评价4) 对比筛选确保符合所有条件5) 组织答案。整个过程需要智能体在多个页面间导航处理表格、图片、星级评分等多模态信息并根据实时信息如某酒店已满房动态调整计划。层级三创造性问题解决与开放式研究示例任务“基于目前公开的学术资料和产业报告分析‘固态电池’在未来三年内大规模应用于电动汽车面临的主要技术瓶颈和供应链挑战并预测可能的突破路径。请以结构化报告的形式呈现。”能力考察点这接近一个初级行业分析师的调研工作。智能体需要1) 理解“固态电池”、“技术瓶颈”、“供应链挑战”、“突破路径”等核心概念2) 制定搜索策略可能包括搜索顶级学术期刊的最新论文、知名咨询公司的行业报告、头部电池厂商的技术发布会新闻等3) 从海量、可能观点冲突的信息中提取、归纳和总结关键点4) 将信息组织成逻辑清晰的结构化报告如分技术、供应链、展望等章节。这极度考验智能体的信息检索广度、深度、批判性思维和信息综合能力。3.2 多模态元素的深度集成多模态不是点缀而是任务的核心组成部分。设计上会确保输入多模态任务指令可能是一段语音转写的文字、一张设计草图、一个商品截图或者一段描述场景的视频。环境多模态智能体交互的“网页”上关键信息可能隐藏在图片里的图表中、一段产品介绍视频里或者一个需要点击展开的PDF附件里。智能体必须能“看懂”图片中的文字和含义“听懂”视频里的关键信息才能完成任务。输出多模态答案可能要求生成一个包含数据图表的摘要、一个图文混排的购买指南甚至是一个简单的步骤演示视频脚本。注意在构建这样的环境时一个巨大的挑战是版权和可控性。完全使用真实互联网内容难以保证评估的稳定性和可重复性。因此InterLV-Search很可能采用高度仿真的合成环境即人工构建或程序化生成大量具有多模态元素的模拟网页既能保证内容的丰富性和真实性又能完全控制评估的边界条件和正确答案。3.3 评估指标的精细化设计评估不能只有一个“总分”。InterLV-Search的评估体系会是多维度的仪表盘至少包含以下几个方面评估维度具体指标说明最终效果任务成功率最终答案是否被人工或自动化规则判定为“可接受”。答案质量分数对答案的完整性、准确性、条理性进行更细致的打分。过程效率总步数完成整个任务所执行的动作搜索、点击、翻页等总数。冗余动作比例无效点击、重复搜索等动作占总步数的比例。规划能力关键决策点命中率任务设计中预设了一些关键决策点如选择信源、筛选条件智能体是否做出了正确选择。轨迹与专家轨迹相似度将智能体的行动序列与人类专家或预设的最优路径进行比较。多模态理解跨模态引用准确率最终答案中引用的信息有多少比例来自于对图片、视频等非文本内容的正确理解。多模态工具使用率在过程中是否合理使用了图像识别、语音转文字等工具。鲁棒性异常处理能力面对死链、页面加载失败、信息矛盾等情况时是否能有效恢复并继续任务。这套指标使得不同智能体之间的比较不再是黑箱我们可以清晰地看到智能体A虽然最终完成了任务但步骤冗余智能体B虽然步骤精炼但在多模态信息利用上存在短板。这为模型的改进提供了明确的方向。4. 实现交错式多模态搜索的关键技术挑战要在这个基准上取得好成绩或者说要构建一个强大的交错式多模态搜索智能体需要攻克一系列技术难关。这不仅仅是把一个大语言模型和搜索引擎连接起来那么简单。4.1 核心架构从“反应式”到“前瞻式”的智能体引擎一个基础的智能体系统通常遵循“感知-规划-行动”循环。但在交错式搜索中这个循环需要升级。增强的感知模块它不仅要理解用户的初始指令还要持续理解每一步行动后环境返回的多模态状态。这需要一个强大的多模态大模型作为“大脑”的感知部分能够实时解析当前网页的截图包含文本、布局、图片、API返回的JSON数据、甚至是音频摘要。复杂的规划与推理模块这是智能体的“思考中枢”。它不能只是生成下一个简单的搜索词。它需要维持工作记忆记住整个任务的目标、已经采取的行动、获得的关键信息片段。进行深度推理基于当前状态和记忆推断还需要什么信息哪里可能存在信息缺口不同信息源之间是否存在矛盾。生成可执行的行动计划这个计划可能是一个复杂的动作序列例如“首先点击页面顶部的‘筛选’按钮然后在下拉菜单中选择‘价格从低到高’接着滚动到第三排点击第二个商品的图片进入详情页最后提取详情页中的‘用户评分’和‘材质说明’文本。”处理不确定性当搜索结果显示“约有1000000条结果”时规划模块需要决定是浏览前几页还是立即增加更精确的筛选词。精准的行动执行模块负责将规划模块输出的高级指令如“点击id为‘submit-btn’的按钮”转化为环境可以执行的低级操作如鼠标点击坐标、键盘输入。在模拟环境中这通常通过API调用或脚本执行若涉及真实浏览器则可能需要更复杂的自动化工具。实操心得在构建这类智能体时一个常见的误区是过度依赖大模型的“直觉”。实际上为规划模块引入一些结构化约束和领域知识能极大提升效率。例如在旅游规划任务中可以预先为智能体注入“行程规划通常遵循‘住宿-交通-景点-餐饮’的考量顺序”这样的启发式规则避免它一开始就去搜索无关紧要的细节。4.2 多模态理解的深度融合“多模态”不是文本、图像、视频管道的简单拼接。真正的挑战在于跨模态的关联与推理。场景任务指令是“帮我找找这个家具附一张客厅角落的图片在网上哪里可以买到类似款预算2000元。”挑战智能体需要1) 通过图像识别理解图片中的家具类别如“单人沙发”、风格如“北欧风”、可能材质如“布艺”。2) 将这些视觉特征转化为有效的文本搜索关键词例如“北欧简约 布艺 单人沙发 小户型”。3) 在搜索结果中它需要再次比对商品图片与原始图片的相似度而不仅仅是依赖文本描述。这要求视觉理解和语言生成模块之间有深度的、双向的信息流动。技术实现这通常依赖于一个统一的、经过大规模多模态数据训练的基础模型它能够在一个共同的语义空间中对齐文本和视觉特征。这样它既能用文字描述图片也能用图片的特征来检索相关的文字信息。4.3 工具使用与搜索策略的优化智能体需要熟练使用一系列“工具”来与环境交互。除了基础的“网页搜索”还可能包括垂直搜索工具如“搜索学术论文”、“搜索商品价格历史”、“搜索航班动态”。信息提取工具如“从当前页面提取所有价格数字”、“总结这个视频的核心观点”、“解析这个表格并转换为JSON”。计算与判断工具如“计算总预算是否超支”、“判断这两个信息源哪个更权威”。如何让智能体在正确的时间选择正确的工具并为其提供正确的参数是一个核心问题。这涉及到工具描述与索引每个工具都需要有清晰、机器可读的功能描述以便智能体在规划时进行匹配。上下文学习通过少量示例让智能体学会在特定情境下使用特定工具。反馈学习如果一次工具调用没有返回有用信息智能体应能从中学习调整下一次的策略。例如第一次用“AI绘画”搜索“莫奈风格”结果不理想下次可能会尝试搜索“印象派 数字艺术 教程”。5. 构建与参与InterLV-Search基准的实践路径对于研究团队或开发者而言参与或利用InterLV-Search基准可以遵循以下路径。5.1 环境搭建与智能体开发假设InterLV-Search基准提供了开源的代码和模拟环境典型的开发流程如下环境配置# 克隆基准代码库 git clone https://github.com/InterLV-Search/benchmark.git cd benchmark # 安装依赖示例具体以官方文档为准 pip install -r requirements.txt # 启动本地模拟环境服务 python -m interlv_env.server --port 8080这个模拟环境服务器会提供一系列仿真的网页和API端点供智能体交互。智能体骨架开发 你需要开发一个符合基准接口规范的智能体类。其核心是一个循环不断接收环境状态输出动作。import requests from multimodal_llm import YourMultimodalModel # 假设你使用的多模态模型 class MySearchAgent: def __init__(self, llm_model): self.llm llm_model self.memory [] # 用于存储交互历史 def act(self, observation): observation: 一个字典包含当前环境的文本、图像等状态信息。 返回一个动作字典如 {action_type: search, query: ...} 或 {action_type: click, element_id: ...} # 1. 将观察可能包含图像和历史记忆一起输入给多模态LLM prompt self._construct_prompt(observation, self.memory) # 2. LLM生成包含推理和下一步动作的响应 # 响应可能是经过格式化的例如“思考用户需要... 当前页面显示了... 所以我应该... 动作搜索[关键词]” llm_response self.llm.generate(prompt) # 3. 解析LLM的响应提取出结构化的动作 action self._parse_response(llm_response) # 4. 将本次观察和动作存入记忆 self.memory.append({obs: observation, act: action}) return action def _construct_prompt(self, obs, memory): # 构建一个包含任务目标、历史对话、当前页面信息的详细提示词 # 这里需要精心设计是智能体性能的关键 pass def _parse_response(self, response): # 使用规则或小模型从LLM的自由文本响应中解析出标准动作 pass连接与测试# 连接到本地环境服务器 env InterLVEnvironment(server_urlhttp://localhost:8080) # 初始化你的智能体 agent MySearchAgent(llm_modelyour_model) # 运行一个任务回合 task_id env.start_task(task_typecomplex_planning) observation env.get_observation() while not env.is_done(): action agent.act(observation) observation, reward, done, info env.step(action) # 可以根据reward和info进行学习或调整策略如果是强化学习智能体5.2 核心难点与调优策略在实际开发中你会遇到几个典型问题问题一LLM的“幻觉”导致动作失控。智能体可能因为误解页面内容而执行无意义的点击或搜索。排查与解决首先需要增强观察解析的可靠性。除了让LLM看页面截图可以额外使用一个轻量级的OCR工具提取页面上的所有文本并将文本和截图一起提供给LLM减少其“看错”的可能。其次在_parse_response阶段加入动作验证例如检查要点击的元素ID是否真的存在于当前页面的DOM树中。问题二搜索策略低效陷入循环或冗余。智能体可能反复搜索相似关键词或者在一个不相关的信息分支上钻牛角尖。排查与解决这需要改进规划模块。可以引入子目标分解机制。在任务开始时强制智能体先输出一个高阶计划如1. 确认目的地天气2. 查找该天气下的推荐活动3. 根据活动查找具体地点...。每一步行动都需关联到当前的子目标。同时在记忆中加入已尝试动作的负面反馈如果某个搜索词连续两次返回无关结果则在提示词中明确提醒智能体避免再次使用。问题三多模态信息利用不足。智能体可能完全依赖文本忽略了图片中的关键信息。排查与解决在提示词工程中需要显式地要求模型关注多模态内容。例如在_construct_prompt中可以加入“请仔细分析用户提供的图片和当前屏幕截图。如果图片中有图表请描述其趋势如果截图中有产品图片请描述其外观特征并考虑将其作为搜索的依据。” 此外可以专门训练或微调模型的视觉问答能力使其更擅长从图像中提取任务相关信息。5.4 评估结果分析与迭代运行完基准测试后你会得到一份详细的评估报告。分析这份报告是改进智能体的关键定位薄弱环节如果“冗余动作比例”很高说明规划模块需要优化。如果“跨模态引用准确率”低则需加强多模态理解。案例复盘选取失败或低分的任务案例人工复盘智能体的整个交互轨迹。看看它是在哪一步做出了错误决策为什么是感知错误、规划错误还是执行错误针对性改进感知错误考虑提供更丰富的环境特征如HTML结构、元素类型给模型或引入专门的视觉理解模块。规划错误可以通过行为克隆即收集人类专家在相同任务上的操作轨迹让模型模仿学习。或者采用强化学习让模型在模拟环境中通过试错来优化长期回报。执行错误完善动作解析和验证的逻辑确保动作的鲁棒性。InterLV-Search这类基准的价值就在于它提供了一个标准化的“训练场”和“度量衡”。通过持续地在这些复杂、多模态、交错式的任务上进行测试、分析和迭代我们才能推动AI智能体从“能回答问题”向“能解决问题”的真正进化。这个过程不仅是技术的竞赛更是对我们如何定义和衡量机器智能的一次深度思考。