语义搜索是什么？向量检索与关键词检索全面对比

摘要语义搜索用向量表达意思关键词检索用倒排索引匹配字面前者解决同义与意图匹配后者保障精确与可解释多数生产环境需要两者混合而非二选一。用户搜冬天穿的外套关键词检索可能只召回标题里带冬天和外套的商品把轻薄羽绒服漏掉换成语义检索能召回语义相近的羽绒服却可能把冬天用的暖手宝也算进来。这不是哪个更好的问题而是两种检索范式在字面匹配与语义匹配上的分工。本文拆解两种检索的工作原理、效果边界与成本差异给出对比表与选型建议并说明为什么混合检索hybrid search正在成为主流做法。关键要点关键词检索匹配字面与词频语义检索匹配向量距离两者的召回逻辑根本不同。语义检索的核心价值是解决词汇鸿沟用户用词与文档用词不一致时仍能召回。关键词检索在精确匹配、可解释性与低成本上仍有明显优势尤其适合型号、编码、人名。语义检索依赖嵌入模型模型选型与更新成本是落地时最容易被低估的一环。混合检索把两路召回结果融合通常比单一路线的相关性更高已是多数场景的默认选择。评估时不要只看整体准确率要按查询类型分段精确型查询与模糊型查询的结论往往相反。一、关键词检索倒排索引与词频统计关键词检索的做法是把文档切成词建立词 → 文档列表的倒排索引查询时同样切词再按词频、逆文档频率、字段长度等因素给候选文档打分。这套方法的代表算法是 BM25。它的判断依据是查询词在文档中出现得越多、该词在整个语料中越稀有、文档本身越短得分就越高。Elasticsearch 等主流检索系统的默认文本匹配即建立在这类统计之上匹配查询match query会先对查询串做分词再按相关性打分返回。它强在三处。一是精确搜iPhone 15 Pro 256G这种带型号与规格的查询字面匹配能直接锁定目标语义模型反而可能因为过度泛化把iPhone 15也拉进来。二是可解释得分能拆解为每个词的具体贡献排查为什么这条没召回时可以直接看词是否命中。三是成本低不需要模型推理索引体积也远小于向量索引。它弱在一处但很致命词汇鸿沟。用户说的词和文档里写的词不是同一个时字面匹配就失效了。搜保暖外套召回不了标题只有羽绒服的商品搜怎么退款匹配不到写的是退货流程的帮助文档。二、语义检索把意思编码成向量语义检索也称向量检索、稠密检索先把文本映射成固定维度的稠密向量embedding语义相近的文本在向量空间中距离更近查询时把查询词也编码成向量再检索距离最近的若干条。这一路线在工程上成熟的标志是稠密向量检索在开放域问答任务上超过了传统稀疏检索。Facebook AI 在 2020 年提出的 Dense Passage RetrievalDPR用双编码器把问题与段落分别编码为向量在多个开放域问答数据集上的检索准确率超过了强 BM25 基线。句向量方面Sentence-BERT 通过孪生网络结构让模型能产出可直接用余弦相似度比较的句子向量把句向量检索的开销从上万次模型推理降到一次编码加一次相似度计算是语义检索得以大规模落地的关键一步。它的核心价值是跨越词汇鸿沟。保暖外套与羽绒服在向量空间里距离很近因此能被召回跨语言场景下同一意思的不同语言表述也能被映射到相近位置。代价有三。一是需要模型要选嵌入模型、要部署推理服务、要考虑模型更新时的全量重刷。二是算力与存储向量索引的体积通常显著大于倒排索引且相似度检索需要近似最近邻算法支撑。三是可解释性弱很难向业务方解释为什么这条排在前面排查问题时缺少像词频那样直观的依据。三、两者对比一张表看清差异维度关键词检索稀疏语义检索稠密匹配依据字面词项与词频统计向量空间距离索引结构倒排索引向量索引HNSW / IVF 等同义词召回依赖人工同义词词表天然支持无需维护词表精确型号 / 编码强直接命中弱易被语义相近项干扰长句与自然语言提问弱切词后语义丢失强整句编码保留意图可解释性高可拆解到词低难以归因到具体词部署成本低无需模型中高需嵌入模型与向量库冷启动可立即生效需要编码全量语料典型失效场景词汇鸿沟、拼写变体精确匹配、稀有实体、数字规格四、语义检索解决不了什么把语义检索当成万能替代是落地中最常见的误判。以下四类场景纯向量召回通常不如关键词检索。精确标识符。订单号、SKU、型号、错误码、人名。这些字符串的语义信息极少向量化后彼此距离很近容易互相干扰。搜ERR_2049应该精确命中该错误码的说明页而不是ERR_2048和ERR_2050。数字与规格约束。500 元以下的打印机256G 以上。向量模型对数量关系的表达不稳定这类需求应当交给结构化过滤filter而不是语义召回。严格的业务规则。某些商品必须置顶、某些内容必须屏蔽、某些品类在特定区域不可售。这些是规则问题不是相关性问题混进语义召回只会增加排查难度。极小语料。文档数量只有几十到几百条时关键词检索配合同义词表往往已经足够引入向量检索的边际收益不抵工程成本。五、混合检索为什么多数场景要两者并用既然各有边界主流做法是把两路召回合并。混合检索hybrid search指同一查询同时走关键词召回与向量召回再把两路结果融合成最终排序。融合方式通常有两类一是加权求和把两路的归一化得分按权重相加权重可按查询类型动态调整二是倒数排名融合RRF按各路结果的排名而非原始得分融合避免两路得分尺度不一致带来的偏差。混合的价值在互补关键词路保底确保精确查询不失控向量路兜底把字面不匹配但语义相关的结果捞回来。实践中只要语料规模到了一定量级且查询存在多样性混合检索的相关性通常优于任何单一路线。落地时还需注意两点。一是查询理解前置先判断查询类型精确型号 / 自然语言提问 / 宽泛品类再决定两路的权重配比比固定权重效果好。二是评估要分段整体指标会掩盖真相应把测试集按查询类型拆开分别看精确型与模糊型的表现否则很可能出现整体涨了、精确查询却崩了而不自知。如果你正在规划搜索与推荐的统一底座可先读搜索推荐协同一体化增长方案两者共用同一份向量索引是协同成本最低的切入点。六、选型建议语料小、查询多为精确词先用关键词检索 同义词表不要急着上向量。查询以自然语言提问为主帮助中心、知识库、问答优先上语义检索收益最直接。电商、内容平台等混合查询场景直接做混合检索两路召回 融合排序。已有关键词检索且运行稳定不要替换增量加一路向量召回做融合风险与成本都最小。必须保留人工干预能力无论用哪条路线都要保留置顶、屏蔽、同义词等规则层业务运营离不开它。常见问题问语义搜索会取代关键词搜索吗答不会短期内也不应该。语义检索擅长跨越词汇鸿沟关键词检索在精确型号、编码、人名等场景仍明显更强且可解释、成本低。主流做法是混合检索两路召回后融合排序而不是用一条路线替换另一条。问什么情况下值得上语义检索答三个信号同时出现时收益最大查询以自然语言提问为主如怎么申请退款、用户用词与文档用词差异大、且内容量已大到人工维护同义词表不现实。反过来若查询多为精确型号或编码语义检索的边际收益有限。问向量检索的嵌入模型怎么选答先看语言与领域匹配度再看向量维度与推理成本的平衡。通用多语言模型适合起步垂直领域医疗、法律、工业术语特殊通用模型表现会明显下降需用领域语料微调。选型时应用自己的真实查询集做召回评测不要只看公开榜单。问混合检索的两路结果怎么融合答两种常见做法。加权求和是把两路得分分别归一化后按权重相加实现简单但要求两路得分尺度可比倒数排名融合RRF按各路结果的排名位置融合不依赖得分尺度工程上更稳健是多数系统的默认选择。问上了语义检索后同义词词表还需要维护吗答需要但职责变了。语义模型能覆盖大部分同义表达但业务强相关的等价词品牌别名、内部简称、促销叫法模型学不到仍需人工维护。词表从召回的主力变成精确纠偏的补充维护量通常会下降。问怎么判断语义检索有没有真的提升效果答按查询类型分段评估。建一个标注测试集把查询分为精确型型号、编码与模糊型自然语言提问、宽泛品类分别看召回率与首位命中率。只看整体指标会被平均掉——常见的失败是模糊型涨了、精确型掉了整体看起来持平甚至上涨。关于通智云通智搜索面向本文描述的检索场景提供关键词召回、语义向量召回与混合融合排序能力支持按查询类型动态调配两路权重并保留人工干预规则层。通智云TENGENCE是 AI 时代的企业增长引擎专注公域引流获客与私域转化成交核心产品为通智 GEOGEO SEO 双引擎与通智搜索。相关阅读什么是站内搜索原理、核心指标与优化框架推荐系统与搜索的协同一体化增长方案电商站内搜索优化方案5 步提升搜索转化率千人千面推荐算法原理从协同过滤到深度学习搜索推荐一体化为什么 112数据来源arXiv《Dense Passage Retrieval for Open-Domain Question Answering》Karpukhin 等2020提出双编码器稠密检索DPR在多个开放域问答数据集上的 top-20 检索准确率超过强 BM25 基线。arXiv《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》Reimers Gurevych2019用孪生网络产出可直接用余弦相似度比较的句向量把句向量检索开销从上万次推理降为一次编码加相似度计算。Elasticsearch《What is vector search?》向量检索把非结构化数据映射为稠密向量并按相似度召回用于语义匹配与相似内容检索。Elasticsearch 官方指南《Match query》匹配查询先对查询串分词再按相关性打分的机制是关键词检索稀疏检索的典型实现。立即行动免费试用通智云 | 免费预约专家咨询和诊断 | 了解通智搜索