多租户AI智能客服系统架构实战：从Dify到Spring AI的隔离与编排

1. 项目背景与整体设计思路先说结论这个项目解决的核心问题是怎么让一套客服系统同时服务多家企业客户并且每个客户看到的东西完全隔离。所谓多租户本质上是把一套软件实例的算力、存储、模型资源拆成多个逻辑隔离的空间租给不同的企业用A企业的知识库、对话记录、报表数据B企业一条都看不见。做多租户AI智能客服系统最容易踩的坑倒不是模型调不好而是误把多租户当成权限管理。这是两码事。权限解决的是谁能不能进哪个房间的问题多租户解决的是每个房间必须是独立毛坯房、独立水电表、独立门锁的问题。很多团队做一个登录功能、加一个角色字段就号称支持多租户结果客户一多就崩数据串得一塌糊涂。这套系统的设计思路核心是三条线并行租户隔离线从数据库行级隔离、缓存键隔离、向量库命名空间隔离、文件存储目录隔离四个维度做硬隔离不在代码里靠自觉。客服能力线基于大模型的意图识别、多轮对话、知识库检索增强生成RAG、工单流转以及新版Dify社区版1.10里Agent节点的高级编排能力。运营管理线面向平台方的租户开通、额度计量、模型路由、人工审核工单流以及面向租户方自己的员工账号、知识库管理、机器人配置后台。这三条线在代码架构上互不搅和但在业务上又天然咬合。我见过很多项目死在第一步就是把这三条线揉在一个模块里写最后想加一个租户时候重构到怀疑人生。2. 核心架构选型为什么是Dify社区版 Spring AI 自研网关2.1 技术选型的决策过程做这个项目之前我对比了几条技术路线完全自研自己写Prompt编排、自己接模型、自己做向量库。灵活是真灵活但人力成本太高光是Agent节点调试、知识库分段优化这些环节没有半年打磨不成熟。基于Dify社区版二次开发Dify自带完整的工作流、知识库、Agent能力、模型接入层社区版1.10以后多租户能力虽然还不到位但底层数据结构已经预留了空间可以二次开发改造。基于Spring AI Alibaba做Java原生实现如果团队是Java栈Spring AI Alibaba能提供大模型接入的标准化封装但知识库、工作流、Agent编排这些上层能力需要自己搭积木。最终我选了Dify社区版 Spring AI 自研网关的混合方案。原因很实际Dify负责重逻辑知识库处理、Agent编排、对话管理Spring AI负责轻逻辑把客服机器人的能力以API形式暴露给租户业务系统自研网关负责租户识别、流量调度和数据隔离的关键一刀切。2.2 系统整体架构分层这套系统的逻辑架构大致可以拆成以下几层层级模块职责说明接入层Web/H5/小程序/API网关处理来自不同渠道的会话消息统一转换成内部消息格式多租户网关层租户识别/路由/限流从请求头解析租户ID校验租户状态路由到对应模型供应商编排层Dify工作流 Agent节点执行意图识别、知识库检索、工具调用、多轮对话生成数据层MySQL Redis 向量库存储租户配置、对话日志、知识库向量化数据运营层平台管理端 租户管理端 审核工作台处理租户开通、客服质量审核、报表统计在设计时有个关键决策不把租户业务逻辑写死在Dify应用里。Dify只负责生成回答至于这个回答属于哪个租户、能不能发出去、要不要人工审核全部由外部的多租户网关和审核服务统一处理。这样做的原因是Dify社区版在做多租户改造时越少侵入工作流内部逻辑后续升级版本就越省事。2.3 多租户网关的核心实现网关层是整个系统的心脏关键在于两个请求头X-Tenant-ID和X-User-ID。所有客户端请求必须先经过网关网关完成以下操作解析租户ID查Redis缓存获取租户配置模型供应商、模型名称、温度参数、审核策略ID。校验租户状态欠费或停用的租户直接拒绝。根据租户配置路由到大模型服务同时把租户ID透传到上下游。记录请求日志写计费流水表。这里有个很容易被忽视的细节很多团队在网关层只做了租户识别但没有把租户ID写入链路追踪。一旦线上出问题想排查某个租户的某一条消息为什么回答异常日志里全是其他租户的请求排查起来非常痛苦。我所有涉及大模型调用的日志都会强制带上tenant_id、session_id、conversation_id三个维度缺一不可。3. 多租户数据隔离的落地实现3.1 数据库层隔离方案选型做多租户第一条要定义清楚的就是数据库隔离的粒度。行业内通常有三种方案我实测后的感受是没绝对的好坏只有合不合适方案隔离级别成本适用场景独立数据库最高数据库实例多运维成本高银行、医疗等强合规场景共享库独立Schema较高中等备份恢复按租户区分中等体量SaaS租户数量几百级共享库共享表 行级隔离一般最低成本可控租户数成千上万的长尾市场我选择的组合是共享库独立Schema 关键业务表行级隔离并用。系统默认走共享数据库但每个租户的对话日志、知识库文件、审核工单都存在独立的Schema里。这样既保证了成本可控又在数据迁移、备份恢复时有明确的边界。3.2 行级隔离如何不开天窗如果实在没法做到独立Schema必须用共享表时行级隔离一定要用框架级的公共拦截而不是靠每个开发人员写SQL时记得加WHERE tenant_id ?。这一步做事后看是整场项目里最关键的决策。我用的做法是基于MyBatis-Plus的多租户插件配置一个TenantLineInnerInterceptor自动给所有带tenant_id字段的表拼接隔离条件。但是里面有个坑不是所有表都适合自动加租户条件。比如系统字典表、租户套餐表这类全局共享表加了租户条件反而查不到数据。所以要做一张白名单来排除不需要隔离的表。还有个大坑是关联查询。假设订单表和机器人会话表关联查询两张表都有tenant_id但插件默认只对主表生效。多租户字段放错就会导致A租户的关联记录串到B租户的查询结果里。我最后是在插件层把关联表的tenant_id都手动带上并且在联调阶段专门写了一个跨租户查询检测脚本定时扫描业务日志里有没有非法的租户交叉访问。3.3 缓存、向量库、文件存储的分租户隔离除了数据库Redis和向量库更容易被忽略。Redis的键如果只按业务唯一键命名多个租户数据就会互相覆盖。我的做法是所有Redis key强制加{tenant_id}:前缀同时用Redis Cluster的多个逻辑库区分不同优先级的数据比如热点会话放db0实时统计放db1。向量库这块值得展开讲。Dify社区版自带向量数据库配置我用的方案是给每个租户创建独立的Collection命名规则是kb_{tenant_id}_{knowledge_base_id}。检索时先根据租户ID定位Collection再做向量相似度检索。这样做的好处是物理隔离就算某个租户的向量检索写崩了SQL其他租户完全不受影响。文件存储类似每个租户上传的知识库文档、导出报表都存在独立的对象存储目录下权限通过租户目录前缀来控制。这部分我强烈建议不要在前期省因为一旦租户数上来后想从共享目录迁移到独立目录迁移成本感人。4. 智能客服核心环节从配置到编排的实操细节4.1 知识库处理与RAG调优多租户客服系统里每个租户都有自己的私有知识库这部分是整个系统的重资产。RAG的效果直接决定客服回答质量而RAG的效果又取决于知识库的切分、向量化、检索策略。我踩过最明显的一个坑是Dify社区版默认的文本分段方式按固定字符数切段在客服场景下容易把退货流程切成两半导致检索的时候只召回一半内容。后来我把分段策略改成按标题结构 段落语义切分大概意思是先识别Markdown或Word文档的标题层级再按语义完整度切块每一块控制在300-500字左右并设置重叠区间。实测把文档自动切分成独立的小段落召回准确率能够提升不少。另一个非常关键的细节是给每个知识库设置检索策略。Dify社区版里支持向量检索、全文检索、混合检索。客服场景下我建议用混合检索而不是纯向量检索因为很多客户问的是型号、订单号、地址这类精确词用全文检索能精确命中纯向量检索在这种场景下效果反而不够稳定。4.2 Agent编排与多轮对话设计多租户客服机器人的Agent节点我用的是Dify 1.10版本的Agent节点编排配合工具调用和条件分支。具体来说整个对话流程分为四步接待开场系统先判断会话是新会话还是续聊是续聊就拉取历史对话摘要这一步很关键能极大减少大模型的重复提问。意图识别用模型把用户输入分类成售前咨询、售后问题、订单查询、转人工等意图。这里要注意Prompt里显式写明如果无法判断用户意图回退到默认售前咨询分支。任务执行若是知识库问题就调用检索节点若是订单问题就调用订单查询API工具若是转人工就触发工单创建。回答生成与审核生成回复内容后先进入内容安全过滤和敏感词校验再判断是否需要进入人工审核队列最后才推送给用户。在多轮对话这块有个非常实用的经验是给Agent节点配置对话记忆窗口但窗口不要盲目调大。我实测下来客服场景窗口设置为6-8轮就够太长了模型容易被无关信息带偏还会拉高Token成本和响应延迟。4.3 提示词工程中的踩坑与经验Prompt的质量决定了客服机器人的天花板。给租户做机器人的时候我反复强调一个理念提示词要分成三部分写系统角色定义如你是XX电商平台的智能客服说话要礼貌亲切回答不得超过100字。业务规则约束如涉及物流问题必须询问订单号没有订单号不能直接回答物流时效。结束语模板如回答结束后可以补充一句请问还有其他可以帮您的吗。这三部分如果在开头没定义好后面租户一多每个人修改自己的Prompt时都会把系统角色改得面目全非最终客服风格完全不可控。后来我在管理后台里把系统角色锁定为只读租户只能改业务规则和知识库内容风格一致性才稳住。关于模型参数设置温度参数建议设置为0.2到0.5之间。客服场景是典型的低随机性需求回答要稳定、要一致温度拉高会导致语义漂移。租户配置页面里温度调节我只开放了0.1到0.8的区间低于0.1回答太僵高于0.8客服就开始胡言乱语了。5. 人工审核流与安全兜底机制的设计5.1 为什么客服系统必须配审核流智能客服最怕的是大模型一本正经地胡说八道。在公开的互联网上这些内容可能只是闹笑话但在商业客服场景里答错一个订单状态、给错一条赔偿规则就可能引发客户投诉甚至法律纠纷。因此这套系统从设计之初就把人工审核流放在了和智能回答同等重要的位置。我的方案是采用三级兜底第一级模型自检。通过提示词约定模型在不确定时输出固定的兜底话术如抱歉这个问题我还在学习中已为您转接人工客服。第二级程序规则。通过网关和内容安全服务对回答内容进行敏感词拦截和关键词规则匹配命中即降级。第三级人工审核。在Dify工作流里增加审核节点将高风险的回答和会话上下文推送到审核工作台由人工客服决定放行还是修改后发送。这个三级兜底的好处在于不需要对每一条回答都做人工介入只在风险高的时候才触发审核兼顾效率和安全性。5.2 审核流程的完整链路实现人工审核不是一个单独的接口它是一条完整的闭环链路。以用户咨询退换货政策为例客服机器人生成回答系统标记风险等级为中。触发审核规则回答内容涉及金额、时长、法律条款等信息或知识库召回相似度低于阈值比如0.7。消息不直接推送给用户而是进入审核队列同时向审核员推一条待办。审核员在后台打开会话详情能看到用户问题、机器人草稿回答、命中的知识库原文片段、模型置信度。审核员点通过消息推送给用户点改写修改后发送点拒绝自动回复已转人工客服。这套流程看起来不复杂但实际开发时有几个关键数据要提前想好审核队列的积压数量直接影响用户体验所以要在审核后台按租户做排队优先级付费高的VIP租户插队优先处理同时每次审核操作必须记录审核员ID和操作日志出了问题可以追溯。5.3 从热搜聊到无限制AI的边界问题近期搜热词里关于无限制无审核无禁词的搜索量非常大作为一个干了多年的从业者我多说一句在客服这种面向公众服务的场景中模型必须是有审核、有边界、有兜底的。原因不是技术上的限制而是现实中的基本底线。任何公开产品一旦涉及用户隐私、企业数据、敏感内容不管有没有监管要求都应该有审核。说白一点一个没有审核的客服机器人是对客户和租户都不负责的产物。我们在实现上采用的是回答生成—内容安全检测—人工抽审三重机制。内容安全检测目前用的是开源模型加自定义敏感词双重校验比单靠某一家云服务商的审核接口更可控。抽审比例可以按租户风险等级动态调整风险等级高的租户比如金融、医疗抽审比例设到100%普通零售租户可以设到10%到20%。6. 前端接入与多渠道适配6.1 多渠道接入的统一网关设计智能客服系统面向的不只是网页客服一个场景常见的接入渠道包括网页悬浮窗 / H5 聊天组件微信客服 / 微信公众号 / 微信小程序企业微信内部客服工作台iOS / Android App内嵌聊天页电话客服需要语音转文本接大模型如果用传统方法每个渠道单独对接大模型代码重复量会非常大。我的做法是做一个多渠道统一接入层把不同渠道的消息格式统一转换成内部标准消息协议然后走同一条多租户网关。举个例子用户在微信里发了一条你好微信回调推过来的JSON格式和小程序里推过来的JSON格式是不一样的统一接入层负责把它们都转成{ from_user: openid_123, content: 你好, channel: wechat }这样的内部结构再做后续处理。6.2 前端SDK的租户维度处理给租户提供前端接入能力时我采取的是嵌入一段JS SDK的方式。租户在自己官网里引入script标签然后传入自己的tenantId和应用密钥SDK会自动完成后续的会话建立、消息收发、未读消息推送。这里有个必须处理好的点SDK里不能暴露租户的管理密钥否则任何人都可以伪造租户身份调用API。我的做法是前端只传tenant_id然后经过租户后端服务器换一个短期有效的client_token网关拿着client_token去校验身份。这样即使SDK被反编译攻击者最多拿到一个短期token影响面可控。6.3 模型路由与按量计费逻辑多租户系统的成本控制是个不能回避的问题。每个租户用的模型不一样、调用量不一样不能所有租户共用同一个模型账号一个池子否则会出现某家客户跑量把大模型额度全部跑完其他租户全部限流的惨剧。我的方案是做一个模型路由中心支持三个维度的路由策略按租户套餐路由高级版租户路由到GPT-4o或Claude这类效果更强的模型基础版租户路由到便宜模型。按会话类型路由普通问答走便宜模型复杂推理或涉及订单/退款问题走强推理模型。按用量动态路由租户模型调用量接近套餐上限时自动降级到备用模型避免超额产生天价账单。计费方面每个租户的每次消息请求都会记录消息字数、Token消耗、模型单价汇总成分钟级的计费流水后台可以按日、按月查看各租户的用量报表。7. 部署环境与常见问题排查实录7.1 本地化部署与资源配置我搭建这套系统的部署方案是用Docker Compose或Kubernetes模型用的是API方式调用云端大模型同时支持切换到本地化部署模型。下面是几个核心模块的资源配置参考组件配置建议用途说明网关服务2核4G * 2实例租户鉴权、路由、限流Dify服务4核8G * 2实例工作流、Agent编排、知识库MySQL4核8G租户配置、对话日志、审核工单Redis2核4G会话缓存、token存储、热点配置向量库4核8G知识库向量化存储、检索如果知识库规模大比如单个租户有几万份文档建议把向量库单独拆出来存储用SSD。如果只接云端APIDify和网关服务可以共用一个节点整体部署成本能降低不少。7.2 常见问题速查表我把项目落地过程中遇到的高频问题整理成了表格方便后来的同学们直接对照问题现象可能原因解决方案租户A能看到租户B的问答记录Redis key未加租户前缀统一走缓存工具类强制追加租户ID前缀回答内容串知识库向量库未按租户隔离每个租户独立Collection检索前先定位命名空间租户修改知识库后回答不更新知识库向量化同步延迟配置异步任务文档变更后30秒内重新向量化大模型偶尔回复空内容模型输出为空或触发内容拦截网关做空回复兜底自动重新生成一次租户欠费后仍可调API网关校验遗漏欠费状态在租户配置缓存里增加状态字段定时同步人工审核队列堆积严重低风险回答也进了审核队列调低触发审核的规则范围按租户分级审核7.3 项目落地过程中踩过的三个大坑最后分享三个印象最深的坑都是我实际经历过、而且有很大参考价值的第一个坑是Schema隔离方案和行级隔离混用后的查询混乱。我们在一个共享表上做了行级隔离某些统计报表SQL又用了跨Schema查询结果导致统计出来的数据翻倍。最后把所有统计SQL统一到了租户维度禁止不带tenant_id的查询左联其他表才彻底止住。第二个坑是知识库的向量化任务被同一租户的文档更新打爆。在客户文档高峰期一个租户上传几千个文档向量化任务排队时间非常长。我调整了任务队列把每个租户的向量化任务改成串行队列不同租户之间并行这样既不互相拖累也能保证同一个租户的旧文档不会跟新文档同时向量化造成版本错乱。第三个坑是模型调用限流没有区分租户优先级。在某个大促活动期间某个钻石级租户的流量把底层模型的限流全部吃满其他租户哪怕VIP租户也被限流。我在网关层做了按租户级别的并发控制和权重分配保证高价值租户的请求永远优先通过。8. 小结这套系统还能往哪个方向扩展整套系统的核心能力搭完之后目前我这边已经在扩展两个方向一个是把多租户能力直接开放成API能力让租户不仅能用客服机器人还能用我们提供的工作流编排能力去构建自己的Agent应用这其实就是很多公司现在在提的aPaaS AI方向另一个方向是在运营后台里增加更细粒度的数据看板包括各租户的模型调用趋势、知识库命中率趋势、人工审核通过率帮助平台运营团队提前发现异常租户、异常流量和成本黑洞。如果后续有机会我会再写一篇关于多租户场景下的成本控制实践包含不同模型在真实客服流量下的Token消耗对比、缓存命中的优化策略、以及如何把大模型费用控制在预算内。最后再分享一个经验这类系统真正交付的时候技术实现只占到成功的一半。另一半在租户服务上——每个租户接入时都要拉通知识库准备—导入—调试—上线—培训这五段流程并且要告诉运营人员知识库不是录一次就完事的至少要按月更新。做好了这一层服务系统才真正算落地。