OpenMed LangChain与LlamaIndex集成：带隐私过滤的RAG管道搭建指南

OpenMed LangChain与LlamaIndex集成带隐私过滤的RAG管道搭建指南【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmedOpenMed 是一个本地优先local-first的医疗 AI 工具包提供临床命名实体识别NER与 HIPAA PII 去标识化能力全部运行在设备端患者数据不出内网。本文将带你用 OpenMed 的隐私过滤组件为 LangChain 与 LlamaIndex 搭建一条检索内容先脱敏、再进大模型的 RAG 管道让医疗问答在保护隐私的前提下正常运行。为什么 RAG 管道需要隐私过滤在医疗场景的 RAG检索增强生成管道中有一个常被忽略的风险检索出的临床文档会带着患者姓名、病历号、电话等敏感信息直接拼进 Prompt 发给大模型。一旦模型是云端服务患者数据就离开了你的网络边界。OpenMed 的思路是检索照常进模型前过一道本地脱敏脱敏在本地执行不调用任何托管服务掩码是确定性的同一输入得到同一输出便于审计与测试LangChain / LlamaIndex 均为可选依赖不安装就不导入不影响核心库体积。一键安装步骤安装可选依赖按你的技术栈二选一或都装即可# LangChain 集成 pip install openmed[langchain] # LlamaIndex 集成 pip install openmed[llamaindex]对应源码位于 openmed/interop/langchain.py 与 openmed/interop/llamaindex.py依赖声明见 pyproject.toml。LangChain 集成在 Prompt 前插入脱敏节点官方提供了三种粒度的接入方式全部在 openmed/interop/langchain.py 中定义工厂函数适用场景create_redaction_runnable()RAG 管道中检索结果进 Prompt 前脱敏最常用create_redaction_node()链中任意阶段前插入脱敏节点接受字符串、Document、消息列表等create_redaction_transform()不依赖 LangChain 的轻量版适合离线测试最快配置方法Retriever 之后接脱敏 Runnable典型的 RAG 写法是检索 → 脱敏 → 拼 Prompt → 模型核心只有 4 行from openmed.interop.langchain import create_redaction_runnable redact_context create_redaction_runnable() chain ( { context: retriever | redact_context, # 检索结果先过本地脱敏 question: RunnablePassthrough(), } | prompt | model )脱敏默认使用掩码方式如Patient [PERSON] called from [EMAIL].并可通过LangChainRedactionConfig调整置信度阈值、语言、安全扫描开关等参数。完整示例可参考 docs/integrations-langchain.md。 如果链中传的是字典还可以用input_keycontext只对可能含 PHI 的字段脱敏用户提问字段原样保留。LlamaIndex 集成入库前与检索后双重防护LlamaIndex 一侧提供两个组件详见 docs/integrations-llamaindex.md检索后Redaction Postprocessor脱敏后置处理器在查询引擎的node_postprocessors里挂上它检索到的节点在送入响应合成前会被逐节点复制并脱敏——原文档不被修改节点分数与元数据结构保持不变from openmed.interop.llamaindex import create_redaction_postprocessor redact_nodes create_redaction_postprocessor() query_engine index.as_query_engine(node_postprocessors[redact_nodes])入库前Ingestion Transform摄入转换更彻底的做法是在文档切分、向量化、入库之前完成脱敏让后续所有环节包括向量库只见到安全文本。转换组件会自动保留节点的 chunk 元数据契约替换节点/关系 ID 为确定性 UUID 假名保证存储安全且可关联将数值型元数据如日期戳替换为确定性 token白名单如页码可通过numeric_metadata_allowlist放行每次调用后提供audit_metadata——只含节点数、变更值数、实体类别数等计数型审计摘要绝不含原文、偏移或替换值。pipeline IngestionPipeline( transformations[ redaction_transform, # 先脱敏 SentenceSplitter(chunk_size512, chunk_overlap32), embed_model, ], disable_cacheTrue, # 官方建议关闭摄入缓存 )性能参考本地批量脱敏够快吗OpenMed 的批量脱敏基准测试显示批量处理batch_size16相比单条处理CPU/Torch 路径快约 3.3 倍、MLX 路径快约 2.2 倍批量吞吐可达 200 文档/秒本地跑 RAG 摄入完全够用更多基准数据见 docs/benchmarks/ 与 docs/assets/pii-batch-benchmark.svg。进阶脱敏保留的检索管道如果你的需求不止打码而是希望外部模型只看到占位符、授权角色再按需还原原文OpenMed 提供了完整的脱敏保留检索原语RedactedIndex脱敏索引、RedactedRetriever脱敏检索器、EncryptedMappingVault加密映射保险库与AuthorizedReidentifier授权重标识均位于 openmed/interop/retrieval/。离线可运行的演示见 examples/redaction_preserving_retrieval.py。关键要点清单 ✅ 脱敏节点放在retriever 之后、prompt 之前LangChain或切分/嵌入之前LlamaIndex顺序错了等于白做✅ 默认策略是确定性掩码 HIPAA Safe Harbor 风格策略可按需切换strict_no_leak✅ 所有适配器失败时只输出安全的错误信息异常文本中不携带输入内容✅ 官方演示应用可直观查看效果examples/privacy_filter_studio/、examples/privacy_filter_multilingual_studio/支持多语言。按上述步骤你只需各加几行代码就能让 LangChain / LlamaIndex 的 RAG 管道在 100% 本地的前提下完成临床文本的隐私过滤——数据不出网问答照常跑。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考