深度剖析SceneGraphParser三步解析算法：从名词块到关系抽取的终极源码指南

深度剖析SceneGraphParser三步解析算法从名词块到关系抽取的终极源码指南【免费下载链接】SceneGraphParserA python toolkit for parsing captions (in natural language) into scene graphs (as symbolic representations).项目地址: https://gitcode.com/gh_mirrors/sc/SceneGraphParserSceneGraphParser包名sng_parser是一个纯 Python 的场景图Scene Graph解析工具包它能将自然语言句子解析为符号化的场景图——名词成为节点名词之间的语义关系成为边。对于做图文检索、视觉问答、多模态理解的新手来说它是理解“句子如何变成结构化知识”的最佳学习项目。本文将带你深入源码完整拆解它的三步解析算法名词块实体抽取、动词主语判定与关系抽取并说明如何快速上手与自定义扩展。什么是场景图先看 SceneGraphParser 的解析效果 场景图把一句话变成一张“实体 关系”的有向图。以经典例句A woman is playing the piano in the room.为例解析结果可以直观地打印成两张表格Entities: -------------------------------- | Head | Span | Modifiers | |--------------------------------| | woman | a woman | a | | piano | the piano | the | | room | the room | the | -------------------------------- Relations: --------------------------------- | Subject | Relation | Object | |---------------------------------| | woman | playing | piano | | woman | in | room | ---------------------------------可以看出woman、piano、room是三个实体节点带有冠词a/the等修饰词playing和in是两条关系边。这种表示直接源于斯坦福的 Scene Graph Parser 思路但本项目用纯 Python 规则在依赖树上实现接口简单、易于配置也方便你阅读源码学习。 项目背景该工具包最初服务于 CVPR 2019 Oral 论文《Unified Visual-Semantic Embeddings》用于将字幕文本caption转换为结构化语义表示。快速安装两步完成 SceneGraphParser 解析环境配置 工具包目前基于spaCy后端做依赖句法分析因此安装需要两步pip install SceneGraphParser python -m spacy download en # 下载英语模型之后就可以一行代码完成句子到场景图的解析import sng_parser graph sng_parser.parse(A woman is playing the piano in the room.) sng_parser.tprint(graph) # 表格化可视化其中parse是全局单例解析器方便在任何地方直接调用tprint则负责把解析结果渲染成上面那样的表格实现位于sng_parser/utils.py。如果你更喜欢自定义解析器可以显式指定后端sng_parser.Parser(spacy, modelen)后端注册机制在sng_parser/parser.py的Parser.register_backend中实现。三步解析算法深度剖析SceneGraphParser 源码核心 核心算法全部在sng_parser/backends/spacy_parser.py的SpacyParser.parse方法中源码注释把它清晰地划分为三个阶段。下面逐一拆解。第一步名词块noun chunks实体抽取与修饰词解析解析的起点是 spaCy 提供的名词块检测doc.noun_chunks。每一个名词块就是一个潜在的场景图节点。跳过代词如果名词块的核心词root是代词如it直接忽略避免图中出现无意义的指代节点。记录四元信息为每个实体记录原始片段span、原形片段lemma_span、核心名词head及其原形lemma_head。DFS 递归收集修饰词对名词块的根节点做深度优先遍历识别三类修饰成分det限定词如 A woman 中的anummod数词修饰amod形容词修饰如 red piano 中的red还会把并列形容词展开compound复合词前缀特殊处理——直接合并进 head例如 coffee table 会保留完整核心名而不是只留table。最后每个实体还会被查询场景名词词表打上scene或unknown类型标签词表见下文数据资源一节。第二步判定动词的主语nsubj / acl / 被动式关系抽取的前提是知道“谁在做什么”。源码用一个relation_subj映射表键为动词的位置值为主语的位置处理三种句法结构依存类型典型例句处理逻辑nsubjAwomanisplayingthe piano直接记录playing 的主语是 womanacl分词从句Awomanplayingthe piano...无 be 动词的分词结构同样视为施事者pobj 施事agentThe piano isplayedby awoman被动式反转by 后的名词才是真正主语这里有个值得学习的设计细节用词元在句子中的位置下标而非文本表示主语和宾语。因为同一句话里可能出现多个相同的词如两个 piano用位置才能精确区分。第三步基于依存树推断实体间关系关系抽取这是规则最密集的一步遍历每个名词块根据它的核心词与祖先节点的依存关系分多路规则推断边。常见的判定模式包括直接宾语dobj/attr如 playing thepiano若其头动词在第二步的主语表里则得到woman -playing- piano介词宾语pobj这是分支最多的一条路径覆盖多种场景介词短语挂在动词下如 in theroom关系取介词in短语动词识别如 playingwiththe piano若play with命中短语动词表则关系记为完整的play with短语介词识别如 in front of apiano整段介词短语被合并为一条关系名词间的空间关系如 a piano in theroom介词头是名词副词修饰如 next to awoman把 next to 合并为关系。被动主语nsubjpass如 Thepianois played by a woman自动反转为主谓宾方向得到woman -played- piano。另外还有一套假名词标记fake_noun_marks机制像 A woman in front of a piano 中front虽然被 spaCy 识别为名词块但它只是介词短语的一部分最终会被从实体列表中剔除保证图中节点干净。最后源码把按位置记录的 subject/object 映射回实体索引并用__flatten_conjunction展开并列结构如 a cat and a dog让每个并列名词都能独立成节点、独立连边。数据资源如何支撑规则词表驱动的语义增强 纯语法规则无法覆盖所有语义歧义SceneGraphParser 在sng_parser/_data/目录下内置了三份词表由sng_parser/database.py懒加载并缓存phrasal-verbs.txt1770 条短语动词判断 play with、look at 这类组合是否应视为一个完整谓词phrasal-preps.txt短语介词表判断 in front of、next to 等是否应合并为一条关系scene-nouns.txt400 场景名词判断实体是否属于场景类名词如 airport、aquarium、arena为实体附加type标签。这三份词表可以用项目tools/目录下的脚本get-phrasal-verbs.sh、get-scene-nouns.sh等更新意味着你可以轻松扩展工具对新词汇的识别能力。上手实践用 demo 脚本与自定义后端快速验证 想立刻看到效果项目自带交互式演示脚本example/demo.py运行它会先解析 10 个典型例句涵盖主动、被动、分词从句、短语介词等场景随后进入交互模式让你输入自己的句子实时查看解析结果——是理解三步算法的最佳实验台。如果你希望接入自己的句法分析器只需继承sng_parser/backends/backend.py中的ParserBackend基类、实现parse(sentence)方法再用Parser.register_backend装饰器注册。整个后端抽象层只有 20 行左右是学习“策略模式 注册表模式”的绝佳范例。总结从名词块到关系抽取的完整心智模型 ✅回顾 SceneGraphParser 的三步算法核心设计思想可以浓缩为三点实体来自名词块用 spaCy 名词块 DFS 修饰词收集节点即“带修饰的名词短语”主语先行先用nsubj/acl/agent建好动词到主语的索引为关系抽取提供锚点多路规则 词表兜底针对pobj的多层头节点做分支判定辅以短语动词/介词词表处理语义合并并用假名词标记清理噪声节点。由于解析由人工规则完成README 中也明确欢迎社区收集失败与边界案例。对新手而言这个项目是理解“依赖句法分析如何转化为关系抽取”的高性价比教材代码量小、结构清晰、每一步都有中文注释级的例句说明读完sng_parser/backends/spacy_parser.py一个文件你就能掌握整个算法的全部细节。【免费下载链接】SceneGraphParserA python toolkit for parsing captions (in natural language) into scene graphs (as symbolic representations).项目地址: https://gitcode.com/gh_mirrors/sc/SceneGraphParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考