英伟达：多模态合成数据生成框架

标题NeMo Data Designer: An Extensible Framework for Multimodal Synthetic Data Generation来源arXiv, 2609.17699v1️文章简介研究问题如何构建一个通用、可扩展且易于复现的框架来解决多模态合成数据生成过程中流程混乱、难以调试和缺乏多样性控制的问题主要贡献论文提出了NeMo Data Designer (NDD)这是一个开源的多模态合成数据生成框架通过声明式配置和插件系统实现了从数据设计、预览迭代到大规模生成的标准化流程。重点思路声明式配置与依赖解析用户通过YAML或Python定义数据集的每一列如文本、代码、图像、统计采样器等框架自动解析列之间的依赖关系构建有向无环图DAG无需编写复杂的命令式调度代码。预览-修订迭代循环核心工作流包含“预览”环节先生成少量样本供用户检查质量和分布调整配置后再进行全量生成确保数据符合预期避免盲目大规模计算造成的浪费。显式的多样性控制引入统计采样器作为一等公民允许用户通过指定概率分布来精确控制数据的多样性如主题、难度、人物画像而非仅依赖模型自身的随机性。异步运行时与容错机制运行时异步调度任务自动处理模型端点调用、重试失败请求并支持断点续传确保在大规模生成时的稳定性和效率。灵活的插件系统支持通过插件扩展新的列类型、种子读取器和处理器使得框架能够适应结构化输出、Agent轨迹、多模态理解等特定领域的需求。分析总结提升模型结构化输出能力在Nemotron 3 Nano训练中使用NDD生成的9000多个验证过的JSON数据使模型在JSONSchemaBench上的准确率从80.2%提升至86.9%。优化Text-to-SQL性能通过分阶段生成和严格验证生成的SQL数据帮助CrowdStrike定制模型达到了96%的有效查询准确率显著优于基线模型。增强Agent工具使用能力生成了约7000条包含完整搜索轨迹的合成数据用于监督微调有效提升了模型在多步搜索和工具调用中的表现。改善长文档视觉理解通过迭代生成和视觉语言模型裁判过滤构建了1140万对视觉问答数据使MMLongBench-Doc基准测试成绩从26.32%大幅提升至59.00%。降低提示词敏感性通过控制语言多样性生成训练数据使模型在不同提示词表述下的性能波动减少了一半增强了模型的鲁棒性。个人观点论文将合成数据生成从“写脚本”转变为“工程设计”通过声明式配置让整个过程透明、可审计。