AI Agent Skill实现播客到小红书图文自动创作：工作流拆解与开源实践

1. 项目缘起当播客创作者遇上小红书如果你和我一样既是一个播客节目的创作者又是一个在小红书上分享干货的博主那你一定体会过这种“分裂感”。在录音棚里我可能对着麦克风滔滔不绝地聊了四十分钟关于“如何打造个人知识体系”的深度内容录完音、剪辑好、上传到各大音频平台感觉完成了一件大事。但紧接着我就得面对一个更头疼的问题怎么把这一小时的精华变成小红书上一篇能吸引人、有传播力的图文笔记这个过程我称之为“内容形态的翻译”。它不是简单的复制粘贴。播客是线性的、听觉的、沉浸式的小红书笔记是视觉的、碎片化的、强冲击力的。你需要从音频流里捞出金句配上吸引眼球的封面写成有网感的标题和正文还得考虑话题标签。手动操作一集播客折腾出一篇像样的笔记少说也得半小时到一小时。当更新频率上来这简直是个体力活严重挤压了内容创作本身的时间。所以大概半年前我开始琢磨能不能让 AI 来干这个“翻译”的活儿不是那种简单的语音转文字而是真正理解内容、提取观点、并按照小红书的“爆款公式”进行重构。我想要的不是一个工具而是一个能自动执行完整工作流的“智能体”Agent。这就是“播客转小红书帖子”这个 Agent Skill诞生的起点。经过几个月的开发、测试和迭代我觉得它已经足够好用能够解放很多像我一样的创作者于是决定把它开源出来。简单来说这个 Skill 是一个可以集成到各类 AI Agent 框架比如扣子、Dify、LangChain 等中的功能模块。你给它一个播客音频文件或链接它就能自动完成“语音转文字 - 内容总结提炼 - 生成小红书风格图文文案 - 建议配图风格”的全流程最终输出一篇几乎可以直接发布的小红书帖子草稿。2. 核心逻辑拆解一个 Skill 如何完成“跨模态创作”很多人会问这不就是个语音转文字加个文案生成吗市面上很多工具都能做。但一个真正能用的 Agent Skill关键在于对工作流的精细拆解和对特定平台小红书的内容规律的深度内化。它不是一个单点功能而是一个有逻辑、可判断、能应对异常的处理管道。2.1 工作流全景从音频到图文帖子的六步流水线整个 Skill 的执行我把它设计成了一个环环相扣的流水线任何一步的失败或低质量输出都会影响最终结果。第一步音频获取与预处理输入可以是一个本地 MP3/WAV 文件也可以是一个播客节目的在线播放链接支持主流平台。Skill 首先会尝试抓取音频流。这里第一个坑就是网络环境与反爬。直接请求可能会被拒所以需要模拟正常的浏览器请求头并处理可能的跳转。对于本地文件则直接进行格式校验和加载。预处理环节还包括简单的音频质量检查比如音量是否过低、背景噪音是否过大这些虽然不影响转写但会影响后续提取“金句”时的听感判断如果涉及回听。第二步高精度语音转文字ASR这是所有后续工作的基石准确率必须高。我测试过多个开源和商业的 ASR 模型最终选择了一个在中文普通话、尤其是带有一定口语化和闲聊风格的播客内容上表现最好的模型。这里的关键不是盲目追求最高准确率而是在准确率、速度、成本以及对标点符号和语气词的处理上找到平衡。一个优秀的 ASR 应该能正确区分陈述句和疑问句合理断句这对后续的摘要提取至关重要。我并没有内置模型而是设计了一个适配层允许使用者灵活配置他们自己的 ASR 服务 API如讯飞、百度、OpenAI Whisper 等Skill 只定义输入输出接口。第三步内容结构化与摘要提取拿到完整的文字稿后Skill 的工作才真正开始。它需要理解这堆文字。这里我用到了两个层次的 NLP 处理章节划分与主题识别通过分析文本中的转折词“接下来我们聊聊”、“另一方面”、停顿和语义密度尝试将长达一小时的文字稿自动划分成几个核心段落或话题章节。这相当于给内容建立一个粗粒度的目录。核心观点与金句抽取这是精华所在。Skill 会使用文本摘要和关键句提取算法从每个章节中找出最具代表性的观点句、结论句或者那些特别精辟、容易引发共鸣的“金句”。这里有一个重要的策略不只找高频词更关注句子的“惊异值”和“传播潜力”。一句看似平淡但承上启下的总结句可能比一个反复提及的技术名词更重要。第四步小红书文案风格化生成这是最具“魔法”的一步也是这个 Skill 价值的核心。将提取出的核心观点和金句转化为小红书用户爱看的形式。我深入分析了上百篇不同领域的爆款笔记总结出几个关键模式并固化到提示词Prompt工程中标题公式数字聚焦痛点/收益人群标签。例如从播客中提取出“三个普通人也能上手的知识管理工具”会被润色成“告别信息混乱3个超简单工具让你效率翻倍学生党职场人必看”。正文结构采用“吸睛开头痛点引入方法分点用emoji或小标题金句强调互动结尾”的经典结构。Skill 会将摘要中的不同观点自然地填充到这个结构里。语言网感化自动添加合适的表情符号、、等使用“真的绝了”、“亲测有效”、“懒人必备”等平台高频词汇但会控制频率避免过度油腻。话题标签Hashtag建议根据内容主题自动生成相关度高的热门标签和长尾标签组合如#个人成长#效率工具#播客推荐。第五步配图风格与文案建议“小紅書”之所以叫“小红书”图片至关重要。虽然当前版本的 Skill 不直接生成图片涉及版权和生成质量稳定性问题但它会基于内容输出详细的配图风格建议。例如如果播客聊的是“极简主义”它会建议使用“干净、留白、低饱和度”的图片风格如果是“创业干货”则会建议“商务、图表、咖啡厅工作场景”等。它甚至可以给出具体的场景描述方便用户用 Midjourney、Stable Diffusion 或直接去图库搜索。第六步结果组装与输出将生成的标题、正文、话题标签、配图建议整合成一个结构化的 JSON 或 Markdown 格式的输出。同时附上处理过程的元数据如音频时长、处理耗时、内容置信度等方便后续审核或调整。2.2 Agent Skill 与普通脚本/工具的核心区别这也是很多朋友问的用 Python 写个脚本也能实现类似流程为什么要做成 Agent Skill标准化接口与可集成性Skill 遵循了像 OpenAI 的 Function Calling 或 Claude 的 Tool Use 这样的标准接口规范。这意味着它可以像插件一样被轻松集成到任何一个支持该规范的 AI Agent 平台或聊天界面中。用户不需要知道背后的代码只需要用自然语言说“帮我把这个播客变成小红书帖子”Agent 就能调用这个 Skill。上下文感知与条件逻辑一个简单的脚本通常是线性的。而 Skill 可以更智能。例如如果 ASR 步骤返回的置信度很低Skill 可以触发一个“人工校验”的异常处理分支或者尝试换一个ASR服务。在生成文案时它可以基于对之前对话历史的理解比如用户说过“我的账号是穿搭类”来调整文案的风格倾向。专注于单一能力Skill 的设计哲学是“小而美”它只做好“播客转小红书帖子”这一件事并把这件事做到极致。这使得它可以被灵活地组合到更复杂的 Agent 工作流中比如一个“全平台内容分发Agent”可以依次调用“播客转文案Skill”、“文案润色Skill”、“多平台发布Skill”。注意Skill 和完整的 Agent 是部分与整体的关系。你可以把 Skill 理解为 Agent 工具箱里的一把专用螺丝刀而 Agent 是拥有决策能力、可以使用多把工具螺丝刀、扳手、锤子的工程师。3. 技术栈选型与关键实现细节开源一个项目除了想法代码的工程实现同样重要。我选择的技术栈力求在效果、效率和易用性之间取得平衡并且所有组件都尽量采用主流、有良好维护的开源方案。3.1 核心服务层模块化与可替换性整个 Skill 的后端采用微服务的思想设计每个核心步骤都是一个独立的模块通过清晰的接口通信。ASR 模块如前所述本项目不捆绑特定 ASR 引擎。我定义了一个统一的ASRClient抽象类目前提供了对OpenAI Whisper API和FunASR阿里达摩院开源的适配实现。Whisper 准确度高尤其是对英文混杂的处理好但需要网络且有成本FunASR 可以本地部署性价比高对中文优化好。使用者可以通过配置文件轻松切换。关键代码在于对音频分块、处理超长音频以及处理返回结果中时间戳这对后续定位“金句”在音频中的位置很有用的逻辑。NLP 处理模块这是算法的核心。我没有从头训练模型而是巧妙地利用了现有的大语言模型LLM的推理能力。章节划分我尝试了基于 TextTiling 等传统算法和基于 LLM 的两种方法。实测发现对于播客这种松散结构直接给 LLM 全文并提示“请将以下文稿按内容主题划分为几个逻辑段落并给出每个段落的标题”效果更接近人类理解。我选用的是Qwen 系列开源模型如 Qwen2.5-7B在消费级显卡上即可运行效果和成本平衡得很好。摘要与金句提取同样依赖 LLM。这里的 Prompt 工程非常关键。我设计的 Prompt 不仅要求总结还特别强调“请找出最可能在小红书这类社交平台引发传播的 3-5 个句子这些句子应观点鲜明、表达生动、易于记忆。” 这相当于让 LLM 同时担任内容编辑和运营的角色。文案生成模块毫无疑问这是 LLM 的主场。但直接用 LLM 生成容易风格不稳定。我的做法是构建一个“风格模板库”。根据播客内容类型知识干货、生活分享、情感讨论、科技评测等匹配不同的预设模板。生成时LLM 的任务是将提取出的核心观点像填空一样精准、流畅地填入模板并进行局部润色。这保证了输出风格始终符合平台调性且质量稳定。这里我主要使用DeepSeek-V3或GLM-4的 API它们在中文创意写作上表现优异。3.2 工程架构让 Skill 易于被调用作为一个 Skill除了内部逻辑如何被外部 Agent 调用同样重要。我采用了目前最通用的方式提供标准的 HTTP API 和 OpenAI-Compatible 的 Function Calling 描述。HTTP API提供一个简单的POST /generate端点接收audio_url或audio_file返回结构化的帖子数据。这方便任何后端服务集成。Function Calling 描述这是让 Skill 融入 AI Agent 世界的关键。我编写了一个详细的skill_manifest.json文件其中明确定义了这个 Skill 的名称、描述、输入参数音频来源、目标账号风格倾向等、输出格式。这样当用户在扣子、LangChain 或自己搭建的 Agent 中安装此 Skill 后Agent 就能自动理解在什么情况下该调用它以及如何传递参数。配置化管理所有模型 API 的密钥、服务端点、风格模板、处理参数如摘要长度、金句数量都通过配置文件管理无需修改代码即可适配不同环境。3.3 性能优化与错误处理处理一小时音频如果串行执行 ASR - NLP - 生成耗时可能很长。为了提升体验我做了以下优化异步流水线将流程设计为异步任务。ASR 完成后立即开始转写而不必等整个音频下载完。转写出一部分文字后就可以流式地送给 LLM 进行初步分析实现“边听边处理”。缓存机制对相同的音频 URL处理结果会被缓存。下次同一请求直接返回节省资源和时间。全面的错误处理网络超时、ASR 服务不可用、LLM 生成内容不合规、音频格式不支持……每一个环节都有对应的异常捕获和友好错误信息返回并尽可能提供恢复建议如“请检查音频链接是否有效”或“请尝试上传本地文件”。4. 实战从安装到生成你的第一篇帖子理论说了这么多我们来点实际的。假设你已经在使用一个支持自定义 Skill 的 AI Agent 平台例如百度的“扣子”如何将这个播客 Skill 用起来4.1 环境准备与部署对于个人开发者或小团队最快捷的方式是使用我提供的Docker 镜像。# 1. 克隆代码仓库项目开源链接请见文末 git clone https://github.com/your-repo/podcast-to-xiaohongshu-skill.git cd podcast-to-xiaohongshu-skill # 2. 复制并配置环境变量文件 cp .env.example .env # 编辑 .env 文件填入你的 OpenAI API Key、DeepSeek API Key 等 # 你可以注释掉不用的服务比如如果只用 FunASR就不必配 OpenAI # 3. 使用 Docker Compose 一键启动 docker-compose up -d服务启动后会运行在http://localhost:8000。你可以在浏览器访问http://localhost:8000/docs看到自动生成的 API 文档进行测试。4.2 在 AI Agent 平台中集成以“扣子”为例其支持导入自定义技能。在扣子的技能创建页面选择“通过 API 接入”。在“技能描述”中粘贴我提供的skill_manifest.json中的内容。这会让扣子理解这个技能的功能。在“API 配置”中填写你部署好的服务地址例如http://your-server-ip:8000/generate。保存后这个技能就会出现在你的技能列表中。现在你可以在和扣子的对话中直接使用了。例如你可以说“帮我分析一下这个播客‘三五环’最新一期关于远程工作的内容并做成小红书帖子。” 扣子会识别你的意图自动调用这个 Skill并将播客链接作为参数传递过去。4.3 使用效果与调优生成的第一篇帖子可能不会完全让你满意这很正常。因为文案风格涉及主观审美。这时Skill 的可配置性就派上用场了。调整风格模板如果你觉得生成的文案太“爆款体”有点浮夸你可以修改配置文件中的风格模板。比如增加“语言风格偏理性、温和、有深度”的指令。Skill 提供了几个默认模板“活泼爆款体”、“温和干货体”、“情感共鸣体”你可以直接选用或微调。控制输出细节你可以通过参数指定“标题不要带表情符号”、“正文分点不要超过4条”、“多推荐一些冷门但精准的长尾标签”。这些参数都可以在调用 API 时传入或者在 Agent 平台里设置为技能的高级参数。人工润色环节务必记住这个 Skill 的定位是“高级草稿生成器”。它负责完成从0到1的、最耗时的那部分工作——听写、提炼、搭建框架。但最终的“灵魂”比如那个最戳人的标题、那张最配的封面图仍然需要你这位创作者来把关和微调。我的工作流通常是Skill 生成草稿 - 我花5分钟快速浏览并修改标题和开头句 - 配上自己制作的图片 - 发布。这比从零开始创作节省了超过80%的时间。5. 避坑指南我趟过的那些雷在开发这个 Skill 的过程中我踩过不少坑这里分享出来希望能帮你节省时间。坑一ASR 转写标点混乱影响摘要质量早期使用某个开源 ASR转写出来的文字全是逗号没有句号和问号。这导致 LLM 在划分章节和提取金句时完全错乱。解决方案要么换用标点预测能力强的 ASR 服务如 Whisper要么在 ASR 后增加一个“标点修复”的后处理步骤用一个轻量级模型专门处理这个问题。坑二LLM 摘要偏离重点沉迷于细节播客开头常有寒暄和广告如果直接把全文扔给 LLM 做摘要它可能会把“感谢某某赞助商”也当成重点摘要出来。解决方案在 Prompt 中必须加入强引导。例如“请忽略开头的寒暄、广告推广和结束语专注于主持人及嘉宾讨论的实质性内容。” 或者更工程化的做法是先用规则或简单模型切掉头尾的固定部分。坑三生成文案的“平台感”过强显得虚假如果过度依赖“爆款公式”容易生成千篇一律、充满套路感的文案用户一眼就能看出是 AI 写的反而没有信任感。解决方案平衡“公式”与“真实”。在风格模板中加入“适当保留播客主持人的个人口吻或特色用语”、“在分点论述中插入一句真实的感受或例子”这样的指令。让 AI 模仿的是平台上的“优秀真人”而不是“平台套路本身”。坑四长音频处理超时或内存溢出处理两小时以上的超长播客很容易导致 API 调用超时或本地 LLM 内存不足。解决方案采用“化整为零分而治之”的策略。先将长音频按静音检测或固定时长如30分钟切分成段分别处理每一段的摘要和金句最后再用一个“总结性”的 LLM 调用将所有段落的精华汇总成一篇统一的帖子。这增加了复杂度但保证了稳定性。坑五版权与隐私风险这个 Skill 需要处理用户的音频内容可能涉及隐私。如果用户输入的是非公开播客链接更需谨慎。解决方案在项目 README 和使用界面明确声明本工具处理音频数据请确保你拥有该音频的版权或使用权。实现数据处理选项提供“是否保留处理过程中的中间文本数据”的选项默认不保留处理完即删除。考虑支持完全本地化部署方案让所有数据音频、文本都在用户自己的机器上流转不经过任何第三方服务器。6. 开源的意义与未来可能的演进我决定开源这个项目是相信“工具应当普惠”。内容创作的瓶颈不应该卡在繁琐的格式转换上。我希望这个 Skill 能成为一个基石激发更多可能性。对个人创作者它直接提升了从音频到图文内容的转化效率让你能更专注于创作本身。对播客制作团队它可以作为内容分发的自动化一环一键生成播客的图文预告、精华片段、节目笔记同步到小红书、公众号、知乎等多个平台。对开发者社区我提供了完整的、可运行的代码和设计思路。你可以基于它轻松地修改来适配其他平台比如“播客转知乎回答”、“播客转公众号文章”、“视频转小红书帖子”只需将 ASR 模块换成视频抽帧OCR/语音识别。它的架构是通用的。关于未来我脑子里有一些演进方向也欢迎社区一起贡献多平台适配目前深度优化了小红书未来可以内置更多平台的风格模板如抖音文案、B站动态、微博头条文章等。多模态输入不仅支持音频也支持直接输入视频文件自动提取字幕和关键画面作为配图建议。个性化学习让 Skill 能够学习某个特定博主的文案风格。通过输入该博主过去的爆款笔记微调生成模型使输出文案无限接近其个人风格。工作流串联与图生图模型 API 结合在给出配图建议后直接调用 Stable Diffusion 等模型生成若干张备选封面图真正实现“端到端”的草稿生成。这个项目就像我抛出去的一块砖它解决了我自己的真实痛点。我相信在开源社区的力量下这块砖能引出来自更多创作者的玉共同打造出更好用、更智能的内容创作辅助工具。所有的代码、文档和部署说明都已经在 GitHub 上搜索“podcast-to-xiaohongshu-agent-skill”应该就能找到。如果你用了觉得有帮助或者有改进的想法欢迎给我点个 Star或者提交 Issue 和 Pull Request。让我们用技术让创作变得更简单、更有趣。