Sherpa Onnx TTS 快速上手：3 步跑通跨平台本地语音合成

Sherpa Onnx TTS 快速上手3 步跑通跨平台本地语音合成【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnxSherpa Onnx 是一个完全离线工作的语音工具包其 TTS 模块负责文本到语音的合成同一套 ONNX 模型既能跑在 x86 服务器上也能塞进手机和嵌入式设备。本文只讲最短路径装依赖、下模型、调一次 generate你会拿到一段能直接播放的合成语音并知道几个关键参数该往哪个方向调。 项目能力一览纯本地推理全部基于 ONNX Runtime 完成合成过程不联网适合弱网和隐私敏感环境。四类声学模型可选内置 VITS、Matcha、Kokoro、Kitten 的模型接口按语言和质量自行挑选。多说话人音色切换多说话人模型用一个 sid 参数即可切换不同音色。跨平台 API 覆盖广Python、C/C、Java、Kotlin、Go、Rust、Swift 等均有封装示例覆盖 Android、iOS、HarmonyOS 与各桌面平台。文本归一化内置数字、日期通过 FST 规则转成自然发音不需要自己做预处理。快速上手安装依赖一条命令即可Python 包已内置编译好的 ONNX Runtimepip install sherpa-onnx soundfilesoundfile 只负责把结果存成 wav 文件不参与合成本身。准备模型从项目 release 页的 tts-models 分类里挑一个模型。新手建议选体积小的英文可以用vits-piper-en_US-amy-low中文可以用sherpa-onnx-vits-zh-ll。解包后你会得到.onnx模型文件、tokens.txt以及一个espeak-ng-data目录中文模型还会带lexicon.txt和几个.fst文件后面配置全靠这几样。核心调用import sherpa_onnx config sherpa_onnx.OfflineTtsConfig( modelsherpa_onnx.OfflineTtsModelConfig( vitssherpa_onnx.OfflineTtsVitsModelConfig( model./vits-piper-en_US-amy-low/en_US-amy-low.onnx, tokens./vits-piper-en_US-amy-low/tokens.txt, data_dir./vits-piper-en_US-amy-low/espeak-ng-data, ) ), num_threads2, ) tts sherpa_onnx.OfflineTts(config) audio tts.generate(Hello, this is generated by Sherpa Onnx.)返回的audio里带samples浮点采样和sample_rate用 soundfile 写盘就能播放。仓库里的 offline-tts.py 是这段逻辑的完整命令行版本还会打印 RTF实时率合成耗时除以语音时长小于 1 说明比实时更快。关键参数怎么调参数推荐值说明sid单说话人模型填 0多说话人模型用来切换音色可选范围以模型说明为准speed1.0大于 1 变快、小于 1 变慢0.9~1.1 区间听感最自然silence_scale0.2标点处停顿的缩放系数调大更沉稳调小更连贯num_threads2~4推理线程数手机、树莓派建议 1~2max_num_sentences1长文本按句分批推理防内存溢出不会变慢providercpu可选 cuda、coreml有对应环境才生效前三项sid、speed、silence_scale通过 GenerationConfig 传入generate 也提供了 sid、speed 的快捷参数num_threads 和 provider 配在 OfflineTtsModelConfig 里max_num_sentences 和 rule_fsts 配在外层 OfflineTtsConfig 里。接口细节可参考 Python 包源码。⚡ 进阶玩法中英文混合文本合成多语言 Kokoro 模型靠多份 lexicon 文件区分语言中英文写在同一段里可以自然衔接config.model.kokoro sherpa_onnx.OfflineTtsKokoroModelConfig( model./kokoro-multi-lang-v1_0/model.onnx, voices./kokoro-multi-lang-v1_0/voices.bin, tokens./kokoro-multi-lang-v1_0/tokens.txt, data_dir./kokoro-multi-lang-v1_0/espeak-ng-data, lexicon./kokoro-multi-lang-v1_0/lexicon-us-en.txt,./kokoro-multi-lang-v1_0/lexicon-zh.txt, ) audio tts.generate(This is a test. 这是中英文混合语音合成。)长文本与数字朗读中文模型建议加上rule_fstsphone.fst、date.fst、number.fst 逗号拼接传入123456块钱2024年5月11号这类文本才会被读成自然语句而不是逐字符念。长文本方面把max_num_sentences设为 1让引擎逐句合成避免一次性把整篇文本压进内存。适用场景无障碍与朗读类应用本地播报文本不出设备隐私顾虑最小。离线设备车载系统、树莓派、嵌入式盒子断网环境照常合成。内容批量生产服务器多进程并行跑 offline-tts批量生成有声读物和课件配音。 常见问题排查合成出来是静音或空文件。先看日志里samples长度是否为 0把debug设为 True 重跑一次。多数情况是 model、tokens、data_dir 三者不匹配或路径写错。第一次生成特别慢。首次 generate 包含模型加载和推理预热之后的请求会明显变快。对延迟敏感的应用启动时先用一句短文本预热。内存占用高或长文本 OOM。调小max_num_sentences或换 fp16 版本模型内存和体积都能明显下降。想再快一些。优先加num_threads其次换更小一号的模型有 GPU 或 CoreML 环境时把provider切到对应后端。 相关资源Python 包源码与接口sherpa-onnx/python/命令行完整示例含多种模型用法python-api-examples/offline-tts.py带播放的示例python-api-examples/offline-tts-play.pyAndroid 原生示例android/SherpaOnnxTts/Flutter 跨平台示例含各端构建说明flutter-examples/tts/C API 示例c-api-examples/offline-tts-c-api.c模型导出脚本scripts/vits/、scripts/kokoro/到这里一条完全离线的本地语音合成链路就跑通了。之后想换音色或换语言只需要替换模型文件并同步 tokens、lexicon 配置调用侧代码基本不用动。【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考