CuteTTS.AXERA

CuteTTS(0.2B 连续隐变量自回归 TTS)在 AX650 上的全 NPU 部署:zero-shot 音色克隆,24 kHz 输出。

支持流式合成(1.28 s 一包)与非流式整句合成:首音频 TTFA 0.48 s、首 latent TTFT 0.17 s(参考音色缓存命中),C++ RTF 0.35–0.63,Python RTF 0.40–0.59。

RTF TTFA TTFT Size SampleRate GitHub

目录

模型转换

For those who are interested in model conversion, you can try to export axmodel through:

完整转换脚本(ONNX 导出 / 真实语音校准 / Pulsar2 配置):ZY-2012/CuteTTS.AXERA/model_convert

支持平台

上板部署

  • 以 root 权限登陆 AX650N 板卡设备
  • 已验证设备:AX650N DEMO Board

目录结构

CuteTTS.AXERA/
├── bin/cutetts_ax650        # C++ 推理可执行文件
├── models/
│   ├── *.axmodel            # 9 个子图
│   └── assets/              # embedding 表、mel 滤波器、BN/linear、tokenizer
├── python/
│   ├── cutetts_ax/          # numpy-only SDK
│   └── demo.py
├── samples/
│   ├── reference*.wav       # 参考音色
│   └── listen/*.wav         # 板端生成样例(stream/ 为流式输出)
├── config.json
├── run_ax650.sh             # 一键脚本(默认 C++)
└── setup.sh

快速开始(AX650 板端)

下载整仓库到板端,在包根目录运行:

bash setup.sh

# C++(默认,最快)
bash run_ax650.sh "The voice generated by this model sounds amazing!" samples/reference.wav out.wav

# 流式输出
bash run_ax650.sh "The voice generated by this model sounds amazing!" samples/reference.wav out.wav --stream

# Python SDK(流式 / 非流式)
bash run_ax650.sh "今天天气很好,我们一起去公园散步吧。" samples/reference.wav zh.wav --python --stream

# 调 CFG / 随机种子 / 最长 patch 数(1 patch ≈ 160 ms)
bash run_ax650.sh "Hello from AX650!" samples/reference.wav en.wav --cfg 2.0 --seed 42 --max-new 128

# 长文本:自动按句切分(每段 ≤18 s),逐段生成后拼接
bash run_ax650.sh "长文本内容……" samples/reference.wav long.wav --split

参考音频 ≤ 5 s;单次生成 ≤ 20.5 s(超过加 --split 自动按句切分,可支持任意长度);输出 24 kHz 单声道。

结果

用例 文本 参考音色 音频 非流式 流式
en_default The voice generated by this model sou… 2.9 s
en_long Hello, this is a test of the CuteTTS … 5.6 s
zh_default 今天天气很好,我们一起去公园散步吧。 2.7 s
en_other_voice Quick brown fox jumps over the lazy dog. 2.7 s
en_xlong The quick brown fox jumps over the la… 10.6 s

全部样例由 AX650 板端生成;板端 Whisper 转写与输入文本一致(中英文短句逐字一致,长句差异来自 Whisper 分段)。

推理速度

模式 实现 音频 TTFT(首 latent) TTFA(首音频) 总耗时 RTF(耗时/音频) 出包间隔
流式 C++ 3.04 s 0.15–0.21 s(首次 0.57 s) 0.47–0.52 s(首次 0.89 s) 1.84–1.89 s 0.61–0.62 1.28 s
流式 Python 2.88 s 0.14–0.15 s(首次 0.86 s) 0.47–0.49 s(首次 1.20 s) 1.69–1.71 s 0.59 1.28 s
非流式 C++ 3.04 s 1.06–1.15 s 1.06–1.15 s 1.06–1.15 s 0.35–0.38 —
非流式 Python 2.88 s 1.16–1.17 s 1.16–1.17 s 1.16–1.17 s 0.40–0.41 —

参考

License

Apache-2.0。上游 CuteTTS(OPPO/Fudan)及 Qwen3、DAC 组件遵循其各自许可证。

Downloads last month
46
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for HY-2012/CuteTTS.AXERA

Finetuned
(1)
this model