dots.tts
小红书与上交大联合开源的全连续自回归语音合成模型，支持零样本克隆
不用离散Token走连续隐空间路线，48kHz输出音色细节丰富，Apache 2.0全量开源，普通显卡也能跑。
核心功能
零样本音色克隆
仅需3到10秒参考音频就能复刻音色朗读新文本，支持跨语言克隆，Seed-TTS-Eval上SIM得分表现突出。
文本转语音合成
从随机音色采样到指定说话人的高质量语音生成，基于2B参数模型直接输出48kHz音频。
流式低延迟输出
天然支持流式生成，1T1A双流模式音频首包延迟低至54.4毫秒，适合实时语音对话场景。
精确语音编辑
支持文本替换、情绪调节、音高语速修改和停顿插入删除，多项操作可在一条指令中组合完成。
多语言覆盖
覆盖24种语言，MiniMax多语言评测中平均说话人相似度达83.9，19个语种取得单项SIM第一。
多档推理速度
提供Base、SOAR、MeanFlow四步、两步和单步等多个检查点，按音质与速度需求灵活选择。
产品特色
- 01
连续隐空间不走离散Token
整条生成链路都在连续隐空间跑，不做语音量化，频谱质感和气声细节保留得比较完整，重建说话人相似度达到0.969。
- 02
Apache 2.0全量开源
代码、权重、训练和蒸馏脚本全部开放，六个检查点覆盖预训练到单步推理，商用和研究都比较自由。
- 03
小参数跑得动
2B规模显存优化后最低6GB就能跑，12到16GB是比较舒服的配置，对个人开发者比较友好。
- 04
盲测中音色克隆排第一
有用户做过十一个系统的盲测排名，微调后的dots.tts soar在最终轮胜出，零样本版本也被评为最佳无训练方案。
- 05
生成稳定性有专门设计
引入因果语义编码器抑制长序列生成中的误差传播和音色漂移，长文本跑下来不容易崩。
应用场景
✅ 实时语音Agent
双流模式首包54.4毫秒，配合LLM流式输出做实时双工对话和语音助手。
✅ 有声书与配音
零样本克隆音色做有声书旁白和纪录片解说，自然度在同档模型里比较靠前。
✅ 多语言内容生成
覆盖24种语言且保持高说话人相似度，适合全球化产品的语音播报。
✅ 播客后期精修
用dots.tts.edit对已有录音做文本替换、情绪调节和停顿调整，省去重录整段的麻烦。
✅ 跨语言音色迁移
用一段中文参考音频生成英文或其他语言的语音，说话人特征保持得不错。
常见问题
解答您关于"dots.tts"的常见疑问，让您更好地使用这款AI工具
-
dots.tts是小红书dots团队和上海交通大学X-LANCE实验室联合开源的语音合成模型，2B参数，走的是全连续自回归路线。整条链路不做语音量化，直接在连续隐空间生成48kHz音频。在Seed-TTS-Eval上拿到了最佳平均音色相似度和内容准确度，Apache 2.0协议全量开源。
-
有人做过实测对比，结论是dots.tts更适合追求音质和自然度的场景，比如纪录片解说、有声书和播客配音；Chatterbox更适合情绪化配音、跨语种克隆和短视频内容。一个是质量派，一个是功能派。具体选哪个看你的场景更看重音质还是功能丰富度。
-
显存优化之后门槛不算高。有整合包实现了6GB显存运行声音克隆和情绪迁移，官方推荐12到16GB的CUDA显卡比较舒服。量化版把backbone压到4-bit后模型体积约829MB，RTX 2060这类卡也能跑起来。
-
可以。项目采用Apache 2.0许可，训练、推理、微调、蒸馏的代码和权重都开放。商用前建议仔细阅读Apache 2.0的具体条款，确认使用方式合规。跟CC-BY-NC那种非商用许可不一样，这个限制少很多。
-
官方列了24种语言，但方言控制方面有用户反馈说language参数设成Cantonese时效果不太明显，目标文本是书面中文的话基本会按普通话读。如果你需要粤语或四川话等方言合成，可能需要用方言专用字写文本，或者等后续版本改进。
-
1T1A双流模式下官方数据是54.4毫秒，这是文本Token推过去后语音侧立刻开始生成的首个音频包延迟。实际使用中受硬件和并发影响会有浮动，但这个数量级做实时语音对话是够用的。普通流式生成的首包延迟也在百毫秒级别。
-
pip install dots.tts就能装，或者从GitHub克隆源码做本地开发。命令行用dots.tts入口指定模型路径、文本和参考音频就能做零样本克隆。也提供了Python API的generate和generate_stream方法，还有Gradio可视化界面可以跑起来先感受一下。
-
两条路线不一样。F5-TTS走的是非自回归扩散路线，一次并行生成整段声音，适合离线场景。dots.tts走连续自回归路线，天然支持流式输出，在实时交互场景有优势。Seed-TTS-Eval上dots.tts的平均表现优于F5-TTS和CosyVoice3等方案。
立即体验“dots.tts”
dots.tts是小红书dots团队与上海交大X-LANCE实验室联合开源的2B参数全连续自回归语音合成模型，走的是连续隐空间路线，不依赖离散声学Token。在Seed-TTS-Eval上取得最佳平均音色相似度和内容准确度，24语种测试中19个语种SIM第一。1T1A双流模式首包延迟低至54.4毫秒，支持零样本克隆和精确语音编辑，Apache 2.0协议全量开源。
