IndexTTS-2.5 – Bilibili 开源的工业级零样本语音克隆模型

IndexTTS-2.5是什么

IndexTTS-2.5 是 Bilibili 开源的工业级零样本语音克隆模型，参数量仅 0.8B，支持中文、英语、日语、西班牙语和阿拉伯语五语跨语种迁移。模型重构了推理架构，推理速度提升 2.28 倍，支持 0.5x 至 2.0x 语速调节，以及发音、情感等精细化控制。完整代码、模型权重及论文均已发布，采用 Bilibili Model License 协议。

IndexTTS-2.5的主要功能

• 零样本语音克隆：仅需一段 3 到 10 秒的参考音频，即可精准复刻任意说话人的音色特征，无需针对目标说话人进行额外训练。
• 五语言跨语种支持：支持中文、英语、日语、西班牙语和阿拉伯语五种语言。
• 精细化情感控制：提供多种情感调节方式：通过独立的情感参考音频传递情绪、使用八维情感向量精确指定情感强度、开启文本驱动情感自动推断，以及通过 emo_alpha 参数调节情感浓淡。
• 音色与情感解耦：音色提示音频和情感提示音频可完全独立指定。用户能分别控制”谁在说”和”怎么说”。
• 语速无级调节：通过 duration_factor 参数，可在 0.5 倍到 2.0 倍之间任意调节合成语速，满足不同场景的节奏需求。
• 发音精准干预：支持中文拼音、英语 CMU 音素和日语假名三种粒度的发音控制，有效解决多音字、异读词和语境依赖发音问题。

IndexTTS-2.5的技术原理

• 三阶段生成流水线：模型采用”文本 → 语义 Token → 梅尔谱 → 波形”的三阶段架构。由基于 Transformer 的文本到语义（T2S）语言模型生成语义 Token，经非自回归的语义到梅尔谱（S2M）流匹配模块生成梅尔频谱图，最后通过神经声码器还原为最终音频。
• 语义编解码器压缩：将语义 Token 的帧率从 50Hz 压缩至 25Hz，使序列长度直接减半，显著降低 T2S 模块在训练和推理时的计算量与内存占用，是推理加速的关键之一。
• Zipformer 架构升级：S2M 模块的骨干网络从 U-DiT 替换为更高效的 Zipformer 架构。Zipformer 以更少的参数量实现了更强的长程依赖建模能力，使梅尔谱生成更快、更稳定，同时保持了合成音质。
• 跨语言建模策略：针对多语言场景下字符重叠导致的混淆问题，团队提出了三种策略：边界感知对齐（在文本前后插入语言标记如 ）、Token 级拼接（为每个输入 Token 融合语言专属嵌入）、以及指令引导生成（在文本前添加自然语言指令前缀如”请用英文朗读”）。
• GRPO 强化学习优化：在 T2S 模块的后训练阶段引入 GRPO（Group Relative Policy Optimization），冻结 ASR 模型的词错误率（WER）作为奖励信号，每次生成四个候选样本，通过优化高奖励样本的相对似然，持续提升发音准确度与语音自然度。

如何使用IndexTTS-2.5

• 环境准备：用户需先安装 Git 和 uv 包管理器，通过 git clone https://github.com/index-tts/index-tts.git 将官方代码仓库下载到本地。
• 依赖安装：进入项目目录后，执行 uv sync --all-extras 命令以自动创建虚拟环境并安装所有必需的 Python 依赖。
• 模型下载：通过 huggingface-cli 或 modelscope 工具从官方仓库 IndexTeam/IndexTTS-2.5 下载模型权重到本地 checkpoints 目录。
• 启动 Web 界面：执行 uv run webui.py 启动 Gradio 交互界面，在浏览器中访问 http://127.0.0.1:7860 进行可视化语音合成操作。
• 加载模型：在 Python 脚本中从 indextts.infer_v2_5 导入 IndexTTS2 类，并传入配置文件路径和模型目录完成模型实例化。
• 基础语音克隆：调用实例的 infer 方法，传入参考音频路径、目标文本和语言代码，可生成并保存具有克隆音色的语音文件。
• 情感控制：在 infer 方法中额外传入 emo_audio_prompt 参数指定情感参考音频，或使用 emo_vector 传入八维情感向量来控制合成语音的情绪表现。
• 语速调节：在推理时设置 duration_factor 参数为 0.5 到 2.0 之间的数值，即可按比例加快或减慢合成语音的语速。
• 发音干预：在输入文本中插入 <行|XING2>、 或 <上手|じょうず> 等标注，以精确控制多音字或异读词的发音。

IndexTTS-2.5的核心优势

• 小参数高效率：模型参数量仅 0.8B，通过语义编解码器压缩和 Zipformer 架构升级，实现 2.28 倍的推理加速，BF16 精度下实时率（RTF）低至 0.20，兼顾轻量化与高性能。
• 五语言跨语种迁移：支持中文、英语、日语、西班牙语和阿拉伯语五种语言，用户可使用任意一种语言的参考音频去克隆另一种语言的语音，且无需目标语言的情感训练数据即可实现情感跨语种迁移。
• 精细化多维可控：模型支持 0.5x 至 2.0x 的无级语速调节、八维情感向量控制、文本驱动情感推断，以及拼音、CMU 音素和日语假名三种粒度的发音干预，满足内容创作对语音合成的精细调节需求。
• 音色与情感彻底解耦：用户能独立指定音色提示音频和情感提示音频，两者甚至可以来自不同语言，在保留目标说话人音色的同时，灵活注入所需的情感风格。
• 阿拉伯语开源支持：在主流开源 TTS 模型中，IndexTTS-2.5 是少数完整支持阿拉伯语语音克隆与跨语种迁移的模型，填补该语种在开源语音合成领域的空白。

IndexTTS-2.5的项目地址

• GitHub仓库：https://github.com/index-tts/index-tts
• arXiv技术论文：https://arxiv.org/pdf/2601.03888

IndexTTS-2.5的同类竞品对比

IndexTTS-2.5的应用场景

• AI 配音与有声内容生成：内容创作者仅需提供一段主播或角色的参考音频，可快速生成多语种、多情感风格的有声书、广播剧与播客内容，无需重复录制。
• 跨语言视频本地化：影视与短视频团队可用中文参考音频直接生成英语、日语、西班牙语或阿拉伯语的配音，保留原演员音色，大幅降低海外发行成本。
• 游戏与虚拟角色语音：游戏开发商可为 NPC 或虚拟偶像克隆特定音色，通过情感向量实时切换喜怒哀乐，实现动态剧情语音与直播互动。
• 实时语音交互与数字人：凭借 0.20 的超低实时率，IndexTTS-2.5 可部署于智能客服、数字人直播与实时翻译场景，支持低延迟的个性化语音回复。
• 教育与语言学习：教育机构可用发音控制功能生成标准拼音、CMU 音素或日语假名示范音频，可克隆教师音色制作多语种同步课程。