MOSS-TTS-Local 如何使用固定的speaker来合成音频呢？

[zyy-fc]

现在我有3个说话人的数据，我想通过微调的方式使得MOSS-TTS-Local模型能够学会这三个人的音色和韵律，然后推理的时候通过输入指定的speaker id来合成音频，请问该如何做呢？

如何区分多说话人呢？除了采用zero-shot的方式，有比如像CosyVoice3这种通过system prompt来设定的方式吗？

[YWMditto]

@codex Try to provide an answer.

[chatgpt-codex-connector]

回答

可以做，但目前 MOSS-TTS-Local 的“固定 speaker”推荐做法不是新增一个显式 speaker_id embedding，而是用现有的 reference / ref_audio 条件来区分说话人；如果你的目标是“三个固定人声”，建议把每个 speaker 的参考音频作为该 speaker 的条件输入，在训练和推理时都保持一致。

---

1. 如何组织三个人的数据？

单人 TTS / 音色克隆训练

moss_tts_local/finetuning/README_zh.md 已经给出两类 JSONL：

• 普通 text, speech pair：只包含目标音频和文本。audio 会被预处理成训练目标的 audio_codes。
• 参考音频条件训练：每条样本增加 ref_audio，用于音色克隆 / reference-conditioned training。

如果你有 3 个说话人，比较稳妥的数据格式是：

{"audio":"./data/spk1/utt001.wav","text":"第一句话文本","ref_audio":"./data/refs/spk1_ref.wav","language":"zh"}
{"audio":"./data/spk1/utt002.wav","text":"第二句话文本","ref_audio":"./data/refs/spk1_ref.wav","language":"zh"}
{"audio":"./data/spk2/utt001.wav","text":"第一句话文本","ref_audio":"./data/refs/spk2_ref.wav","language":"zh"}
{"audio":"./data/spk3/utt001.wav","text":"第一句话文本","ref_audio":"./data/refs/spk3_ref.wav","language":"zh"}

这里的 ref_audio 就相当于“固定 speaker 条件”。训练时模型学会：在给定这个参考音频条件时，输出对应说话人的音色 / 韵律。预处理脚本默认会同时编码目标音频和 reference / ref_audio / reference_audio 中出现的参考音频。

---

2. 推理时如何指定 speaker？

推理时选择某个说话人的固定参考音频即可。例如：

conversation = [[
    processor.build_user_message(
        text="今天我们继续把 MOSS-TTS Local 的微调流程跑通。",
        reference=["./data/refs/spk1_ref.wav"],
    )
]]

官方微调文档中的推理示例也是通过 reference=[reference_audio] 来做固定音色条件输入，而不是通过 speaker_id 字段。

因此你可以在业务层自己维护映射：

speaker_refs = {
    "spk1": "./data/refs/spk1_ref.wav",
    "spk2": "./data/refs/spk2_ref.wav",
    "spk3": "./data/refs/spk3_ref.wav",
}

speaker_id = "spk2"

conversation = [[
    processor.build_user_message(
        text="要合成的文本",
        reference=[speaker_refs[speaker_id]],
        language="zh",
    )
]]

从接口实现看，build_user_message 接收的是 reference、instruction、language 等字段，没有看到显式的 speaker_id 参数。

---

3. 多说话人如何区分？

如果你要合成 多说话人对话，MOSS-TTS-Local 的处理逻辑里支持 reference 列表，并会把列表中的每个非空 reference 渲染为 [S1]、[S2] 这样的说话人 reference 槽位。

文档中也说明，MOSS-TTSD 格式中 reference 可以是多说话人列表，列表元素可以为 null，并用文本里的 [S1]、[S2] 来标注发言人。

示例：

{
  "audio": "./data/dialog_target.wav",
  "text": "[S1] 你好，我是第一个说话人。 [S2] 你好，我是第二个说话人。 [S1] 我们继续。",
  "reference": ["./data/refs/spk1_ref.wav", "./data/refs/spk2_ref.wav"],
  "language": "zh"
}

推理时也用同样的思想：

conversation = [[
    processor.build_user_message(
        text="[S1] 今天我们测试第一个声音。 [S2] 然后切换到第二个声音。",
        reference=[
            "./data/refs/spk1_ref.wav",
            "./data/refs/spk2_ref.wav",
        ],
        language="zh",
    )
]]

如果某个说话人没有参考音频，可以在 reference 列表中放 null / None；文档说明这种 null 会保留为 None，不会被错误编码。

---

4. 是否支持像 CosyVoice3 那样用 system prompt 设定 speaker？

就当前仓库中的 MOSS-TTS-Local 来看，没有看到“system prompt + speaker id / speaker profile”这种显式机制。处理器的用户消息模板包含的是：

• Reference(s)
• Instruction
• Tokens
• Quality
• Sound Event
• Ambient Sound
• Language
• Text

这些字段被拼进 <user_inst> 模板里。

也就是说：

• 对 MOSS-TTS-Local / MOSS-TTS：主要用 reference / ref_audio 控制音色。
• 对 MOSS-VoiceGenerator：可以用 instruction 文本描述声音风格、年龄、情绪、语速、音色等，属于文本 prompt 驱动的 voice design；模型卡说明它可以直接从 free-form textual descriptions 生成目标音色，不需要参考音频。
• 但 instruction 更像“声音描述 / 风格控制”，不是稳定绑定三位已知 speaker 的 ID 机制。模型卡字段说明中，instruction 用来指定合成语音的风格，例如情绪、速度、音高和声音特征。

所以，如果你的需求是“固定 3 个已知人声，可通过 speaker id 选择”，建议业务层实现：

speaker_id -> 固定 reference audio

而不是试图在 MOSS-TTS-Local 内部新增类似 CosyVoice3 的 system prompt speaker 机制。

---

5. 推荐实践

推荐方案 A：固定 reference audio，最适合你的需求

1. 为每个 speaker 选 1 条或多条高质量参考音频。
2. 训练 JSONL 中，每条 speaker 的训练样本都带上对应 ref_audio。
3. 推理时，业务层用 speaker_id 查表得到 reference audio。
4. processor.build_user_message(text=..., reference=[speaker_ref]) 合成。

这是和当前仓库接口最匹配、改动最小、稳定性最高的方案。

---

推荐方案 B：多说话人对话用 [S1] / [S2] / [S3]

如果一次音频中需要多人轮流说话：

{
  "audio": "./data/dialog.wav",
  "text": "[S1] 你好。 [S2] 你好呀。 [S3] 我也来了。",
  "reference": [
    "./data/refs/spk1_ref.wav",
    "./data/refs/spk2_ref.wav",
    "./data/refs/spk3_ref.wav"
  ],
  "language": "zh"
}

这种方式与文档里的多说话人 reference 列表设计一致。

---

不太推荐：直接加 speaker_id

除非你准备改模型结构、数据集 packing、processor 模板和训练逻辑，否则不建议直接加 speaker_id。当前训练数据集会把 reference 解析成 reference codes，并把这些 codes 放入 user message，再进行 teacher-forcing 训练。 这说明现有路径是“reference-conditioned”，不是“speaker-id-conditioned”。

---

6. 简短结论

• 可以微调 3 个说话人。
• 当前推荐做法：用固定 ref_audio / reference 表示固定 speaker。
• 推理时用业务层 speaker_id -> reference audio 映射来指定 speaker。
• 多说话人对话用 [S1]、[S2]、[S3] 加 reference 列表。
• MOSS-TTS-Local 当前没有显式的 system prompt speaker-id 机制；如果想用纯文本描述声音，可看 MOSS-VoiceGenerator 的 instruction 路线，但它更偏 voice design，不是精确固定三位 speaker。

Testing / Checks

• ✅ pwd && rg --files -g 'AGENTS.md' -g 'README*' -g '*.md' -g '*.py' | head -200
• ✅ find .. -name AGENTS.md -print
• ✅ sed -n '1,220p' moss_tts_local/finetuning/README_zh.md && printf '\n---local readme---\n' && sed -n '1,220p' moss_tts_local/README.md
• ✅ rg -n "speaker|说话|voice|prompt|ref|audio_prompt|speaker_id|system" moss_tts_local moss_tts_local_v1.5 README_zh.md README.md docs -g '*.md' -g '*.py'
• ✅ nl -ba moss_tts_local/finetuning/README_zh.md | sed -n '35,80p;96,140p;296,330p;372,382p'
• ✅ nl -ba moss_tts_local/processing_moss_tts.py | sed -n '50,105p;383,396p' && nl -ba moss_tts_local/finetuning/dataset.py | sed -n '107,155p'
• ✅ nl -ba docs/moss_voice_generator_model_card.md | sed -n '11,22p;136,142p' && nl -ba README.md | sed -n '124,127p;181,187p'
• ✅ git status --short

View task →