GRPO prompt issue

[hajararabiu869]

 def call(self, TOKENS: np.ndarray, TOKEN_LENS: np.ndarray, GT_TEXT: np.ndarray):
        """
        WAV: np.ndarray, WAV_LENS: np.ndarray
        LANGUAGE: np.ndarray, TEXTNORM: np.ndarray for backward compatibility, not used
        See: https://github.com/modelscope/FunASR/tree/main/runtime/triton_gpu
        """
        # Ensure the default CUDA device is set correctly for this invocation
        torch.cuda.set_device(self.device_id)

        if self.device_id == 0:
            print(f"device_id: {self.device_id}, TOKENS: {TOKENS.shape}, TOKEN_LENS: {TOKEN_LENS.shape}")

        tokens_list = [TOKENS[i, :TOKEN_LENS[i, 0]] for i in range(len(TOKENS))]

        # Decode ground-truth text strings (BYTES → str)
        if GT_TEXT.ndim == 2:
            gt_texts = [GT_TEXT[i, 0].decode("utf-8") for i in range(len(GT_TEXT))]
        else:
            gt_texts = [GT_TEXT[i].decode("utf-8") for i in range(len(GT_TEXT))]

        wavs = []
        for tokens in tokens_list:
            prompt_text, prompt_speech_16k = get_random_prompt_from_dataset(self.dataset)
            audio_tokens = torch.tensor(tokens, dtype=torch.long, device=self.asr_model.device).unsqueeze(0)
            audio_hat = audio_decode_cosyvoice2(
                audio_tokens,
                prompt_text,
                prompt_speech_16k,
                self.codec_decoder,
            )
在这里为随机挑选prompt会导致一个group里的n个样本的prompt都不一样吧？

[emesoohc2022]

我理解这里 grpo 是只关注发音维度，所以可以随机选 prompt audio，只是为了将 speech tokens 通过 token2wav 还原为波形，方便后续的 ASR 和 reward 计算。这么做还有一点依据，现在的代码里，采样生成多条 rollout 的时候，speech tokens 的生成其实是没有提供 prompt_audio/text 的，只提供了待合成的文本(所以不存在采样 token 与 token2wav 时 prompt_audio 不一致的问题)，详见：

CosyVoice/examples/grpo/cosyvoice2/prepare_data.py

Lines 48 to 61 in ace7c47

	data = {
	"data_source": f"{args.train_file}_{args.test_file}", # Use file names as data source
	"prompt": [
	{
	"role": "user",
	"content": question,
	},
	{
	"role": "assistant",
	"content": answer,
	},
	],
	"ability": "text-to-speech",
	"reward_model": {"style": "rule", "ground_truth": text},

但这么做确实有点奇怪，毕竟 speech token 多少还是会有音色信息的泄露，所以只用 WER 作为 reward 最终 GRPO 训练之后，one-shot 推理时候的音色相似度会有一些损伤风险

[yuekaizhang]

我理解这里 grpo 是只关注发音维度，所以可以随机选 prompt audio，只是为了将 speech tokens 通过 token2wav 还原为波形，方便后续的 ASR 和 reward 计算。这么做还有一点依据，现在的代码里，采样生成多条 rollout 的时候，speech tokens 的生成其实是没有提供 prompt_audio/text 的，只提供了待合成的文本(所以不存在采样 token 与 token2wav 时 prompt_audio 不一致的问题)，详见：

CosyVoice/examples/grpo/cosyvoice2/prepare_data.py

Lines 48 to 61 in ace7c47

data = {
"data_source": f"{args.train_file}_{args.test_file}", # Use file names as data source
"prompt": [
{
"role": "user",
"content": question,
},
{
"role": "assistant",
"content": answer,
},
],
"ability": "text-to-speech",
"reward_model": {"style": "rule", "ground_truth": text},
但这么做确实有点奇怪，毕竟 speech token 多少还是会有音色信息的泄露，所以只用 WER 作为 reward 最终 GRPO 训练之后，one-shot 推理时候的音色相似度会有一些损伤风险

补充一点：随机也是为了增加一些泛化的能力，我试过固定一个音频来做 prompt, 发现训练完以后，针对这个说话人的 wer 有提升，但是更换别的说话人以后效果会下降。

[hajararabiu869]

我理解这里 grpo 是只关注发音维度，所以可以随机选 prompt audio，只是为了将 speech tokens 通过 token2wav 还原为波形，方便后续的 ASR 和 reward 计算。这么做还有一点依据，现在的代码里，采样生成多条 rollout 的时候，speech tokens 的生成其实是没有提供 prompt_audio/text 的，只提供了待合成的文本(所以不存在采样 token 与 token2wav 时 prompt_audio 不一致的问题)，详见：
CosyVoice/examples/grpo/cosyvoice2/prepare_data.py
Lines 48 to 61 in ace7c47
data = {
"data_source": f"{args.train_file}_{args.test_file}", # Use file names as data source
"prompt": [
{
"role": "user",
"content": question,
},
{
"role": "assistant",
"content": answer,
},
],
"ability": "text-to-speech",
"reward_model": {"style": "rule", "ground_truth": text},
但这么做确实有点奇怪，毕竟 speech token 多少还是会有音色信息的泄露，所以只用 WER 作为 reward 最终 GRPO 训练之后，one-shot 推理时候的音色相似度会有一些损伤风险

补充一点：随机也是为了增加一些泛化的能力，我试过固定一个音频来做 prompt, 发现训练完以后，针对这个说话人的 wer 有提升，但是更换别的说话人以后效果会下降。

这里指的是一个group内固定一个音频做prompt效果不好吗？还是整个训练过程固定一个？
现在这个训练过程只关注wer，所以这么做。但如果reward加上sim或者别的，一个group里还是固定一个prompt比较好吧？