GRPO的时候怎么保存最后一步的checkpoints

[pureoxygen123]

我在训练GRPO的时候只会按照save steps的倍数，有没有方法能够把最后一步的checkpoints也同样保存

Train:  99%|█████████▉| 80/81 [4:49:11<03:45, 225.62s/it]
Train:  99%|█████████▉| 80/81 [4:49:11<03:45, 225.62s/it]
Train:  99%|█████████▉| 80/81 [4:49:11<03:36, 216.89s/it]
[INFO:swift] last_model_checkpoint: /home/output_checkpoints/grpo/v6-20250609-104706/checkpoint-80
[INFO:swift] best_model_checkpoint: None

可能相关的配置参数
"save_strategy": "steps",
"save_steps": 20.0,
"save_total_limit": 2,
"save_safetensors": true,
"save_on_each_node": false,
"save_only_model": false,

[munian08]

+1 用的ms_swift==3.5.0 请问有解决吗

[hjh0119]

any repro scripts?

what's the version of transformers and vllm

[pureoxygen123]

any repro scripts?

what's the version of transformers and vllm

vLLM 0.8.5.post1
transformers 4.52.1
ms-swift 3.5.1
我还没有尝试新的main分支，这个训练是基于Qwen2.5-Omni-3B的8卡 全量GRPO训练（vllm colocate模式）
在SFT训练时，可以正常的进行保存，
相关的配置

--torch_dtype bfloat16 \
--save_steps 49 \
--use_vllm true \
--vllm_gpu_memory_utilization 0.4 \
--vllm_limit_mm_per_prompt  '{"audio": 1}' \
--learning_rate 1e-6 \
--save_total_limit 5 \
--logging_steps 1 \
--packing \
--padding_free true \
--padding_side right \
--dataset_num_proc 32 \
--attn_impl flash_attn \
--log_completions true \
 --async_generate false \
--offload_optimizer true \
--offload_model true \

我在ms-swift的源码中发现了last_checkpoint的内容，但是位于swift/train/llm/sft.py下，不确定是不是调用的问题

        training_args = trainer.args
        state = trainer.state
        if hasattr(state, 'last_model_checkpoint'):
            if is_master() and self.args.create_checkpoint_symlink:
                last_checkpoint = os.path.join(self.args.output_dir, 'last')
                best_checkpoint = os.path.join(self.args.output_dir, 'best')
                os.symlink(state.last_model_checkpoint, last_checkpoint)
                os.symlink(state.best_model_checkpoint, best_checkpoint)
                state.last_model_checkpoint = last_checkpoint
                state.best_model_checkpoint = best_checkpoint