继续checkpoint训练时，数据能否继续训而不是重头开始

[charliedream1]

请问，如果我停止了训练，想继续checkpoint和对应的数据的步数训练，而不是从头开始数据训练，目前是否支持呢，怎么配置？从源码里，看到了resume_from_checkpoint，但好像没有看到数据部分的处理

[Jintao-Huang]

默认是会进行数据跳过的，请发一下续训脚本

[charliedream1]

nproc_per_node=4

NPROC_PER_NODE=$nproc_per_node \
swift sft \
    --model /mnt/public/mdl/mdl_zoo/Qwen/Qwen2.5-3B-Instruct \
    --train_type full \
    --dataset '/mnt/sft.jsonl' \
    --split_dataset_ratio 0.01 \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-6 \
    --gradient_accumulation_steps $(expr 16 / $nproc_per_node) \
    --eval_steps 10 \
    --save_steps 10 \
    --save_total_limit 20 \
    --logging_steps 5 \
    --max_length 22500 \
    --output_dir /swift_output/test_data \
    --resume_from_checkpoint /v_test/checkpoint-40 \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --deepspeed zero2

[slin000111]

nproc_per_node=4

NPROC_PER_NODE=$nproc_per_node
swift sft
--model /mnt/public/mdl/mdl_zoo/Qwen/Qwen2.5-3B-Instruct
--train_type full
--dataset '/mnt/sft.jsonl'
--split_dataset_ratio 0.01
--torch_dtype bfloat16
--num_train_epochs 1
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--learning_rate 1e-6
--gradient_accumulation_steps $(expr 16 / $nproc_per_node)
--eval_steps 10
--save_steps 10
--save_total_limit 20
--logging_steps 5
--max_length 22500
--output_dir /swift_output/test_data
--resume_from_checkpoint /v_test/checkpoint-40
--warmup_ratio 0.05
--dataloader_num_workers 4
--deepspeed zero2

脚本看起来是跳过已训练的数据步数，如果没有生效，尝试升级一下swift。此外，原来训练脚本中参数不变，加上resume_from_checkpoint就行。

[charliedream1]

好，谢谢

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年8月19日(周二) 中午11:44 收件人: ***@***.***>; 抄送: "Optimus ***@***.******@***.***>; 主题: Re: [modelscope/ms-swift] 继续checkpoint训练时，数据能否继续训而不是重头开始 (Issue #5197) slin000111 left a comment (modelscope/ms-swift#5197) nproc_per_node=4 NPROC_PER_NODE=$nproc_per_node swift sft --model /mnt/public/mdl/mdl_zoo/Qwen/Qwen2.5-3B-Instruct --train_type full --dataset '/mnt/sft.jsonl' --split_dataset_ratio 0.01 --torch_dtype bfloat16 --num_train_epochs 1 --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --learning_rate 1e-6 --gradient_accumulation_steps $(expr 16 / $nproc_per_node) --eval_steps 10 --save_steps 10 --save_total_limit 20 --logging_steps 5 --max_length 22500 --output_dir /swift_output/test_data --resume_from_checkpoint /v_test/checkpoint-40 --warmup_ratio 0.05 --dataloader_num_workers 4 --deepspeed zero2 脚本看起来是跳过已训练的数据步数，如果没有生效，尝试升级一下swift。此外，原来训练脚本中参数不变，加上resume_from_checkpoint就行。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>