🍭[Roadmap] ms-swift3.6

[Jintao-Huang]

模型

1. 最新模型接入 P0
2. Omni pending
   a. 部署支持输出音频
   b. 支持talker的训练
3. All-to-All优化 pending
4. embedding: 支持推理、部署 P0
5. ✅reranker训练支持
6. 序列分类: 多标签/回归支持量化

Megatron-SWIFT

1. 新模型支持
   a. 多模态: qwen2.5-VL/qwen2.5-Omni P1
   b. ✅DeepSeekV3 P0
2. fp8 P0
3. LoRA支持 P0
4. 支持提前预处理数据集 P1
5. RLHF支持 P0
   a. GRPO
   b. KTO
   c. ✅DPO
6. 断点续训 对齐 P0

训练

1. RAY支持 P0
2. 长文本ring attention P1
3. AutoTP P1

RL

1. GRPO
   a. ✅多轮AsyncEngine P0
   b. Agent MCP
   c. sglang
   d. 效率对比benchmark P0
   e. 多机rollout
2. ✅GKD P0
3. RLOO P1
4. Reinforce++ P1
5. 多模态PPO

全链路

推理与部署

1. ✅sglang接入推理部署 P0
2. GGUF支持

量化

1. bnb支持多模态模型
2. qlora支持merge-lora P1
3. GGUF支持

[1571859588]

希望加入自定义模型forward输入和输出参数，以及处理该参数的loss函数

[hsushuai]

deepspeed结合megatron加速训练

[EvilCalf]

希望加入一些过程奖励的rl

[miraiaroha]

1. 多模态qwen2.5-vl等的Megatron grpo训练支持；
2. 加速算子prefixGrouper；
3. 相同资源（相同节点、gpu数量）下的collocate和异步rollout两种方式的效率对比

[sosofun]

1. 期待 DeepSeekV3 / R1
2. 断点续训 对齐

[shiningliang]

模型

SFT with KD loss. Introduced in Gemma3 Tech Report. Seems also used in Qwen3

Distillation. We sample 256 logits per token, weighted by teacher probabilities. The student learns the teacher’s distribution with in the samples via cross-entropy loss. The teacher’s target distribution is set to zero probability for non-sampled logits, and renormalized.

训练

能否支持DeepSpeed 的AutoTP? AutoTP 给不熟悉Megatron 的同学一个低成本开启并行化的机会

[vibe-viscot]

DeepSpeed 的AutoTP，非常想要。同时想要logit知识蒸馏。

[FoolishMao]

希望有一个RL的reward合集，各种最佳实践等

[vibe-viscot]

希望能让用户可以训练的时候进行数据增强（多模态的，图像、文本、音频的数据增强）

[RonanDou]

求一个Megatron-SWIFT的官方镜像

[xuefei2025]

deepspeed结合megatron加速训练