Checklist / 检查清单
Question Description / 问题描述
训练minimax 2.5，保存ckpt时，不正常结束，一直卡住。
训练脚本：
megatron sft \
--model /mnt/public/checkpoints/MiniMax/MiniMax-M2___5 \
--save_safetensors true \
--merge_lora true \
--dataset "${DATASETS[@]}" \
--load_from_cache_file true \
--add_non_thinking_prefix true \
--split_dataset_ratio 0 \
--tuner_type lora \
--lora_rank "${rank}" \
--lora_alpha $((rank * 2)) \
--target_modules all-linear \
--tensor_model_parallel_size 4 \
--pipeline_model_parallel_size 1 \
--expert_tensor_parallel_size 1 \
--expert_model_parallel_size 4 \
--context_parallel_size 1 \
--sequence_parallel true \
--moe_permute_fusion true \
--moe_grouped_gemm true \
--moe_shared_expert_overlap true \
--moe_aux_loss_coeff 1e-3 \
--moe_z_loss_coeff 5e-4 \
--micro_batch_size 4 \
--global_batch_size 8 \
--recompute_granularity full \
--recompute_method uniform \
--recompute_num_layers 1 \
--num_train_epochs 2 \
--finetune true \
--cross_entropy_loss_fusion true \
--lr "${lr}" \
--lr_warmup_fraction 0.05 \
--min_lr 1e-6 \
--output_dir "${OUTPUT_DIR}" \
--max_length 8192 \
--dataloader_num_workers 1 \
--no_save_optim true \
--no_save_rng true \
--dataset_num_proc 8 \
--attention_backend flash \
--use_precision_aware_optimizer true \
--main_grads_dtype bf16 \
--overlap_grad_reduce true \
--overlap_param_gather true \
--loss_scale ignore_empty_think \
Checklist / 检查清单
Question Description / 问题描述
训练minimax 2.5，保存ckpt时，不正常结束，一直卡住。