尝试量化了下DeepSeek-R1-Distill-Llama-70B 但是测下来效果很差 请问怎么调比较好

[artetaout]

用的这个命令

python3 examples/quant_model.py \
--model_path /sda/DeepSeek-R1-Distill-Llama-70B \
--tokenizer_path /sda/DeepSeek-R1-Distill-Llama-70B} \
--dtype float16 \
--smooth false \
--rotation true \
--dataset wikitext2 \
--nsamples 128 \
--w_quantizer FixedQuantize \
--w_group_size -1 \
--gptq_mse true \
--gptq_groupsize -1 \
--save_path DeepSeek-R1-Distill-Llama-70B-QQQ

用lm_eval来评测 效果很差

• 原版

|Tasks|Version|     Filter     |n-shot|  Metric   |   |Value|   |Stderr|                                                                            |-----|------:|----------------|-----:|-----------|---|----:|---|-----:|
|gsm8k|      3|flexible-extract|     5|exact_match|↑  |0.934|±  |0.0068|                                                                            |     |       |strict-match    |     5|exact_match|↑  |0.928|±  |0.0071|

• QQQ

|Tasks|Version|     Filter     |n-shot|  Metric   |   |Value |   |Stderr|                                                                           |-----|------:|----------------|-----:|-----------|---|-----:|---|-----:|
|gsm8k|      3|flexible-extract|     5|exact_match|↑  |0.0174|±  |0.0036|                                                                           |     |       |strict-match    |     5|exact_match|↑  |0.0000|±  |0.0000|

请问需要调哪些呢？有没有一些方法论呢？

[Qubitium]

@artetaout

--nsamples 128: this is very low for a 70B model. Use at least 1024 rows of data
--dataset wikitext2: this dataset is bad. use c4 or better
--w_group_size -1: test 128
--gptq_groupsize -1: test 128