关于 Personal Agent GSM8K 实验中 Student/Teacher 场景训练方式

[ZhifuWei]

我在复现 Personal Agent Optimization / GSM8K 实验时，想确认论文中 Student / Teacher 两个 personalization scenario 的口径：

论文报告的 Student / Teacher 分数，是同一个 policy 经过 mixed training 后分别评测得到的，还是分别训练 student-only / teacher-only 两个 policy 后得到的？

我看到仓库中 gsm8k_personal_agent.py 默认似乎是 --scenario mixed，所以目前理解是前者。想请作者确认一下，谢谢！

[yinjjiew]

gsm8k_personal_agent是oel里面的那个吗？我们官方的personal agent评测不是那里，在https://github.com/Gen-Verse/OpenClaw-RL/tree/main/openclaw-test，这个是更新版的评测，report的不再是score, 而是平均多少个conversation session出现稳定效果（连续三个conversation session出现效果，效果的定义见文章），文章今天晚上会更新，然后支持同时优化（student, teacher, TA三者同时优化）和分开优化。

[ZhifuWei]

是的，我想复现您论文里Table 3的结果，但是始终复现不出来论文的值，想着是不是代码或者参数设置错了，我是按照这个文件为主链路的OpenClaw-RL/openclaw-rl/oel/eval/gsm8k_personal_agent.py，因为里面写着

“GSM8K Personal Agent Track: Full Reproduction Script

Reproduces Table 3 from the OpenClaw-RL paper:

• Base Qwen3-4B → Student 0.17, Teacher 0.17
• Combined 8 steps → 0.76
• Combined 16 steps → 0.81

Architecture:
GPT-4.1 (Student/Teacher simulator) ↔ Policy (port 30000, training server)
GPT-4.1 (Evaluator) scores policy's first response on personalization”

我想复现这里Table 3 的Binary RL结果，用OpenClaw-RL/openclaw-rl/run_qwen3_4b_openclaw_rl.sh 运行RL服务器，然后gsm8k_personal_agent.py进行评估，但是结果差距挺大。

应该切换到openclaw-test进行评测吗？

感谢作者耐心回答！

[yinjjiew]

gsm8k_personal_agent.py不是官方的代码，要到openclaw-test里面进行评测，然后现在文章更新了，可以重新看一下。代码明天会更新完毕，到时候重新下载repo, follow openclaw-test里面的教程去做就可以了，用run_qwen3_4b_openclaw_topk_select.sh, 通过调整export OPENCLAW_TOPK_W_RL="${OPENCLAW_TOPK_W_RL:-1.0}"
export OPENCLAW_TOPK_W_OPD="${OPENCLAW_TOPK_W_OPD:-1.0}"来决定opd和普通rl的权重

[ZhifuWei]

好的，感谢您的耐心回答，期待新的代码 @yinjjiew

[victorzhu30]

新版论文中说：如果模型对首条消息的响应在连续三次会话中都能满足用户的偏好，我们就认为达到了优化效果。
这个在代码里是如何体现的呢？人工看的？我看openclaw-test里只有单纯跑的代码

[yinjjiew]

对的。也可以用Qwen3小推理模型去判断，最大投票法3次后基本上不会判断错。
student setting判断标准: 不出现bold text, 不出现标号，不出现"step i:", 不出现boxed
TA标准：response token数量(不包含推理)>100，这里直接encode判断
teacher: 包括"excellent!"以及"well done!"或者友好表情等，展示友好的phrase