PositionRelationEmbedding的scale

[Yzichen]

Question

为什么PositionRelationEmbedding的scale要设置为100？一般不都是2*pi吗？

补充信息

No response

[xiuqhou]

我当时在写初版代码的时候是简单设置成了100，但发现效果挺不错，后续就没变过了。确实一般正余弦编码设置成2*pi，有时间可以验证下哪个效果更好，但我感觉影响没那么大。

[Yzichen]

在我这里影响很大. 对了, 你有没有试过直接利用几个linear layer来编码relation, 比如 4 --> 16 --> 16 --> n_heads.

[xiuqhou]

请问这个参数在你的结果中的AP差异有多大呢？如果2pi效果明显更好的话，我考虑在COCO上用2pi重新跑一下。另外我没有尝试过直接用linear来编码relation，relation经过sin-cos编码后的特征维度是4*16=64，如果你想尝试的话，可以考虑将linear设置成64。

[Yzichen]

我是在别的任务上使用的，设置为100有提升，但是设置为2*pi的话，就没有提升了。

[Yzichen]

你可以试试2*pi