有尝试过其他相关性的编码吗？

[JerryNeVerMORE]

Question

作者你好，我尝试使用了relation的编码加入到self-attention，在训练早期效果确实很好。请问你们有尝试过其他不同的关系编码吗？感觉像论文中一样描述相对位置偏移的方法和思路应该有不少

补充信息

No response

[xiuqhou]

除了位置关系，我还尝试过编码类别关系，用交叉熵描述类别见的相对距离，但没有看到明显的精度提升。我推测是类别关系比较偏向语义，可能引入语言模型来构建类别关系会有效果。

其他还有基于统计的关系，比如预先统计两个类别在数据集中同时出现的概率。但就没尝试过了。