有关Relation DETR相关的几个小问题

[wangzhaoyang-508]

Question

大佬您好，最近拜读了你的Relation DETR 收获很多，现在有几个问题想请教一下：
1.在论文图1中，您用MC指标展示了不同数据集下目标框的位置关系，以此说明位置的统计意义。可以发现特定任务数据集的指标更靠右。我想问下是否意味着您这种方法更适合用于特定数据集呢？您是否在ESD、CSD、MSSD这些数据集上试验过呢，提升会更明显吗？

2.公式8中为何要使用MLP得到位置，使用Linear得到类别，而不是统一的使用MLP或者Linear呢？这个虽然好像大家都是这么做的

3.Mamba问世接近一年了，目前在目标检测领域没有特别出彩的工作（相较于Transformer之于DETR），请问您怎么看这个结构呢？

补充信息

No response

[wangzhaoyang-508]

真不好意思，我看到5.1中写明第一个问题了，sorry

[xiuqhou]

Hi @wangzhaoyang-508 抱歉回复的比较晚。

1. 问题二主要是因为目标检测中回归任务比分类任务要更困难，相应地需要更复杂的设计和训练策略。所以DETR用多层MLP进行回归、单层Linear用来分类；除此之外，DETR使用两项损失函数：L1和GIoU来进行回归任务，回归项的权重(L1和GIoU权重都是5)比分类的权重更大，也是为了提供比分类任务更丰富的监督信息；甚至有些DETR会在分类项中也引入回归信息，以对齐两个任务。这些都是为了更好地平衡回归和分类任务。
2. Mamba我认为是有很大的研究潜力的，但之前被公众号刷屏太多了，我比较倾向于实用性和通用性的方向去做研究，所以暂时持观望的态度。我做的目标检测研究还是以实际应用为导向的，Mamba作为和CNN、Transformer类似的比较基础的模型，在硬件实现上还没有得到很充分地优化，所以研究实用性小一些。另外，很多模态并不是很具有Mamba所需的长序列和自回归性质，Mamba在多模态任务的通用性上可能不如transformer。不过Transformer到DETR也经历了三年，Mamba还在发展，期待有更好的工作出现。

[wangzhaoyang-508]

感谢回复，收获良多