关于多模态支持

[Achazwl]

在导出MiniCPM-V的过程中, Resampler总报错“aten::_upsample_bilinear2d_aa”算子不支持，因此暂时无法使用多模态交互。

在 MiniCPM-V 的 2.0 版本中 openbmb/MiniCPM-V-2，修改后的 Resampler 避免了这个算子，不知道这个版本 ONNX 是否支持呢？

[DakeQQ]

您好~ 我测完了，还是不行.
一样在Resampler.py中的self.attn, 回报了aten::_upsample_bilinear2d_aa算子不支持，
我也很想把它做出來~ 但不晓得改啥能绕开它...

[zhb-code]

我看你在面壁那边问了，他们有回应了吗？

[DakeQQ]

一楼猫头像那位就是响应了呀

[Achazwl]

ggml-org/llama.cpp#6919
我在支持 llama.cpp 的时候，实现方式是将子图固定缩放成 448x448，这样相关算子的形状可以固定，因此可以把算子 bilinear 的运算结果直接存到 checkpoint 里 比如这样。整体来说 onnx 不支持确实麻烦一点，可能可以参照类似的方式进行实现。