已给PEFT代码中没有decoupling的压缩/解压缩方法？

[cheaous]

我观察到在peft-tuners-lora-layers.py的代码中，好像并没有给出decoupling的压缩与解压缩的方法，貌似mora_type = 1，2，3，4都对输入x进行了某种形式的求和，好像都是sharing的某种形式，然后旋转的方法也是基于这个做的？

[kongds]

您好，由于最后的结果没有使用decoupling方法，所以代码中没有对应的实现。

另外decoupling的实现其实就是去掉mora_type 6中的旋转操作（删去如下代码）

MoRA/peft-mora/src/peft/tuners/lora/layer.py

Lines 264 to 272 in de5df31

	if not hasattr(self, 'cos') and not hasattr(self, 'sin'):
	inv_freq = 1.0 / (10000 ** (torch.arange(0, r, 2).float() / r))
	t = torch.arange(rb1)
	freqs = torch.outer(t, inv_freq)
	emb = torch.cat((freqs, freqs), dim=-1)
	self.cos = emb.cos().unsqueeze(0).to(x.device).to(x.dtype)
	self.sin = emb.sin().unsqueeze(0).to(x.device).to(x.dtype)
	rh_in_x = torch.cat((-in_x[..., r//2:], in_x[..., :r//2]), dim=-1)
	in_x = in_x*self.cos + rh_in_x*self.sin