MoRA icon indicating copy to clipboard operation
MoRA copied to clipboard

已给PEFT代码中没有decoupling的压缩/解压缩方法?

Open cheaous opened this issue 1 year ago • 1 comments

我观察到在peft-tuners-lora-layers.py的代码中,好像并没有给出decoupling的压缩与解压缩的方法,貌似mora_type = 1,2,3,4都对输入x进行了某种形式的求和,好像都是sharing的某种形式,然后旋转的方法也是基于这个做的?

cheaous avatar Apr 28 '25 06:04 cheaous

您好,由于最后的结果没有使用decoupling方法,所以代码中没有对应的实现。

另外decoupling的实现其实就是去掉mora_type 6中的旋转操作(删去如下代码) https://github.com/kongds/MoRA/blob/de5df312cee84e86508aa0e3c9a2fc271487c2e9/peft-mora/src/peft/tuners/lora/layer.py#L264-L272

kongds avatar Apr 28 '25 08:04 kongds