fft模型什么时候会适配diffusers库吗？

[shangvo]

目前lora模型可以很好的适配diffusers库，很好用，非常感谢。
好像测试了下，fft 模型与diffusers库的 flux-fill管线不适配，好像是changes the input channel number of the FLUX-Fill-Dev model from 384 to 448. 这个的原因。
请问是会重新适配，还是修改部分代码即可使用？

[maochaojie]

这个需要在输入层面做一下适配，因为额外增加的一些通道是由输入的特定图像经过vae以后产出的latent feature。

[shangvo]

嗯，嗯。那请问
1-具体怎么操作，需要改diffiusers库FluxFillPipeline的原始代码吗？还是比如仅需要在FluxTransformer2DModel 修改传参，比如新的in channel?(in_channels (int, optional, defaults to 16) — The number of channels in the input.)
2-还是您们什么时候会像 ace_lora 那样，我看写了一个ace_plus_diffusers.py 的脚本呢？同样写一个diffusers_fft的脚本吗？

[shangvo]

嗯，嗯。那请问 1-具体怎么操作，需要改diffiusers库FluxFillPipeline的原始代码吗？还是比如仅需要在FluxTransformer2DModel 修改传参，比如新的in channel?(in_channels (int, optional, defaults to 16) — The number of channels in the input.) 2-还是您们什么时候会像 ace_lora 那样，我看写了一个ace_plus_diffusers.py 的脚本呢？同样写一个diffusers_fft的脚本吗？

infer_fft.py 的脚本完全是封装的，都不知道咋调用，或者4090 24G显存完全会爆，也不知道咋加一点量化的代码进去，以上还请指导和回复，谢谢

[maochaojie]

这两天在搞comfyui的适配，你会用comfyui吗

[maochaojie]

可能晚点才有时间适配diffusers，需要多等几天

[shangvo]

Comfyui会用的，但还是想等等diffusers适配，谢谢您辛苦了

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年3月11日(周二) 下午4:45 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ali-vilab/ACE_plus] fft模型什么时候会适配diffusers库吗？ (Issue #40) 这两天在搞comfyui的适配，你会用comfyui吗 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> maochaojie left a comment (ali-vilab/ACE_plus#40) 这两天在搞comfyui的适配，你会用comfyui吗 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[shangvo]

好的好的，不着急，万分感谢和期待

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年3月11日(周二) 晚上6:00 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ali-vilab/ACE_plus] fft模型什么时候会适配diffusers库吗？ (Issue #40) 可能晚点才有时间适配diffusers，需要多等几天 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> maochaojie left a comment (ali-vilab/ACE_plus#40) 可能晚点才有时间适配diffusers，需要多等几天 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[liupengcnu]

这个需要在输入层面做一下适配，因为额外增加的一些通道是由输入的特定图像经过vae以后产出的latent feature。

你好，我现在想要实现ACE_FFT基于reference image的图片生成，但是由于通道数改变，不知道怎么解决，请问我应该怎么修改呢