Skip to content

请问有做过GQA和MHA注意力的对比实验吗？ #2

Open
Open
请问有做过GQA和MHA注意力的对比实验吗？#2

Description

@651961
651961
opened on Jul 9, 2026

最近的一些dit模型，比如cosmos3、krea2等，都用了GQA注意力，效果上没什么问题。我想请问不用GQA是因为GQA对比MHA效果不好，还是没做这个对比？

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions