Skip to content

gptq 里面的 QuantizedQwen2Model 量化的时候没有使用 #28

@wym42

Description

@wym42

gptq模块下面的qwen2和llama我看都实现了对应的 Quantized* 类型,但是量化的时候,没有使用,请问这个是正常的么,只在evalmodel 和 test model里面有使用,

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions