Skip to content

QPEFT微调后,通过single_turn_mm测试,回答乱码了 #200

@bibibabibo26

Description

@bibibabibo26

你好,我微调llama_qformerv2_peft,数据量是122个(图像-问答)对,回答比较复杂所以需要微调,训练时最后一轮loss为1.4051。在测试的时候,由于代码报类型不一致错误,我在image处理完,放到cuda前转换了类型为image.cuda().bfloat(),其它代码没有改动。通过gradio界面显示的输出乱码。请问是数据量太少了,或者数据的回答比较复杂而造成的这个原因吗?还是我量化微调的过程出错了。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions