Skip to content

关于decoder外的reg head问题 #23

@Abraham-M97

Description

@Abraham-M97

tmp = self.reg_branches[lvl](hs[lvl])

你好,我在迁移你的mapqr代码到我自己的数据集上训练时发现一个问题,你这一行在decoder layer外又过了一次reg head,我想问一下具体原因,因为我发现在我自己的数据集上收敛存在问题,然后去除了这一行的reg head,但是一旦去除会导致loss反传报错,后续继续检查发现是你下面这个地方的L137-L142存在问题
reference_points = new_reference_points.detach()

这里你在append points的时候应该append new_reference_points而不是detach过后的reference_points,这种情况会导致每一层只会自己学习,也会存在没有反传loss的参数,我在修改了上述两个地方后能够训练取得一个更好的结果 (我修改成了类似OPUS的做法),具体问题细节如果有兴趣可以联系我

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions