Skip to content

gpt 0.4.0 的完整支持和验证 #210

@strint

Description

@strint

0.4.0的oneflow和benchmark

在调试验证中。当前反馈:

  • 测试了v0.4.0,是可以的
  • 但是有一点需要注意,就是跑的模型参数,hidden_size和seq_length别相等,(一般都不会相等),现在benchmark上直接运行bash examples/pretrain_345M.sh有问题,就是这个问题
    错误样子:
raise RuntimeError("can't infer split axis")
RuntimeError: can't infer split axis

在处理中。

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type
No fields configured for issues without a type.

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions