ソースを参照

Enable rotary embeddings

Aleksandr Borzunov 3 年 前
コミット
d0985de540
1 ファイル変更1 行追加1 行削除
  1. 1 1
      task.py

+ 1 - 1
task.py

@@ -82,7 +82,7 @@ class TrainingTask:
                 attn_dropout=0,
                 shared_attn_ids=shared_layer_ids,
                 shared_ff_ids=shared_layer_ids,
-                rotary_emb=False,  # FIXME: Fix RuntimeError when True
+                rotary_emb=True,
                 reversible=True,
             )
             self.model = ModelWrapper(dalle)