Explorar el Código

PR attribution

foksly hace 3 años
padre
commit
4aa38e7191
Se han modificado 1 ficheros con 1 adiciones y 1 borrados
  1. 1 1
      benchmarks/benchmark_optimizer.py

+ 1 - 1
benchmarks/benchmark_optimizer.py

@@ -29,7 +29,7 @@ class TrainingArguments:
     reuse_grad_buffers: bool = True
     delay_grad_averaging: bool = True
     delay_optimizer_step: bool = True
-    average_state_every: int = 3
+    average_state_every: int = 1
     use_amp: bool = False
 
     lr_base: float = 0.1