Răsfoiți Sursa

Enable PETALS_8BIT_BACKWARD by default

Aleksandr Borzunov 2 ani în urmă
părinte
comite
eb580973da
1 a modificat fișierele cu 1 adăugiri și 1 ștergeri
  1. 1 1
      src/utils/convert_8bit.py

+ 1 - 1
src/utils/convert_8bit.py

@@ -3,7 +3,7 @@ import os
 import bitsandbytes as bnb
 import bitsandbytes as bnb
 import torch
 import torch
 
 
-PETALS_8BIT_BACKWARD = bool(int(os.environ.get("PETALS_8BIT_BACKWARD", 0)))
+PETALS_8BIT_BACKWARD = bool(int(os.environ.get("PETALS_8BIT_BACKWARD", 1)))
 
 
 
 
 def replace_8bit_linear(model, threshold=6.0):
 def replace_8bit_linear(model, threshold=6.0):