Explorar o código

MAX_TOKENS_IN_BATCH = 512

Aleksandr Borzunov %!s(int64=2) %!d(string=hai) anos
pai
achega
88251e100c
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      src/petals/client/sequential_autograd.py

+ 1 - 1
src/petals/client/sequential_autograd.py

@@ -20,7 +20,7 @@ from petals.utils.misc import DUMMY, is_dummy
 
 
 logger = get_logger(__name__)
 logger = get_logger(__name__)
 
 
-MAX_TOKENS_IN_BATCH = 1024
+MAX_TOKENS_IN_BATCH = 512
 
 
 
 
 async def sequential_forward(
 async def sequential_forward(