Explorar o código

Add batch_size=1 beam_search

Artem Chumachenko %!s(int64=2) %!d(string=hai) anos
pai
achega
a3f3108699
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      src/client/remote_generation.py

+ 1 - 1
src/client/remote_generation.py

@@ -266,7 +266,7 @@ class RemoteGenerationMixin:
         """
         decoding_algorithm = BeamSearchAlgorithm(
             num_beams=num_beams,
-            bath_size=input_ids.size(0),
+            batch_size=input_ids.size(0),
         )
         return self.generate(
             inputs=input_ids,