浏览代码

Add batch_size=1 beam_search

Artem Chumachenko 2 年之前
父节点
当前提交
a3f3108699
共有 1 个文件被更改,包括 1 次插入1 次删除
  1. 1 1
      src/client/remote_generation.py

+ 1 - 1
src/client/remote_generation.py

@@ -266,7 +266,7 @@ class RemoteGenerationMixin:
         """
         decoding_algorithm = BeamSearchAlgorithm(
             num_beams=num_beams,
-            bath_size=input_ids.size(0),
+            batch_size=input_ids.size(0),
         )
         return self.generate(
             inputs=input_ids,