소스 검색

Fix initial peer

Aleksandr Borzunov 2 년 전
부모
커밋
d5e27c262b
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      src/petals/cli/benchmark_forward.py

+ 1 - 1
src/petals/cli/benchmark_forward.py

@@ -32,7 +32,7 @@ def main():
 @torch.inference_mode()
 def benchmark_forward(process_idx, args):
     tokenizer = BloomTokenizerFast.from_pretrained(args.model)
-    model = DistributedBloomForCausalLM.from_pretrained(args.model)#, initial_peers=args.initial_peers)
+    model = DistributedBloomForCausalLM.from_pretrained(args.model, initial_peers=args.initial_peers)
     logger.info(f"Created model: {process_idx=} {model.device=}")
 
     torch.manual_seed(42)