Parcourir la source

Fix script for running servers robustly

Aleksandr Borzunov il y a 2 ans
Parent
commit
96033de921
1 fichiers modifiés avec 2 ajouts et 2 suppressions
  1. 2 2
      src/petals/cli/run_prod_server.sh

+ 2 - 2
src/petals/cli/run_prod_server.sh

@@ -3,10 +3,10 @@ set -x
 
 
 export HIVEMIND_COLORS=true
 export HIVEMIND_COLORS=true
 while true; do
 while true; do
+        pkill -f p2p
+        pkill -f run_server
         python -m petals.cli.run_server bigscience/bloom-petals \
         python -m petals.cli.run_server bigscience/bloom-petals \
                 --block_indices $1 \
                 --block_indices $1 \
                 --torch_dtype bfloat16 --load_in_8bit \
                 --torch_dtype bfloat16 --load_in_8bit \
                 --attn_cache_size $2 2>&1 | tee log_`date '+%F_%H:%M:%S'`
                 --attn_cache_size $2 2>&1 | tee log_`date '+%F_%H:%M:%S'`
-        pkill -f p2p
-        pkill -f run_server
 done
 done