|
@@ -3,10 +3,10 @@ set -x
|
|
|
|
|
|
export HIVEMIND_COLORS=true
|
|
export HIVEMIND_COLORS=true
|
|
while true; do
|
|
while true; do
|
|
|
|
+ pkill -f p2p
|
|
|
|
+ pkill -f run_server
|
|
python -m petals.cli.run_server bigscience/bloom-petals \
|
|
python -m petals.cli.run_server bigscience/bloom-petals \
|
|
--block_indices $1 \
|
|
--block_indices $1 \
|
|
--torch_dtype bfloat16 --load_in_8bit \
|
|
--torch_dtype bfloat16 --load_in_8bit \
|
|
--attn_cache_size $2 2>&1 | tee log_`date '+%F_%H:%M:%S'`
|
|
--attn_cache_size $2 2>&1 | tee log_`date '+%F_%H:%M:%S'`
|
|
- pkill -f p2p
|
|
|
|
- pkill -f run_server
|
|
|
|
done
|
|
done
|