 Aleksandr Borzunov
|
5578378202
Lower --max_batch_size and --inference_max_length defaults to 2048
|
před 2 roky |
|
Aleksandr Borzunov
|
ebf07d33ed
Add --{request,session,step}_timeout
|
před 2 roky |
|
Aleksandr Borzunov
|
8af3ac3623
Add cache allocation timeout
|
před 2 roky |
 Alexander Borzunov
|
8a73b41a42
Make ServerState announcements work better (#93)
|
před 2 roky |
|
Alexander Borzunov
|
dc71574a63
Use public swarm by default (#92)
|
před 2 roky |
|
Alexander Borzunov
|
ee4e69c254
Enable rebalancing by default (#84)
|
před 2 roky |
|
Alexander Borzunov
|
f64eb3a665
Update hivemind to 1.1.2, mark `model` argument as required (#81)
|
před 2 roky |
|
Alexander Borzunov
|
149f433763
Rebalance swarm when necessary (#34)
|
před 2 roky |
 justheuristic
|
8caf1145a8
Quality of life changes: update readme, simplify run_server interface (#75)
|
před 2 roky |
|
justheuristic
|
e92487e5d2
Update dependency versions (#71)
|
před 2 roky |
 Pavel Samygin
|
50535a8435
Priority tasks (#47)
|
před 2 roky |
|
justheuristic
|
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)
|
před 3 roky |
 Dmitry Baranchuk
|
11a424837f
integrate mixed-8bit model (#39)
|
před 3 roky |
|
Dmitry Baranchuk
|
f114a6d417
set default num_handlers=16
|
před 3 roky |
|
Alexander Borzunov
|
75856e4769
Measure and cache network & compute throughput (#21)
|
před 3 roky |
|
Alexander Borzunov
|
aba43f1308
Implement block selection on servers (#20)
|
před 3 roky |
|
justheuristic
|
9c492bbe8c
Infer prefix by defaukt
|
před 3 roky |
|
justheuristic
|
6e3db6bed6
black-isort
|
před 3 roky |
|
justheuristic
|
d5c410bb1f
fix auth token
|
před 3 roky |
|
justheuristic
|
1ab5fb1630
fetch a specific bloom block without downloading the entire model
|
před 3 roky |
|
justheuristic
|
3b9351de1c
isort
|
před 3 roky |
|
justheuristic
|
20497f81d1
switch to hivemind-master
|
před 3 roky |
|
Pavel Samygin
|
57f4e0a899
add identity path
|
před 3 roky |
|
justheuristic
|
a798ea04a6
add minimalistic benchmarks
|
před 3 roky |
|
justheuristic
|
14e316b52a
black-isort
|
před 3 roky |
|
justheuristic
|
7ce7cd7a97
basic backend
|
před 3 roky |
|
justheuristic
|
1c49bcb741
basic backend
|
před 3 roky |
