 Aleksandr Borzunov
|
7dc7da3e2e
black
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
4e26b2799d
Add rebalancing options to CLI args
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
1cf15a7f48
Disable rebalancing by default, address some of review comments
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
4a05f40786
Implement rebalancing criterion
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
e965719b58
Simplify rebalancing options
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
f3ea120c81
Fix ModuleContainer.shutdown() and its usages
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
b5d54f42c0
Fix errors
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
bafd66ad50
Add allow_rebalancing flag
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
fdb0f7371b
Set mean delays instead of max delays
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
74c1b1129b
Update docstrings
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
325ff0cef9
Draft balance check logic
|
vor 3 Jahren |
|
Aleksandr Borzunov
|
c8b85555f4
Extract ModuleContainer class from Server
|
vor 3 Jahren |
|
Alexander Borzunov
|
640bbc38a9
Make even smaller readability changes
|
vor 2 Jahren |
|
Alexander Borzunov
|
d1b012b479
Make small readability & style changes to the instructions (#77)
|
vor 2 Jahren |
 justheuristic
|
fef48d7d99
Use bitsandbytes==0.34.0, update readme (#76)
|
vor 2 Jahren |
|
justheuristic
|
8caf1145a8
Quality of life changes: update readme, simplify run_server interface (#75)
|
vor 2 Jahren |
 Artem Chumachenko
|
1046911dea
Add prompt tuning example on Personachat dataset (#69)
|
vor 2 Jahren |
|
justheuristic
|
3fdcc55a56
fix protobuf version (#74)
|
vor 2 Jahren |
|
justheuristic
|
e92487e5d2
Update dependency versions (#71)
|
vor 2 Jahren |
 Pavel Samygin
|
50535a8435
Priority tasks (#47)
|
vor 2 Jahren |
|
justheuristic
|
892d18fea7
Build cpuonly from bitsandbytes main (#70)
|
vor 2 Jahren |
|
justheuristic
|
f3984b192a
Make attention cache wait until memory is freed (#53)
|
vor 2 Jahren |
|
justheuristic
|
8a0c056929
Fix calling rpc_info multiple times (#60)
|
vor 2 Jahren |
|
Artem Chumachenko
|
ada98a1b37
Add deep prompt inference (#66)
|
vor 2 Jahren |
|
Alexander Borzunov
|
54ad745bed
Warn that current instructions involve 6B model but we will replace them soon (#63)
|
vor 3 Jahren |
|
Alexander Borzunov
|
5f0c5329d4
Update readme with arxiv link and more discussions (#62)
|
vor 3 Jahren |
|
Alexander Borzunov
|
9bea7b9ea8
Update bullet points with feedback from Tim and other people (#61)
|
vor 3 Jahren |
|
Alexander Borzunov
|
7653562aa1
Use latest version of Petals scheme, shrink Petals logo (#59)
|
vor 3 Jahren |
|
Alexander Borzunov
|
2eb5843852
Update readme for the 1st public release (#57)
|
vor 3 Jahren |
|
Pavel Samygin
|
0be21775af
remove transformer block, implement as sequential of size 1 (#54)
|
vor 3 Jahren |
