 Aleksandr Borzunov
|
a232f13869
Rename RemoteTransformerBlockInferenceSession => _ServerInferenceSession
|
преди 2 години |
|
Aleksandr Borzunov
|
b6316a5603
Make inference session fields private
|
преди 2 години |
|
Aleksandr Borzunov
|
55bea823c0
Regenerate attn caches when necessary
|
преди 2 години |
|
Aleksandr Borzunov
|
f6622bcff7
Implement fault-tolerant inference
|
преди 2 години |
|
Aleksandr Borzunov
|
bd10d15e6e
Rename Remote{TransformerBlock => Server}InferenceSession
|
преди 2 години |
 Artem Chumachenko
|
695df826c2
Force reinstall for hivemind in example notebooks (#88)
|
преди 2 години |
 Alexander Borzunov
|
dc6ecccac5
Implement timeouts in forward/backward (#90)
|
преди 2 години |
|
Aleksandr Borzunov
|
4518d65fdd
Add MIT license
|
преди 2 години |
|
Alexander Borzunov
|
898f614515
Fix floating point issues in block_selection.py (#89)
|
преди 2 години |
|
Alexander Borzunov
|
c07a7e0812
Add "Terms of Use"
|
преди 2 години |
|
Artem Chumachenko
|
0d9c7de0bd
Add sst-2 ipynb example (#86)
|
преди 2 години |
|
Alexander Borzunov
|
57e8d2e721
Implement exponential backoff for forward & backward (#85)
|
преди 2 години |
|
Alexander Borzunov
|
ee4e69c254
Enable rebalancing by default (#84)
|
преди 2 години |
|
Artem Chumachenko
|
2cb82dd648
Add colab-related changes (#80)
|
преди 2 години |
|
Alexander Borzunov
|
87fd6a4f08
Fix "Too many open files" during rebalancing (#83)
|
преди 2 години |
|
Alexander Borzunov
|
f64eb3a665
Update hivemind to 1.1.2, mark `model` argument as required (#81)
|
преди 2 години |
|
Alexander Borzunov
|
149f433763
Rebalance swarm when necessary (#34)
|
преди 2 години |
|
Alexander Borzunov
|
640bbc38a9
Make even smaller readability changes
|
преди 3 години |
|
Alexander Borzunov
|
d1b012b479
Make small readability & style changes to the instructions (#77)
|
преди 3 години |
 justheuristic
|
fef48d7d99
Use bitsandbytes==0.34.0, update readme (#76)
|
преди 3 години |
|
justheuristic
|
8caf1145a8
Quality of life changes: update readme, simplify run_server interface (#75)
|
преди 3 години |
|
Artem Chumachenko
|
1046911dea
Add prompt tuning example on Personachat dataset (#69)
|
преди 3 години |
|
justheuristic
|
3fdcc55a56
fix protobuf version (#74)
|
преди 3 години |
|
justheuristic
|
e92487e5d2
Update dependency versions (#71)
|
преди 3 години |
 Pavel Samygin
|
50535a8435
Priority tasks (#47)
|
преди 3 години |
|
justheuristic
|
892d18fea7
Build cpuonly from bitsandbytes main (#70)
|
преди 3 години |
|
justheuristic
|
f3984b192a
Make attention cache wait until memory is freed (#53)
|
преди 3 години |
|
justheuristic
|
8a0c056929
Fix calling rpc_info multiple times (#60)
|
преди 3 години |
|
Artem Chumachenko
|
ada98a1b37
Add deep prompt inference (#66)
|
преди 3 години |
|
Alexander Borzunov
|
54ad745bed
Warn that current instructions involve 6B model but we will replace them soon (#63)
|
преди 3 години |
