 Aleksandr Borzunov
|
8c50f65cf2
black
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
0ef1d15c45
Require hivemind with MPFuture in inference mode fixed
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
90654da4e1
Improve InferenceSession typing
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
292e359731
Fix InferenceSession edge cases
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
b278a8d5f1
Make the first retry delay be zero
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
226fe91f6f
InferenceSession: Fix the case when failure happens while recovering
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
01cffeba5d
Fix max_length
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
2fafbaa119
Fix timeout on next token
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
3bc06f0002
InferenceSession: Replace only a segment of spans instead of everything
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
fb47655482
Fix bug with make_sequence() returning longer sequences
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
a59facc0bf
Fix sequential_backward()
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
756e27707f
Fix sequential_forward()
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
a58a8b95d0
Make backward more fault-tolerant
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
87fd00ead9
Make forward more fault-tolerant
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
b1b1947e8f
Log disconnect errors with DEBUG level
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
3a7b8a4389
black
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
8d47e38251
Rename RemoteSequentialInferenceSession => InferenceSession
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
a232f13869
Rename RemoteTransformerBlockInferenceSession => _ServerInferenceSession
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
b6316a5603
Make inference session fields private
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
55bea823c0
Regenerate attn caches when necessary
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
f6622bcff7
Implement fault-tolerant inference
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
bd10d15e6e
Rename Remote{TransformerBlock => Server}InferenceSession
|
vor 2 Jahren |
 Artem Chumachenko
|
695df826c2
Force reinstall for hivemind in example notebooks (#88)
|
vor 2 Jahren |
 Alexander Borzunov
|
dc6ecccac5
Implement timeouts in forward/backward (#90)
|
vor 2 Jahren |
|
Aleksandr Borzunov
|
4518d65fdd
Add MIT license
|
vor 2 Jahren |
|
Alexander Borzunov
|
898f614515
Fix floating point issues in block_selection.py (#89)
|
vor 2 Jahren |
|
Alexander Borzunov
|
c07a7e0812
Add "Terms of Use"
|
vor 2 Jahren |
|
Artem Chumachenko
|
0d9c7de0bd
Add sst-2 ipynb example (#86)
|
vor 2 Jahren |
|
Alexander Borzunov
|
57e8d2e721
Implement exponential backoff for forward & backward (#85)
|
vor 2 Jahren |
|
Alexander Borzunov
|
ee4e69c254
Enable rebalancing by default (#84)
|
vor 2 Jahren |
