 Aleksandr Borzunov
|
a005b93678
Refactor
|
před 2 roky |
 Artem Chumachenko
|
fdb3583a8c
Add Beam Search decoding algorithm (#87)
|
před 2 roky |
 Alexander Borzunov
|
ee4e69c254
Enable rebalancing by default (#84)
|
před 2 roky |
 Pavel Samygin
|
50535a8435
Priority tasks (#47)
|
před 3 roky |
|
Artem Chumachenko
|
ada98a1b37
Add deep prompt inference (#66)
|
před 3 roky |
 justheuristic
|
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)
|
před 3 roky |
|
justheuristic
|
f12d0deee9
[quickfix 1/n] remove expensive assertions in inference code (#48)
|
před 3 roky |
 Dmitry Baranchuk
|
04a2b6f5e3
Support various backend dtypes & async serialization (#38)
|
před 3 roky |
|
Artem Chumachenko
|
d989b94614
Pack of Inference Changes (#37)
|
před 3 roky |
|
justheuristic
|
4ad845bce3
black-isort
|
před 3 roky |
|
justheuristic
|
3f42b3fb8d
run inference with no grad
|
před 3 roky |
|
justheuristic
|
83cd4412a1
black-isort
|
před 3 roky |
|
justheuristic
|
5d8f7be546
causal mask by default
|
před 3 roky |
|
justheuristic
|
1ab5fb1630
fetch a specific bloom block without downloading the entire model
|
před 3 roky |
|
justheuristic
|
15d0ea7129
fix black
|
před 3 roky |
|
justheuristic
|
e8241d2915
black everything
|
před 3 roky |
|
justheuristic
|
3b9351de1c
isort
|
před 3 roky |
|
justheuristic
|
ed468af8d6
leave a todo for attention mask
|
před 3 roky |
|
justheuristic
|
33358bc52b
rpc_inference works
|
před 3 roky |
|
justheuristic
|
a00ec56ade
basic multi-step inference session
|
před 3 roky |
|
justheuristic
|
c4d508c00e
remove some unnecessary debugprints
|
před 3 roky |
|
justheuristic
|
a44cb84f06
basic cache checks (via debugprint)
|
před 3 roky |
|
justheuristic
|
fee63bd440
rpc_inference works!
|
před 3 roky |
|
justheuristic
|
8092bd31ff
swap to int64 (rationale: pytorch does not support uint64)
|
před 3 roky |
|
justheuristic
|
5a15c13ca7
switch to hivemind-master
|
před 3 roky |
|
justheuristic
|
e3a7d5af30
inference mode
|
před 3 roky |
|
justheuristic
|
3b16d6ffdb
black-isort
|
před 3 roky |
|
justheuristic
|
14e316b52a
black-isort
|
před 3 roky |
|
justheuristic
|
3e9fd63a02
RemoteTransformerBlock
|
před 3 roky |
|
justheuristic
|
1cca611c9f
undo rename
|
před 3 roky |
