 justheuristic
|
65ad7a131e
refactor priority pool, copy-paste runtime from hivemind (but without bugs!)
|
vor 3 Jahren |
 Pavel Samygin
|
f295ec9e84
WIP
|
vor 3 Jahren |
|
justheuristic
|
fb0aa13054
re-fix
|
vor 3 Jahren |
|
justheuristic
|
5c67465154
re-fix
|
vor 3 Jahren |
|
justheuristic
|
b7ed72c4d6
default to fifo
|
vor 3 Jahren |
|
justheuristic
|
09d5533326
Merge branch 'priority-tasks' of github.com:bigscience-workshop/petals into priority-tasks
|
vor 3 Jahren |
|
justheuristic
|
64a2a24911
default to fifo
|
vor 3 Jahren |
|
Pavel Samygin
|
0253ea7c73
Merge branch 'main' into priority-tasks
|
vor 3 Jahren |
|
Pavel Samygin
|
0c6350da17
intermediate changes
|
vor 3 Jahren |
 Artem Chumachenko
|
ada98a1b37
Add deep prompt inference (#66)
|
vor 3 Jahren |
|
justheuristic
|
a9f9133175
Merge branch 'main' into priority-tasks
|
vor 3 Jahren |
|
justheuristic
|
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)
|
vor 3 Jahren |
|
justheuristic
|
f12d0deee9
[quickfix 1/n] remove expensive assertions in inference code (#48)
|
vor 3 Jahren |
|
Pavel Samygin
|
45caeefb0d
fix renaming missprint
|
vor 3 Jahren |
|
Pavel Samygin
|
170a57aca6
simple dirty dust points system
|
vor 3 Jahren |
|
Pavel Samygin
|
1117867815
priority in handlers and backend pools
|
vor 3 Jahren |
 Dmitry Baranchuk
|
04a2b6f5e3
Support various backend dtypes & async serialization (#38)
|
vor 3 Jahren |
|
Artem Chumachenko
|
d989b94614
Pack of Inference Changes (#37)
|
vor 3 Jahren |
|
justheuristic
|
4ad845bce3
black-isort
|
vor 3 Jahren |
|
justheuristic
|
3f42b3fb8d
run inference with no grad
|
vor 3 Jahren |
|
justheuristic
|
83cd4412a1
black-isort
|
vor 3 Jahren |
|
justheuristic
|
5d8f7be546
causal mask by default
|
vor 3 Jahren |
|
justheuristic
|
1ab5fb1630
fetch a specific bloom block without downloading the entire model
|
vor 3 Jahren |
|
justheuristic
|
15d0ea7129
fix black
|
vor 3 Jahren |
|
justheuristic
|
e8241d2915
black everything
|
vor 3 Jahren |
|
justheuristic
|
3b9351de1c
isort
|
vor 3 Jahren |
|
justheuristic
|
ed468af8d6
leave a todo for attention mask
|
vor 3 Jahren |
|
justheuristic
|
33358bc52b
rpc_inference works
|
vor 3 Jahren |
|
justheuristic
|
a00ec56ade
basic multi-step inference session
|
vor 3 Jahren |
|
justheuristic
|
c4d508c00e
remove some unnecessary debugprints
|
vor 3 Jahren |
