 justheuristic
|
e41d8933fb
Merge branch 'main' into cache
|
2 ani în urmă |
|
justheuristic
|
79a1475e62
Merge branch 'cache' of github.com:bigscience-workshop/petals into cache
|
2 ani în urmă |
 Aleksandr Borzunov
|
a1ca926ca5
review
|
2 ani în urmă |
|
justheuristic
|
8a0c056929
Fix calling rpc_info multiple times (#60)
|
2 ani în urmă |
|
Aleksandr Borzunov
|
d5d52cd7b2
review
|
2 ani în urmă |
|
justheuristic
|
0f9d60badb
Update src/server/cache.py
|
2 ani în urmă |
|
justheuristic
|
356735e4aa
Update src/server/cache.py
|
2 ani în urmă |
 Artem Chumachenko
|
ada98a1b37
Add deep prompt inference (#66)
|
2 ani în urmă |
 Alexander Borzunov
|
54ad745bed
Warn that current instructions involve 6B model but we will replace them soon (#63)
|
3 ani în urmă |
|
Alexander Borzunov
|
5f0c5329d4
Update readme with arxiv link and more discussions (#62)
|
3 ani în urmă |
|
Alexander Borzunov
|
9bea7b9ea8
Update bullet points with feedback from Tim and other people (#61)
|
3 ani în urmă |
|
Alexander Borzunov
|
7653562aa1
Use latest version of Petals scheme, shrink Petals logo (#59)
|
3 ani în urmă |
|
Alexander Borzunov
|
2eb5843852
Update readme for the 1st public release (#57)
|
3 ani în urmă |
 Pavel Samygin
|
0be21775af
remove transformer block, implement as sequential of size 1 (#54)
|
3 ani în urmă |
|
Artem Chumachenko
|
77220c718c
Add shallow prefix-tuned inference (#55)
|
3 ani în urmă |
|
justheuristic
|
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)
|
3 ani în urmă |
|
justheuristic
|
c8d22f8bbb
make attention cache wait until memory is freed
|
3 ani în urmă |
 Dmitry Baranchuk
|
948877149c
Fix recovering for sequential_backward (#50)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
24ba3433e4
[Fix] make distributed seq cls to not create the full bloom model (#49)
|
3 ani în urmă |
|
justheuristic
|
f12d0deee9
[quickfix 1/n] remove expensive assertions in inference code (#48)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
0fd2caa4be
Convert actual model weights (#46)
|
3 ani în urmă |
|
justheuristic
|
a2634001e9
Reduce vocabulary size in test model, fix bug in routing when overlapped (#45)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
5745882c67
fix rpc_forward_stream
|
3 ani în urmă |
|
Dmitry Baranchuk
|
6095f58681
Deep distributed prompt tuning (#42)
|
3 ani în urmă |
|
justheuristic
|
9460220a10
make pytest outputs more verbose (#44)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
c4aa1f49df
Rename 350m -> 560m (#43)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
11a424837f
integrate mixed-8bit model (#39)
|
3 ani în urmă |
|
Alexander Borzunov
|
7d39d46966
Use "PETALS" as the readme title (#40)
|
3 ani în urmă |
|
Dmitry Baranchuk
|
04a2b6f5e3
Support various backend dtypes & async serialization (#38)
|
3 ani în urmă |
|
Artem Chumachenko
|
d989b94614
Pack of Inference Changes (#37)
|
3 ani în urmă |
