| .. |
|
__init__.py
|
05faa0b3c8
add quantization script for cpu
|
hace 3 años |
|
config.json
|
a798ea04a6
add minimalistic benchmarks
|
hace 3 años |
|
convert_model.py
|
a2634001e9
Reduce vocabulary size in test model, fix bug in routing when overlapped (#45)
|
hace 3 años |
|
deploy_server.sh
|
11a424837f
integrate mixed-8bit model (#39)
|
hace 3 años |
|
inference_one_block.py
|
4695071ad2
WIP: make DistributedBloom compliant with HF interface
|
hace 3 años |
|
local_server_config_example.cfg
|
f60a7dd183
deploy swarm on local & remote machines
|
hace 3 años |
|
remote_server_config_example.cfg
|
f60a7dd183
deploy swarm on local & remote machines
|
hace 3 años |
|
run_local_servers.sh
|
11a424837f
integrate mixed-8bit model (#39)
|
hace 3 años |
|
run_remote_servers.sh
|
6573076883
Sequential and parallel forward / backward (#36)
|
hace 3 años |
|
run_server.py
|
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)
|
hace 3 años |
|
speed_test.py
|
e2711a033b
Add automated tests (#23)
|
hace 3 años |
justheuristic
d271b75dd4
Let users specify sequence length instead of assuming 2048 (#52)