Anton Sinitsin 02bbd85ed8 Added primitives for speculative decoding and tests (#598) преди 1 година
..
bootstrap.id 8c546d988a Test Llama, rebalancing, throughput eval, and all CLI scripts (#452) преди 2 години
conftest.py 668b736031 Fix logging: do not duplicate lines, enable colors in Colab (#156) преди 2 години
server2.id 8c546d988a Test Llama, rebalancing, throughput eval, and all CLI scripts (#452) преди 2 години
test_aux_functions.py 568f21dc3b Add customizable input tensors (#445) преди 2 години
test_block_exact_match.py 056f22515a Prioritize short inference, unmerge pools for long inference (#458) преди 2 години
test_cache.py 26ebbfe8f0 Support macOS (#477) преди 2 години
test_chained_calls.py d6f4f80f3f Fix Mixtral-related issues (#570) преди 1 година
test_dtype.py cb3f018f9f Add LLaMA support (#323) преди 2 години
test_full_model.py d6f4f80f3f Fix Mixtral-related issues (#570) преди 1 година
test_optimized_layers.py d6f4f80f3f Fix Mixtral-related issues (#570) преди 1 година
test_peft.py b9f0a5467f Support peft LoRA adapters (#335) преди 2 години
test_priority_pool.py 26ebbfe8f0 Support macOS (#477) преди 2 години
test_remote_sequential.py a26559ff65 Fix `.generate(input_ids=...)` (#485) преди 2 години
test_sequence_manager.py 8c546d988a Test Llama, rebalancing, throughput eval, and all CLI scripts (#452) преди 2 години
test_server_stats.py 8c546d988a Test Llama, rebalancing, throughput eval, and all CLI scripts (#452) преди 2 години
test_speculative_generation.py 02bbd85ed8 Added primitives for speculative decoding and tests (#598) преди 1 година
test_tensor_parallel.py 8c546d988a Test Llama, rebalancing, throughput eval, and all CLI scripts (#452) преди 2 години
test_utils.py b9f0a5467f Support peft LoRA adapters (#335) преди 2 години