标签:大模型推理

共 1 个站点

https://github.com/vllm-project/vllm

高性能大模型推理与服务引擎，PagedAttention 技术数倍提升吞吐量，生产环境部署主流方案。