vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。

暂无描述

暂无描述

vLLM是一个快速且易用的大语言模型推理与服务库，最初由加州大学伯克利分校开发，采用PagedAttention技术优化内存使用，支持高吞吐量、低延迟的推理，兼容Hugging Face模型格式，可轻松部署各类LLM，适用于科研和生产环境，显著提升大语言模型的服务效率。