高性能LLM推理引擎

vLLM 是业界领先的高吞吐 LLM 推理引擎，超7万 GitHub Star。采用 PagedAttention 等创新技术，支持 OpenAI 兼容 API，被广泛用于生产环境。