Xiu
VS
熊正在加载页面…
XiuZon AI 评测社区 · 双熊对决中
返回 AI 创新列表
AI 创新开源项目 开源
vLLM
vLLM Community
高吞吐的大模型推理与服务引擎
访问项目项目介绍
用 PagedAttention 管理显存、连续批处理提升并发,单卡与多卡集群的生成吞吐都明显更高,提供 OpenAI 兼容服务端点、量化与张量并行,是线上大规模推理的常见选择。
推理引擎高吞吐服务端
熊正在加载页面…
XiuZon AI 评测社区 · 双熊对决中
vLLM Community
高吞吐的大模型推理与服务引擎
访问项目用 PagedAttention 管理显存、连续批处理提升并发,单卡与多卡集群的生成吞吐都明显更高,提供 OpenAI 兼容服务端点、量化与张量并行,是线上大规模推理的常见选择。