vLLM

このプロジェクトについて

PagedAttention で GPU メモリを管理し、連続バッチ処理で同時実行数を押し上げる。単一 GPU と複数 GPU クラスタのいずれでも生成スループットが明確に伸びる。OpenAI 互換のエンドポイント、量子化、テンソル並列にも対応し、本番の大規模推論で選ばれる代表格。