llama.cpp

このプロジェクトについて

純 C/C++ で GGML の量子化と推論を実装。CUDA を入れなくても CPU で動作し、Apple Silicon では Metal、GPU では Vulkan / CUDA を使う。GGUF というモデル形式を定義し llama-server も同梱しており、大量のローカル展開手法がこの上に成り立っている。