Innovación en IAOpen Source Código abierto

llama.cpp

GGML Org

Ejecute la inferencia de modelos de lenguaje en cualquier máquina

Sobre este proyecto

Implementa la cuantización GGML y la inferencia en C/C++ puro: funciona en CPU sin instalar CUDA, usa Metal en Apple Silicon y Vulkan / CUDA en tarjetas de vídeo. El proyecto además define el formato de modelo GGUF e incluye llama-server, y muchos despliegues locales se construyen sobre él.

Motor de inferenciaCuantizaciónDespliegue local

Proyectos similares

Open Source

ComfyUI

Monta la generación de imágenes y vídeo en flujos de nodos

Open Source

Ollama

Ejecute modelos de lenguaje de código abierto en local con un comando

Open Source

vLLM

Motor de inferencia y servicio de alto rendimiento para modelos de lenguaje

Open Source

Firecrawl

API de rastreo web y datos estructurados pensada para AI

Xiu

Zon

Los osos están cargando la página…

Comunidad de reseñas de IA de XiuZon · dos osos batallando