llama.cpp

Motore di inferenza per modelli linguistici e multimodali su computer e server.

Le istruzioni coprono l’uso di file di modello GGUF dalla riga di comando e l’avvio di un server locale. Le opzioni dipendono dal modello e dall’hardware disponibile.

Il sito è gestito da ggml-org · GGML.AI Ltd.