Référence
Aide-mémoire LLM : formats, quantification et commandes
La référence rapide pour l'inférence locale : formats, K-quants GGUF, calcul mémoire, paramètres de génération et flags llama.cpp, vLLM et Ollama.
Les Écrins depuis Briançon, éclairés par le ciel de l’instant · Relief : IGN LiDAR HD, Copernicus · Photographies aériennes : IGN, EOX · Voie lactée : ESO/S. Brunier · Étoiles : HYG
Référence
La référence rapide pour l'inférence locale : formats, K-quants GGUF, calcul mémoire, paramètres de génération et flags llama.cpp, vLLM et Ollama.
Paramètres
Temperature, top-p, top-k, pénalités : comment ces paramètres contrôlent la créativité et la cohérence des réponses d'un LLM.