Matériel
Choisir son matériel pour l'inférence LLM locale
VRAM, bande passante, mémoire unifiée : pourquoi le decode est limité par la mémoire et comment arbitrer entre GPU discret et iGPU à mémoire partagée.
Les Écrins depuis Briançon, éclairés par le ciel de l’instant · Relief : IGN LiDAR HD, Copernicus · Photographies aériennes : IGN, EOX · Voie lactée : ESO/S. Brunier · Étoiles : HYG
Matériel
VRAM, bande passante, mémoire unifiée : pourquoi le decode est limité par la mémoire et comment arbitrer entre GPU discret et iGPU à mémoire partagée.
Drivers
Comparatif des stacks GPU pour l'inférence LLM : CUDA, ROCm, Vulkan, Metal, et pourquoi Strix Halo passe par Vulkan.