Quelle IA peut tourner sur ma carte graphique ?

Le premier critère est la mémoire vidéo : le modèle doit y tenir entièrement pour fonctionner vite. Comptez environ 6 Go pour un modèle de 8 milliards de paramètres en 4 bits, 10 Go pour 14 milliards, 21 Go pour 32 milliards et 44 Go pour 70 milliards. Le second critère est la vitesse de la mémoire, qui fixe le nombre de mots générés par seconde.

Nous comptons environ 0,6 Go par milliard de paramètres en 4 bits, 1,1 Go en 8 bits et 2,1 Go en 16 bits, plus 1,5 Go pour le contexte (la conversation en cours). C'est une estimation : une conversation très longue ou un format de fichier différent peuvent demander un peu plus.

Nous partons de la vitesse mesurée de chaque carte dans le test communautaire llama.cpp (modèle Llama 2 7B en 4 bits). La génération de texte dépend surtout de la quantité de mémoire lue pour chaque mot : un modèle deux fois plus gros va donc environ deux fois moins vite. C'est un ordre de grandeur ; les cartes non mesurées n'ont pas d'estimation.

C'est la précision avec laquelle le modèle est stocké. En 4 bits, il prend quatre fois moins de place qu'en 16 bits et va plus vite, avec une perte de qualité généralement faible : c'est le format le plus utilisé en local. Le 8 bits est quasi identique à l'original, le 16 bits est le format d'origine.

Oui, des outils comme llama.cpp savent répartir un modèle sur plusieurs cartes, ce qui additionne leur mémoire. Ce calculateur raisonne carte par carte.