Je paye toujours ChatGPT, c'est toujours la meilleure IA

Le 30 avril 2024 à 02:32:15 :

Le 30 avril 2024 à 02:29:07 :
J'aime bien Claude 3 Opus. 20€ par mois pour Kagi qui offre quasiment toutes les APIs en illimité : GPT4, Claude 3, Mistral Large, Gemini Pro, et avec le moteur de recherche inclus.

Mais je paie toujours ChatGPT Plus pour m'aider en numpy.

Et sur mon Mac j'ai Mixtral 8x7B en local, c'est GPT 3.5 tier, mais bon, si la qualité est attendue, je passerai toujours par Internet pour pas compromettre.

Ah et faut que je teste Llama 3.

Le mistral la tu peux lui parler sans passer par internet ? ahiiii c'est pas des super gros fichier a trainer ?

Les poids/modèles de Mistral sont déjà dispo, pas besoin de train t'inquiète.

Mais oui ils sont lourds même en inférence. Tu peux "alléger" les poids (on appelle ça la quantization), en gros tu peux voir les modèles comme des grosses matrices de coffecients, et chaque quant "charcute" la précision de chaque coefficient, ce qui réduit le poids du modèle, mais aussi sa précision (on mesure ça en perplexité).

Pour du 8x7B Q4 il te faut au moins 24GB de VRAM (ou RAM mais lent).

Mais la plupart des gens peut faire tourner Mistral 7B ou Llama 3 8B en Q3/Q4 je pense oklm