Je suis doctorant en IA, posez vos questions

Le 27 mai 2023 à 20:46:51 :
Tu fais quoi de la quantization, distillation etc pour compresser ?

Quand tu parles de quantization, tu veux dire précision (genre FP16, BF16, FP8 etc ...) ou tu parles des approches genre VQ VAE ?
Perso mon approche c'est RVQVAE + transformers dans l'espace des codes
J'ai déjà fait de la distillation pour des modèles diffusion aussi