Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Introduction de Flex et Priority dans l'API Gemini
L'API Gemini se dote de deux nouvelles options de service : Flex et Priority. Ces ajouts visent à offrir aux utilisateurs un contrôle plus précis sur les coûts et la fiabilité de leurs opérations, le tout à travers une interface unifiée et simplifiée.
Flex Inference : une solution économique
Le niveau Flex Inference est conçu pour réduire les coûts tout en acceptant une certaine latence. Il s'adresse aux charges de travail où le temps de réponse n'est pas critique, permettant ainsi des économies substantielles.
-
Réduction de 50 % des coûts : En optant pour Flex, les utilisateurs peuvent réduire de moitié le coût par rapport à l'API Standard. Cela est possible en acceptant une fiabilité moindre et une latence accrue.
-
Interface synchrone simplifiée : Contrairement à l'API Batch, Flex utilise une interface synchrone, éliminant la nécessité de gérer des fichiers d'entrée et de sortie ou de surveiller l'achèvement des tâches.
-
Applications idéales : Ce niveau est parfait pour les mises à jour CRM en arrière-plan, les simulations de recherche à grande échelle et les flux de travail où le modèle fonctionne en arrière-plan.
Pour commencer, il suffit de configurer le paramètre service_tier dans la demande. Le niveau Flex est disponible pour tous les niveaux payants et accessible via les demandes d'API GenerateContent et Interactions.
Priority Inference : fiabilité pour les applications critiques
Le niveau Priority Inference est conçu pour offrir une fiabilité maximale à un coût premium, garantissant que les demandes critiques ne soient pas interrompues, même en cas de forte utilisation de la plateforme.
-
Assurance de criticité maximale : Les demandes traitées en mode Priority bénéficient d'une fiabilité accrue, même pendant les pics de charge.
-
Gestion des dépassements : En cas de dépassement des limites de priorité, les demandes excédentaires sont automatiquement rétrogradées au niveau Standard, évitant ainsi les échecs et assurant la continuité des opérations.
-
Visibilité complète : L'API fournit des informations sur le niveau de service utilisé pour chaque demande, offrant ainsi une transparence totale sur les performances et la facturation.
-
Utilisations recommandées : Ce niveau est idéal pour les bots de support client en temps réel, les pipelines de modération de contenu en direct et les applications sensibles au temps.
Pour utiliser Priority Inference, il suffit de définir le paramètre service_tier en conséquence. Ce niveau est disponible pour les utilisateurs ayant des projets payants de niveau 2 ou 3 sur les points de terminaison de l'API GenerateContent et Interactions.
Pour plus de détails sur les tarifs et pour optimiser vos niveaux de production, consultez la documentation de l'API Gemini. Des exemples de code exécutables sont disponibles dans le livre de recettes pour vous aider à démarrer.
