Meta et OpenAI : immersion dans les laboratoires IA

Une carrière entre Meta et OpenAI

Prakhar Agarwal, chercheur aux Superintelligence Labs de Meta, partage son parcours unique qui l'a mené à travailler dans deux des laboratoires les plus influents dans le domaine de l'intelligence artificielle : Meta et OpenAI. Anciennement chez OpenAI, son expérience offre un aperçu rare des dynamiques et des défis rencontrés dans ces environnements de pointe.

Les défis quotidiens des laboratoires

Chaque journée de travail est différente, influencée par l'étape du projet en cours et les livrables à produire. Chez OpenAI et Meta, les projets sont jalonnés par des étapes clés, telles que des sessions d'entraînement ou des phases d'apprentissage par renforcement, qui peuvent s'étendre sur une période de dix mois. À mesure que la date limite approche, la pression augmente considérablement.

Le travail repose sur l'itération actuelle du modèle. Si un modèle présente des lacunes sur un point particulier et qu'une solution est trouvée, elle doit être appliquée avant la prochaine version. Passer à côté de cette échéance signifie que les mêmes problèmes pourraient ne pas se reproduire dans la version suivante, rendant la solution obsolète.

Lorsque les échéances sont encore éloignées, l'accent est mis sur l'évaluation des performances du modèle et l'identification des cas d'échec. Le travail est très dynamique : certaines tâches semblent simples mais se révèlent complexes, nécessitant parfois une semaine de travail en raison des nombreuses inconnues.

Ressources et collaboration dans les laboratoires

Dans ces laboratoires de recherche avancée, la principale contrainte est la capacité de calcul. Contrairement aux grandes entreprises technologiques où l'on peut facilement augmenter les effectifs, ici, chaque chercheur a besoin de ressources de calcul pour avancer. Une augmentation du nombre de chercheurs signifie une division de ces ressources, ralentissant ainsi le progrès de chacun.

Il est crucial d'avoir une communication à haute bande passante entre les parties prenantes. Elle doit être directe et sans intermédiaires pour maintenir une vitesse d'itération rapide. Les équipes sont souvent petites et soudées, favorisant une collaboration fluide. Chaque membre a ses propres projets mais collabore fréquemment avec d'autres sur des initiatives communes. Parfois, Prakhar collabore davantage avec des personnes en dehors de son équipe immédiate qu'avec celles qui en font partie. Chez Meta et OpenAI, les équipes sont principalement composées de chercheurs expérimentés, ce qui élargit le champ des projets individuels.

L'importance de la communication et du code

La communication est l'élément central dans ces laboratoires. De nombreuses informations ne sont pas documentées, rendant essentiel le fait de pouvoir expliquer clairement ses actions, les raisons sous-jacentes, et les prochaines étapes. Partager ses résultats et recevoir des retours est indispensable pour progresser.

La maîtrise du code est également cruciale. Le code évolue souvent plus rapidement que la documentation, ce qui nécessite une capacité à comprendre et à s'adapter rapidement. Une bonne compréhension des différents domaines permet d'avoir une vue d'ensemble des idées et des approches en cours, et de trouver des moyens de contribuer efficacement.

Apprendre des échecs

Un article de recherche met en avant ce qui fonctionne, mais il ne révèle pas les nombreuses tentatives infructueuses qui ont précédé. Avant de faire X, Y et Z, Prakhar a essayé 50 choses différentes qui n'ont pas fonctionné. Dans ces laboratoires, l'expérimentation est constante, et les échecs sont aussi instructifs que les succès. Les équipes développent ainsi une intuition forte sur ce qui est susceptible de fonctionner ou non.

Les observateurs extérieurs se concentrent souvent sur les réussites, mais ils sous-estiment la valeur des échecs, qui sont pourtant essentiels pour progresser.

Conseils pour les aspirants chercheurs

Gérer le burnout est complexe et ne se résout pas par une simple formule. Travailler à la pointe de la technologie implique de suivre le rythme effréné des innovations. Pour réussir, il est crucial d'être ouvert à l'exploration de nouvelles idées et de ne pas se limiter à ses compétences actuelles.

Il est important de développer la capacité à s'adapter à des sujets totalement nouveaux. Parfois, le défi est plus psychologique que technique, et il faut être prêt à embrasser l'inconnu pour avancer dans ces environnements en constante évolution.