Je travaille aux Superintelligence Labs de Meta et j'étais auparavant chez OpenAI. Voici à quoi ressemble ce travail — et ce que j'ai appris.

Je travaille aux Superintelligence Labs de Meta et j'étais auparavant chez OpenAI. Voici à quoi ressemble ce travail — et ce que j'ai appris.

Prakhar Agarwal, chercheur aux Superintelligence Labs de Meta et anciennement chez OpenAI, partage son expérience au sein de ces laboratoires.

La dynamique quotidienne

Ma journée varie beaucoup en fonction de l'étape du projet et des livrables immédiats. Chez OpenAI et Meta, nous avons des jalons — par exemple, une grande session d'entraînement ou d'apprentissage par renforcement — qui s'étendent sur 10 mois. La pression monte à l'approche de la date limite.

Tout travail que j'identifie est toujours basé sur l'itération actuelle du modèle. Si je constate que le modèle n'est pas performant sur un point X et que ma solution aide à corriger ce point, cela repose sur cette version du modèle. Si je manque la date limite, je ne sais pas si la prochaine version rencontrera les mêmes problèmes.

Lorsque nous sommes éloignés de cette date limite, nous travaillons principalement sur des évaluations et tentons d'identifier des cas d'échec et des problèmes avec le modèle existant. Le travail est très dynamique. Parfois, on pense qu'une tâche est facile et qu'on peut la terminer en une journée. D'autres fois, c'est l'inverse — en raison des nombreuses inconnues, cela peut prendre une semaine.

Travailler dans des laboratoires de pointe

Ce qui nous limite dans ces laboratoires fondamentaux, c'est la capacité de calcul. Ce n'est pas comme dans les grandes entreprises technologiques où l'on peut embaucher beaucoup de personnes et leur attribuer de petites tâches.

Tout le monde a besoin de ressources de calcul pour avancer, et dès que vous avez beaucoup de personnes, la capacité de calcul est divisée, ce qui empêche quiconque de progresser.

Il est également crucial d'avoir une communication à haute bande passante entre les parties prenantes — il ne faut pas avoir 10 niveaux de communication différents. La vitesse d'itération est beaucoup plus rapide. Ces groupes de base ont tendance à être plus petits et plus soudés.

L'idée de "équipe" est également très fluide. Chaque personne a ses propres projets, mais collabore avec d'autres sur des projets communs. Chez Meta et OpenAI, il y a beaucoup de personnes expérimentées et peu de juniors, donc chacun a un champ de projet assez large.

Parfois, je collabore davantage avec des personnes en dehors de mon équipe immédiate qu'avec celles qui en font partie. Mon champ d'action n'est pas limité à quatre ou cinq personnes. Mon champ d'action est le problème que j'essaie de résoudre.

Communication et immersion dans le code

La communication est l'aspect le plus important dans ces laboratoires. Comme beaucoup de choses ne sont pas documentées, il est nécessaire de pouvoir articuler ce que vous faites, pourquoi vous le faites, quelles sont les prochaines étapes, transmettre vos résultats et obtenir des retours sur votre travail.

Devenir à l'aise avec le code et identifier les spécificités est l'une des compétences les plus importantes que j'ai observées. La vitesse à laquelle le code évolue est bien plus rapide que celle de la documentation. Si vous êtes bloqué sur quelque chose, lisez le code et essayez de le comprendre par vous-même.

Avoir une certaine compréhension de ce qui se passe dans différents domaines vous donne également une bonne vue d'ensemble des idées et des approches que les gens essaient. Comme tout est très lié, vous pourriez y apprendre quelque chose ou trouver des moyens de contribuer.

L'avantage des laboratoires : savoir ce qui ne fonctionne pas

Un article de recherche vous dit : "J'ai fait X, Y et Z dans cet ordre spécifique, et cela fonctionne." Mais ce que vous ne voyez pas, c'est qu'avant de faire X, Y et Z, j'ai essayé 50 choses différentes qui n'ont pas fonctionné — et les gens n'en parlent pas.

Pour moi, c'est la véritable force de ces laboratoires fondamentaux. Grâce à toute l'expérimentation et au travail déjà réalisé, les équipes ont développé de fortes intuitions. Elles savent quelles choses ne fonctionneront pas ou ne seront pas évolutives, et lesquelles fonctionneront bien.

Les personnes extérieures cherchent souvent les gains, mais elles manquent le fait que même les échecs sont très précieux.

Conseils pour ceux qui souhaitent travailler dans des laboratoires de pointe

Je n'ai pas de réponse claire pour gérer le burnout. Vous suivez simplement le courant. Vous travaillez à la pointe, et pour le dire simplement, si vous voulez être ici, vous ne pouvez pas penser à cela de manière stricte au jour le jour.

Ce que je dirais à mon moi plus jeune, c'est d'être à l'aise avec l'exploration de nouvelles avenues et de nouvelles idées. Ce que j'ai observé, c'est que nous essayons de jouer sur nos forces ou de rester dans un cadre déterministe où nous savons que nous allons bien nous en sortir. Mais dans ces domaines, la vitesse à laquelle les choses évoluent est si rapide que vous devez être capable de passer à un nouveau sujet.

Développez la capacité à gérer le fait d'être plongé dans quelque chose de complètement nouveau. Parfois, c'est plus psychologique qu'une question de compétence.