Google DeepMind renforce son équipe pour sécuriser l'AGI

Google DeepMind renforce son équipe de sécurité pour l'AGI

Google DeepMind, la branche de recherche en intelligence artificielle de Google, est en pleine expansion de son équipe dédiée à la sécurité et à l'alignement de l'intelligence artificielle générale (AGI). Cette initiative est dirigée par Rohin Shah, un expert reconnu dans le domaine, qui s'efforce de minimiser les risques existentiels que pourraient poser les systèmes d'IA avancée. Shah partage ses idées et ses réflexions à travers un podcast populaire hébergé sur la plateforme 80 000 heures, où il discute des enjeux critiques liés à l'IA.

L'équipe de sécurité et d'alignement de l'AGI de Google DeepMind ne recherche pas un type de candidat particulier, mais plutôt des individus d'exception qui peuvent apporter une valeur ajoutée significative à l'équipe. Les postes ouverts sont variés, allant de l'ingénierie de recherche à la science pure, et l'équipe est flexible quant au lieu de travail. Cependant, il est noté que la plupart des membres actuels de l'équipe trouvent qu'ils sont plus productifs lorsqu'ils sont basés à San Francisco ou à Londres. Les candidats intéressés peuvent soumettre leur candidature pour des postes aux États-Unis ou au Royaume-Uni, après avoir consulté les conseils mis à disposition pour optimiser leur candidature.

De nombreux faits de base sur les raisons pour lesquelles l'équipe de sécurité et d'alignement de l'AGI est un bon endroit pour travailler et sur leur approche de la recherche n'ont pas beaucoup changé depuis un post de 2025. L'équipe se concentre particulièrement sur les risques de dommages plus graves provenant d'une IA plus avancée que le reste de Google DeepMind. Leur travail inclut l'alignement de l'AGI, la défense contre des déploiements mal alignés, et le soutien à la sécurité coordonnée. Un récapitulatif récent de leurs travaux met en lumière leur approche pratique, notamment dans les domaines de l'alignement profond et des tests de résistance, qui sont encore en pleine évolution. Ces domaines sont relativement nouveaux pour l'équipe et ont été développés en réponse à l'augmentation des capacités des systèmes d'IA.

Les présentations de cinq minutes lors de leur cours de sécurité de l'AGI offrent un aperçu de leur stratégie globale d'alignement et de leurs orientations de recherche. Ces présentations sont conçues pour donner aux participants une compréhension claire des défis et des solutions potentielles dans le domaine de la sécurité de l'AGI.

Une distinction claire par rapport à d'autres équipes de sécurité

L'équipe de sécurité technique de Google DeepMind se distingue par son approche unique par rapport à d'autres entreprises comme Anthropic et OpenAI. Elle se concentre sur plusieurs aspects clés qui la différencient :

• Facilitateurs techniques pour la gouvernance : La gouvernance de l'IA nécessite des solutions techniques adaptées, standardisées et robustes face aux abus potentiels. Google DeepMind anticipe ces besoins pour mieux soutenir la gouvernance. Cela implique de développer des outils et des méthodes qui peuvent être appliqués de manière cohérente à travers différentes entreprises d'IA.

• Préférence pour la connaissance plutôt que l'engagement : Plutôt que de s'engager dans des débats stériles, l'équipe cherche à produire des preuves tangibles pour résoudre les désaccords factuels et développer des techniques d'exécution. Cela signifie qu'ils mettent l'accent sur la recherche de la vérité et la compréhension des faits pour guider leurs actions.

• Concentration sur les systèmes futurs beaucoup plus capables : L'équipe se prépare pour des systèmes d'IA beaucoup plus capables, en se basant sur des arguments conceptuels concernant les capacités et les risques futurs. Ils estiment qu'une grande partie du travail actuel sur les systèmes d'IA ne sera pas applicable aux systèmes qui poseront des risques significatifs à l'avenir.

• Approche globale cohérente : Google DeepMind vise à intégrer ses travaux dans une approche globale, illustrée par des feuilles de route techniques détaillées comme "An Approach to Technical AGI Safety and Security". Ces documents servent de guide pour orienter leurs recherches et leurs efforts de développement.

Pour être clair, Google DeepMind ne prétend pas que ces aspects sont des biens non altérés. L'engagement est évidemment important dans certaines circonstances ; il serait mauvais que tout le monde se concentre uniquement sur la connaissance. Leur concentration sur les systèmes futurs les a probablement amenés à être en retard sur des opportunités d'impact avec les systèmes d'IA présents. Leur principale raison de rédiger cela est de sélectionner des candidats qui sont largement enthousiastes à propos de cette approche et qui s'intégreront probablement mieux dans l'équipe de sécurité et d'alignement de l'AGI.

Les raisons de rejoindre Google DeepMind

Travailler au sein de l'équipe de sécurité et d'alignement de l'AGI de Google DeepMind offre l'opportunité de contribuer à un travail d'impact majeur. L'équipe bénéficie d'un soutien significatif de la direction, avec un accès à des modèles de pointe et des ressources de calcul substantielles, permettant de mener des recherches de sécurité difficiles à réaliser ailleurs. Cette infrastructure de recherche avancée permet à l'équipe de repousser les limites de ce qui est possible en matière de sécurité de l'IA.

L'équipe est composée de membres talentueux, et ceux qui apprécient la recherche externe sont encouragés à entreprendre des projets de conseil. Cette ouverture permet de renforcer les capacités du domaine de la sécurité de l'AGI, avec de nombreux anciens élèves travaillant désormais dans des entreprises comme Anthropic, OpenAI et UK AISI. Cette diversité d'expérience enrichit l'équipe et contribue à une approche plus holistique de la sécurité de l'AGI.

La culture d'équipe est un autre atout majeur, favorisant la collaboration et l'écoute des objections, ce qui permet une coordination efficace autour d'une mission partagée. Les membres de l'équipe sont encouragés à exprimer leurs idées et à contribuer activement aux discussions, ce qui crée un environnement de travail dynamique et innovant.

Les membres de l'équipe qui apprécient la recherche externe sont encouragés à faire du conseil externe. Google DeepMind a souvent des idées de projets de recherche qui ne sont pas particulièrement avantagées par le fait d'être à l'intérieur d'un laboratoire de pointe, donc il peut simplement être préférable de les réaliser à l'extérieur. Ils considèrent également cela comme un investissement substantiel dans les capacités du domaine de la sécurité de l'AGI, et ils sont heureux de constater que de nombreux anciens élèves travaillent à plein temps dans la sécurité, certains chez Google DeepMind, mais aussi beaucoup chez Anthropic, OpenAI, UK AISI, et plus encore.

Enfin, bien que tout le monde le dise, la culture de l'équipe est réellement excellente. Les membres de l'équipe connaissent l'objectif du projet sur lequel ils travaillent ; tout membre de l'équipe peut soulever une objection et sera écouté. Les gens sont incroyablement serviables et généreux avec leur temps. Parce qu'ils partagent réellement une mission, ils peuvent se coordonner de manière que d'autres équipes ont du mal à faire.

Profil des candidats recherchés

Google DeepMind cherche à recruter des personnes exceptionnelles, capables de s'adapter à des rôles variés pour maximiser leur impact. Les candidats doivent partager une vision commune sur l'importance de l'AGI et les risques qu'elle pose, tout en étant autonomes et capables de travailler en équipe. L'alignement sur la mission est crucial, car il permet à l'équipe de travailler de manière cohérente et efficace vers des objectifs communs.

Bien que l'expérience en recherche ne soit pas obligatoire, une compétence en ingénierie est requise. L'accent est mis sur la productivité avec des agents de codage performants, et les entretiens d'ingénierie permettent l'utilisation de ces outils. Cela reflète l'importance de l'innovation technologique dans le travail de l'équipe.

En fin de compte, Google DeepMind veut recruter des personnes excellentes et adapter l'équipe pour leur permettre d'avoir le plus d'impact. Cela dit, ils pensent qu'ils veulent particulièrement :

• Alignement sur la mission : Ils accomplissent beaucoup de choses parce qu'ils sont sur la même longueur d'onde. Les personnes de l'équipe de sécurité et d'alignement de l'AGI adhèrent à l'idée que l'AGI pourrait arriver bientôt, qu'elle crée des risques sans précédent et potentiellement existentiels pour l'humanité, et qu'ils ont la responsabilité d'agir. Bien sûr, ils ne sont pas unanimes : il y a des désaccords significatifs au sein de l'équipe sur les détails et le meilleur plan.

• Autonomie : Ils apprécient les personnes proactives. Ils travaillent dans un domaine avec une grande incertitude et des compromis difficiles. Les personnes qui peuvent être à l'aise avec l'incertitude et faire les meilleurs choix avec les cartes qu'elles ont sont très précieuses pour eux. Ils doivent accomplir des tâches et exécuter rapidement.

• Travail d'équipe : Leur équipe fonctionne bien ensemble parce qu'ils s'apprécient et se respectent mutuellement, et parce qu'ils mettent les besoins de l'équipe en premier. Ils recherchent des personnes qui les aideront à continuer dans cette voie.

Vous n'avez pas nécessairement besoin d'être un chercheur expérimenté, ils ont certains rôles qui dépendent davantage des compétences en ingénierie. En tant que chercheur, vous devez cependant être un ingénieur assez compétent. Notez cependant qu'ils se soucient principalement de votre productivité avec des agents de codage performants. Tous leurs entretiens d'ingénierie permettent l'utilisation d'agents de codage (et ils s'attendent à ce que la plupart des personnes qui choisissent de ne pas utiliser d'agents de codage échouent).

Processus de recrutement

Les candidatures peuvent être soumises pour les États-Unis ou le Royaume-Uni, accompagnées d'une note expliquant pourquoi le candidat serait un bon choix et pourquoi il souhaite rejoindre l'équipe. Après une présélection des CV, un entretien initial est mené, suivi d'entretiens à distance pour un nombre restreint de candidats. Enfin, les candidats retenus passent des entretiens de mise en correspondance avec l'équipe. Le processus est conçu pour identifier les candidats qui non seulement possèdent les compétences techniques nécessaires, mais qui partagent également les valeurs et la vision de l'équipe.

Les personnes envoient leurs candidatures ici (pour les États-Unis) ou ici (pour le Royaume-Uni). Ils encouragent fortement à inclure une note expliquant en un paragraphe pourquoi vous seriez un bon choix et un paragraphe sur les raisons pour lesquelles vous souhaitez travailler avec eux. Utilisez un langage simple et direct. Les points de liste sont acceptables et même recommandés. Des raisons réelles obtiennent de bien meilleurs résultats que des discours corporatifs. Cela sera lu par une personne réelle, et c'est une personne qui sera triste face au jargon et aux phrases vides. Vous pouvez utiliser le champ "lettre de motivation" du formulaire pour télécharger cela.

Ils procèdent ensuite à une sélection des CV et des notes des candidats. Il est très utile que vous mettiez en avant dans votre CV des éléments qui parlent directement des choses qu'ils recherchent. Il peut être particulièrement difficile d'évaluer l'alignement sur la mission uniquement à partir des CV, donc si vous n'avez pas d'expérience professionnelle qui aborde clairement les risques extrêmes de l'ASI/AGI, il est très important d'expliquer pourquoi vous souhaitez vous réorienter vers cela.

Après la sélection des CV, il y a un entretien de présélection où ils vous interrogent sur quelques éléments qui comptent pour eux. Cet entretien est court et n'est pas conçu pour récompenser une pratique excessive. Il n'y a pas de questions de type leetcode.

Ensuite, un nombre relativement restreint de candidats passe un "entretien à distance" avec environ quatre entretiens sur divers sujets. Tous les entretiens d'ingénierie permettent une assistance illimitée d'agents.

Enfin, un très petit nombre de candidats est invité à une série d'entretiens de mise en correspondance avec l'équipe.

Ils travaillent dur pour réduire le temps total de ce processus, mais cela prend généralement au moins quelques mois du début à la fin.

Projets futurs de Google DeepMind

L'équipe prévoit de consacrer une part croissante de ses efforts à la mise en pratique de ses recherches, notamment à travers l'alignement profond et le contrôle. Les mesures de contrôle, en particulier, devraient devenir essentielles pour la sécurité dans un avenir proche. Jusqu'à présent, les recherches se sont concentrées sur la monitorabilité et la transparence, mais l'équipe prévoit d'élargir son champ d'action pour exploiter de nouvelles opportunités. Cette expansion des efforts de recherche reflète l'engagement de Google DeepMind à rester à la pointe de la sécurité de l'AGI et à anticiper les défis futurs.

Vous pouvez lire leur approche générale de la sécurité et de la sûreté de l'AGI. Ils l'ont rédigée il y a plus d'un an, mais elle n'a pas beaucoup changé dans ses grandes lignes. Ils prévoient qu'une fraction croissante de leurs efforts sera consacrée à la mise en pratique de leur recherche, principalement via l'alignement profond et le contrôle. Ils prévoient que leurs mesures de contrôle, en particulier, deviendront essentielles pour la sécurité dans un avenir proche.

Jusqu'à présent, la plupart de leurs recherches sur le contrôle se sont concentrées sur la monitorabilité de CoT et la préservation de la transparence de CoT. Ils pensent avoir exploité beaucoup des opportunités faciles dans ce domaine. À l'avenir, ils prévoient d'augmenter leur concentration sur l'ensemble des mesures de contrôle pour garantir la sécurité des systèmes d'IA avancée.