Garry Tan plaide pour la distillation autorisée par des labs US ouverts

Le patron de Y Combinator soutient que des laboratoires américains à poids ouverts puissent distiller des modèles de pointe américains avec un accès autorisé. Il avance que l'intelligence issue de données publiques devrait relever davantage du bien commun que de conditions d'utilisation restrictives. Cette position tranche avec les alertes d'Anthropic sur des distillations illicites par des acteurs chinois et son appel à un durcissement réglementaire.

Éviter un acteur unique sur l’IA de pointe, selon Garry Tan

Garry Tan considère comme un scénario apocalyptique que tout le pouvoir de l'IA de pointe soit concentré entre les mains d'une seule entreprise propriétaire. Il souhaite un équilibre entre laboratoires à poids ouverts et laboratoires de pointe. Selon lui, les laboratoires de pointe font avancer le secteur et doivent être financés pour assurer un modèle économique viable à long terme. Il estime aussi que les modèles à poids ouverts offrent davantage de liberté et d'accès aux utilisateurs.

Une distillation autorisée pour renforcer des options américaines

Garry Tan juge excessif que les laboratoires d'IA imposent à leurs clients des restrictions sur l'utilisation des informations issues de leurs modèles. Il estime que le gouvernement pourrait jouer un rôle pour faire de l'accès à l'intelligence entraînée sur des données publiques un bien public, plutôt qu'un service verrouillé par des conditions restrictives. Il rappelle que les laboratoires propriétaires n'ont pas demandé d'autorisation pour utiliser des connaissances humaines, y compris des contenus protégés par le droit d'auteur, lors de l'entraînement de leurs modèles. Il souhaite que de petits laboratoires américains à poids ouverts puissent utiliser les mêmes techniques d'entraînement sur les modèles américains de pointe, afin de proposer davantage d'options à poids ouverts américaines plutôt que chinoises.

La distillation est une méthode d’entraînement répandue

La distillation consiste à faire interroger un modèle par un autre pour qu'il apprenne son fonctionnement et son raisonnement. Cette méthode est couramment employée et considérée comme valide pour l’entraînement de nouveaux modèles. Cette semaine, Anthropic a rendu public un second rapport selon lequel des laboratoires chinois procéderaient à des attaques de distillation illégales, en masquant leur identité et en recourant à la fraude ainsi qu’à des identifiants dérobés pour réaliser des opérations de distillation non autorisées. Dario Amodei, PDG d’Anthropic, s’est déjà exprimé publiquement en faveur d’un durcissement de la réglementation américaine à l’encontre de la distillation.

Pas de vol d’identifiants et un cadre non répressif

Garry Tan précise qu'il n'encourage pas l'utilisation d'identifiants volés pour la distillation et souhaite que cela se fasse avec un accès autorisé. Il souhaite que les régulateurs américains n'interviennent pas sur la question de la distillation par des laboratoires chinois. Il a déclaré qu'il ne ferait rien et a évoqué la possibilité d'un régime américain de distillation. Garry Tan, qui s'est déjà décrit comme ayant une « psychose cybernétique » en tant qu'utilisateur passionné d'IA, porte cette position en tant que PDG de Y Combinator. Sa position contraste avec l'appel de Dario Amodei à une répression de la distillation.