OpenAI turns model compression into a talent hunt with its 16 MB "Parameter Golf" challenge

OpenAI transforme la compression de modèles en chasse de talents avec son défi "Parameter Golf" de 16 Mo

OpenAI met au défi les chercheurs de créer le meilleur modèle de langage en seulement 16 Mo et utilise cette compétition pour repérer des talents. Dans le cadre d'une compétition de recherche ouverte appelée "Parameter Golf", OpenAI demande aux développeurs de construire le meilleur modèle de langage possible sous des contraintes strictes : le poids et le code d'entraînement combinés doivent rester en dessous de 16 Mo, et l'entraînement ne peut pas dépasser dix minutes sur huit GPU H100. Les soumissions sont évaluées en fonction de la performance de compression par rapport à un ensemble de données fixe, le FineWeb.

OpenAI met en jeu un million de dollars en crédits de calcul grâce à son partenaire Runpod. Les meilleurs participants pourraient être invités à des entretiens d'embauche - l'entreprise prévoit d'embaucher un petit groupe de chercheurs juniors en juin, y compris des étudiants et des lauréats d'Olympiades. Le dépôt GitHub comprend des modèles de référence, des scripts d'évaluation et un classement public. Toute personne âgée de 18 ans ou plus dans les pays pris en charge peut participer jusqu'au 30 avril.

La compétition pour les talents en IA parmi les grandes entreprises technologiques est plus intense que jamais. Meta a à plusieurs reprises débauché des chercheurs de premier plan d'OpenAI, offrant dans certains cas des packages de compensation atteignant 300 millions de dollars.