DeepSeek révolutionne l'IA avec un apprentissage autonome inédit

Le "Moment Aha" : Une Révélation dans l'Apprentissage de l'IA

Imaginez-vous face à une énigme complexe. Vous avancez dans une direction, réalisez qu'une contradiction surgit, et vous revenez sur vos pas pour explorer une nouvelle voie jusqu'à trouver la solution. Ce moment de compréhension soudaine, souvent appelé "Moment Aha", a été observé par les chercheurs chez DeepSeek lors de l'entraînement de leur modèle expérimental, DeepSeek-R1-Zero. Ce modèle, sans jamais avoir été exposé à des exemples écrits par des humains, a montré une capacité étonnante à résoudre des puzzles logiques complexes.

Pendant cet apprentissage par renforcement pur, le modèle a été confronté à des tâches telles que : "Résoudre un puzzle logique complexe". Le processus de réflexion du modèle a été fascinant : il a commencé par supposer que "X = 5" selon une règle, puis a détecté une contradiction avec une autre règle, l'amenant à réévaluer sa solution. Finalement, il a conclu que "X doit être 2". Ce qui est remarquable, c'est que le modèle a appris à s'arrêter, à identifier ses erreurs et à ajuster son approche, développant ainsi de véritables stratégies de résolution de problèmes sans être explicitement programmé pour le faire.

Une Nouvelle Approche de l'Enseignement : Notation sur une Courbe

Pour comprendre comment DeepSeek a atteint cette prouesse, il est utile de comparer deux méthodes d'enseignement distinctes. La méthode traditionnelle, connue sous le nom de PPO, implique l'utilisation d'un modèle critique qui surveille chaque étape de l'élève et prédit une note absolue. Cette approche nécessite une puissance de calcul considérable car elle fait fonctionner simultanément deux grands modèles d'IA.

En revanche, la méthode innovante de DeepSeek, appelée GRPO, adopte une approche différente. Au lieu de s'appuyer sur un modèle critique, elle soumet le même problème à un groupe de huit étudiants. Une fois les réponses fournies, elles sont comparées entre elles pour déterminer lesquelles sont correctes. Par exemple, si l'étudiant C surpasse la moyenne, sa méthode de raisonnement est récompensée. Cette comparaison intra-groupe permet à l'IA d'apprendre ce qui fonctionne le mieux sans nécessiter de ressources supplémentaires pour un modèle assistant.

Exploration Technique : Sous le Capot de DeepSeek

Pour les développeurs et les passionnés d'apprentissage automatique, il est crucial de comprendre comment l'architecture et le pipeline d'entraînement de DeepSeek fonctionnent. Le modèle DeepSeek-R1-Zero a démontré que des capacités de raisonnement pouvaient émerger par essai et erreur, bien que ses résultats initiaux aient été chaotiques.

• DeepSeek-R1-Zero : Ce modèle s'appuie sur un apprentissage par renforcement pur, sans exemples humains. Bien qu'il ait une forte capacité de raisonnement, ses sorties étaient souvent désordonnées, mélangeant fréquemment les langues et produisant un formatage difficile à lire.

• DeepSeek-R1 : Pour affiner ces capacités, DeepSeek a adopté une approche hybride en quatre phases, combinant des exemples humains avec l'apprentissage par renforcement. Le résultat est un modèle dont le raisonnement est non seulement puissant mais aussi structuré, avec des étapes claires et cohérentes.

Le Pipeline d'Entraînement en Quatre Phases

Pour améliorer le formatage tout en préservant l'intelligence brute du raisonnement, DeepSeek a mis en place un pipeline d'entraînement en quatre étapes :

• Démarrage à Froid : Le modèle de base est affiné avec un petit ensemble d'exemples de raisonnement très clairs pour lui apprendre à produire des sorties lisibles.

• Raisonnement RL : L'algorithme GRPO est appliqué à des tâches de logique, de mathématiques et de programmation, où la vérification automatique des réponses est possible.

• Échantillonnage de Rejet : Le modèle résout des milliers de problèmes, et seules les meilleures réponses sont conservées pour l'entraînement ultérieur.

• RL Diversifié : Le modèle est ajusté pour s'aligner sur les préférences humaines en matière de sécurité, de ton et de conversation générale.

GRPO : Calculer le Succès par les Statistiques de Groupe

Dans l'entraînement traditionnel de l'IA, un modèle critique évalue la qualité des réponses. GRPO élimine ce modèle supplémentaire en utilisant une approche plus simple : les Statistiques de Groupe. Au lieu de prédire des scores absolus, GRPO évalue la performance d'une réponse par rapport aux autres dans le groupe.

1. Calcul de l'Avantage du Groupe : GRPO mesure combien une réponse se distingue par rapport aux autres.

2. Règle de Perte d'Entraînement : Pour mettre à jour l'IA sans compromettre ses capacités, GRPO équilibre trois aspects essentiels...