🧠 AnalyseSociety📧 Substack · il y a 1 mois
«Lorsque les institutions sociétales sont codées comme des systèmes de règles portant des récompenses, le hacking des récompenses devient le hacking des règles sur lesquelles la société fonctionne, puisque un modèle récompensé à l'intérieur d'un système de règles apprend à rechercher l'écart entre la conformité technique et l'intention institutionnelle.»
Citation originale
When societal institutions are encoded as reward-bearing rule systems, reward hacking becomes hacking the rules society runs on, since a model rewarded inside a rule system learns to search the gap between technical compliance and institutional intent.
JC
Jack Clark
Co-founder · Anthropic · US