dbt Labs : l'IA accélère, mais la fiabilité des données vacille

dbt Labs alerte sur la course à la vitesse au détriment de la fiabilité

Une étude récente menée par dbt Labs, un acteur clé dans le domaine de la fiabilité des données, met en lumière une tension croissante au sein des organisations modernes. Alors que l'intelligence artificielle est de plus en plus adoptée pour ses capacités à accélérer les processus, l'investissement dans la fiabilité et la gouvernance des données ne suit pas le même rythme. Cette situation soulève une question cruciale : en cherchant à gagner en rapidité, ne risquons-nous pas de créer une "usine à bugs" ultrarapide, sapant ainsi la confiance indispensable à toute décision stratégique à l'ère numérique ? Pour mieux comprendre ce paradoxe, nous avons consulté Benoît Perigaud, un expert en expérience développeur chez dbt Labs, afin de décrypter les implications profondes de cette course effrénée à la productivité.

L'IA : un outil à double tranchant pour la gestion des données

L'étude de dbt Labs met en lumière plusieurs dynamiques préoccupantes qui pourraient dessiner un avenir incertain si des mesures de contrôle ne sont pas rapidement mises en place. Le paradoxe majeur réside dans une quête de vitesse aveugle, au détriment de la fiabilité. Selon les résultats, 72 % des équipes utilisent l'IA pour coder plus rapidement, mais seulement 24 % l'emploient pour tester la fiabilité des données générées. Ce décalage crée un fossé inquiétant.

Benoît Perigaud souligne une nuance essentielle concernant ce chiffre : "Ces 24 % mesurent l'utilisation de l'IA spécifiquement pour des tâches d'observabilité et de gouvernance, et non le niveau réel de test des données produites. Ce n'est pas la même chose." Cette distinction est cruciale, car des frameworks comme dbt intègrent les tests directement dans le cycle de transformation des données. Ainsi, lorsque l'IA génère du code dans un tel environnement, la fiabilité est vérifiée dès la création, sans étape supplémentaire. Le véritable risque se concentre donc là où l'IA est utilisée sans cadre structurant ni garde-fous natifs.

L'étude révèle également que, bien que la confiance dans les données soit devenue la priorité stratégique numéro 1 pour 83 % des organisations, une augmentation de 17 points en un an, cette priorité ne se traduit pas toujours par des actions concrètes au quotidien.

L'hallucination de l'IA : un danger insidieux

L'IA, par sa capacité à "halluciner", peut devenir un puissant vecteur de désinformation. "On sait que l'IA a halluciné. L'IA aide à donner des réponses fausses. On va perdre la confiance autour de la data. La confiance va disparaître après la première hallucination." Le risque est tangible : 71 % des professionnels de la data craignent de transmettre des résultats erronés ou "hallucinés" aux décideurs, ce qui pourrait avoir des conséquences majeures pour les entreprises.

Cependant, lorsque l'IA est utilisée dans des pipelines de transformation où des tests robustes sont déjà en place, les risques sont atténués. Mais si elle est employée pour "chatter" sur les données afin d'obtenir des requêtes ad hoc, sans couche sémantique pour structurer les interrogations des LLM, le risque de "différentes réponses pour une seule question" augmente considérablement, sapant ainsi la crédibilité des insights.

Le coût de la fiabilité : une tension entre économie et gouvernance

Sur le plan économique, la situation est complexe. Les coûts d'infrastructure augmentent pour 57 % des répondants, tandis que les budgets des équipes stagnent. L'IA agit donc comme un "multiplicateur de la productivité", permettant de répondre à plus de questions avec le même nombre de personnes. Le défi est de s'assurer que cette dépense est "utile ou génère de la valeur".

De plus, un manque de clarté sur la propriété des données affecte 41 % des entreprises, ralentissant la vélocité et la réactivité des équipes data qui doivent identifier les responsables en cas de problème. Cette zone grise de la responsabilité devient un terreau fertile pour les erreurs non détectées.

L'évolution du rôle de l'expert data

Face à ces défis, le rôle des experts data évolue. Ils passent de "fabricants de code" à "concepteurs de systèmes". L'IA, excellente pour le développement de code, pousse les humains vers des tâches plus stratégiques. Cependant, "ce n'est pas un 'flic', mais un garant de la fiabilité de la donnée. L'IA va s'occuper de tout ce qui est automatisé." La formation doit désormais renforcer les soft skills. L'architecture, la compréhension métier, et la capacité à guider les LLM gagnent en importance.

La gouvernance ne doit plus être une option, mais une infrastructure de confiance. Elle doit s'intégrer a priori pour accélérer la productivité plutôt que la freiner. Pour les agents autonomes, dbt Labs insiste sur des principes forts. Chaque changement doit être traçable et testable, avec des efforts pour surveiller les transformations et permettre à l'IA de s'auto-réparer sous supervision.

Le conseil aux CTO : le contexte est crucial pour la fiabilité

Pour un CTO cherchant à maximiser la productivité via l'IA sans sacrifier la gouvernance, le message de Benoît est clair : "De plus en plus, on parle de 'contexte'. Plus on peut donner de contexte à l'IA, plus il s'en sort. Le meilleur conseil serait d'avoir un système qui permet de rendre le contexte disponible à l'IA et de le garder à jour. Ainsi, il va aider les entreprises."

La mise en place de semantic layers est cruciale pour fournir aux LLM une compréhension structurée des données et éviter les hallucinations.

Les deux futurs de l'entreprise Data-Driven

Le rapport de dbt Labs et les éclaircissements du staff developer dessinent deux futurs distincts pour l'entreprise "Data-Driven" de 2030.

• Celles qui ignoreront ces signaux d'alarme risquent de se retrouver avec "beaucoup de tables et de dashboards, mais des chiffres différents en fonction des dashboards", générant "plus de bruit qu'autre chose" et une érosion totale de la confiance.

La "confiance va disparaître" et avec elle, la capacité à prendre des décisions éclairées, transformant l'investissement IA en gouffre financier et stratégique.

• À l'inverse, les organisations qui investiront proactivement dans une "infrastructure de confiance" feront de la fiabilité des données un avantage concurrentiel majeur. Elles pourront répondre "avec une vitesse incomparable" aux questions complexes de demain. La confiance deviendra un avantage concurrentiel réel.

L'IA, loin de rendre la donnée obsolète, intensifie la nécessité d'une gouvernance rigoureuse et d'un rôle humain réinventé. Celui de garant de la fiabilité. La question n'est plus de savoir si l'IA va transformer nos entreprises, mais si nous serons capables de maîtriser cette transformation pour construire un futur où l'innovation rime avec certitude.