L'IA face au défi des données web : une nouvelle infrastructure en jeu

L'IA et la nécessité d'une infrastructure de données web

L'intelligence artificielle (IA) connaît une croissance fulgurante, avec de nouvelles applications qui émergent quotidiennement. Pour exploiter pleinement le potentiel de cette technologie, les entreprises ont besoin d'accéder à des volumes massifs de données. Cependant, ces informations sont souvent inaccessibles ou non structurées, ce qui limite leur utilisation par les modèles d'IA.

Pour comprendre ce défi, il est essentiel de revenir aux fondements du web. Initialement, le web n'a pas été conçu pour permettre la découverte et la récupération automatisées que les applications d'IA modernes exigent. Pour surmonter cette limitation structurelle, une nouvelle infrastructure est nécessaire.

La prochaine avancée de l'IA pourrait reposer sur une nouvelle couche d'infrastructure de données web, permettant aux modèles de naviguer et de cartographier cet espace numérique en constante évolution. Cette couche doit être capable de traverser des centaines de millions de domaines web existants et de gérer les milliards de nouvelles URL créées chaque semaine, tout en fournissant des informations en temps réel et en surmontant les obstacles techniques.

Or Lenchner, PDG de Bright Data, une plateforme spécialisée dans la collecte de données web, souligne : « Les données montrent qu'il existe bien plus de données disponibles. Pensez à l'univers : il est là, mais vous ne savez pas ce que vous ne savez pas. »

Accéder à des données fraîches, pertinentes et fiables

Les premières avancées de l'IA ont été propulsées par l'augmentation des données d'entraînement et la taille des modèles. Aujourd'hui, les organisations se heurtent à un obstacle majeur : suivre la nature dynamique, non structurée et en constante évolution des données web pour fonder leurs résultats sur des informations actuelles et vérifiables. La performance de l'IA dépend désormais non seulement de l'architecture du modèle, mais aussi des capacités de calcul, de mise en réseau, de récupération et d'ingénierie des données du système. Cela signifie que le système doit être capable de récupérer rapidement et de manière fiable des données fraîches, pertinentes et fiables.

La formation traditionnelle des modèles repose sur des instantanés d'informations collectées à un moment donné. Cependant, former l'IA sur des données statiques n'est plus suffisant. Pour suivre les fluctuations telles que les prix des concurrents, le sentiment des consommateurs et les tendances du marché, les entreprises ont besoin d'un flux constant de nouvelles informations, extraites en temps réel avec le contexte pertinent. Leur infrastructure doit donc être capable de gérer des millions d'interactions simultanées à travers des sites web qui varient par géographie, langue, format et règles d'accès.

« Si elle ne peut pas récupérer des informations en temps réel, elle manque de contexte », explique Lenchner. « Dans un cadre commercial, cela n'est plus acceptable. Des réponses obsolètes entraînent de mauvaises décisions et des consommateurs déçus. »

La rapidité n'est pas seulement une question de commodité ; c'est une question de nécessité. Les organisations d'aujourd'hui opèrent dans des environnements où les prix, les stocks, les marchés, les menaces de sécurité et le comportement des clients changent en continu. Un retard dans la récupération des données peut réduire l'utilité d'un modèle par ailleurs sophistiqué.

Utiliser des données web en direct et de haute qualité peut également réduire les hallucinations de l'IA, car le modèle dispose d'une base de connaissances plus pertinente. Cela renforce la confiance des utilisateurs. En fait, une enquête a révélé que 56 % des praticiens de l'IA affirmaient que les entreprises ont besoin d'accéder à des données web en temps réel pour améliorer la confiance dans les résultats de l'IA. Pour garantir que le modèle fonctionne de manière efficace et efficiente, les informations doivent également être réduites aux éléments essentiels appropriés.

Malgré l'introduction de la génération augmentée par récupération (RAG), où les modèles intègrent des données externes au moment d'une requête, de nombreux systèmes d'IA ont encore du mal à fournir des résultats qui soient actuels, contextuellement pertinents et fiables dans des environnements opérationnels. Selon Gartner, 60 % des projets d'IA qui ne sont pas soutenus par des données prêtes pour l'IA—précises, structurées, organisées et contextualisées—seront abandonnés d'ici la fin de l'année.

Cela s'explique par le fait qu'une récupération à grande échelle ne résout pas le problème. Comme le dit Lenchner, « Vous devez récupérer des données à grande échelle, mais aussi en temps réel. La latence devient un problème à cause de l'utilisateur final qui attend la sortie. »

Les défis d'accès à des données fraîches et prêtes pour l'IA à grande échelle

Accéder à des données fraîches et prêtes pour l'IA à grande échelle introduit des défis techniques et structurels. En pratique, de nombreux systèmes d'entreprise combinent la récupération de données web publiques avec des API, des ensembles de données sous licence et des données internes propriétaires dans leurs applications d'IA. Intégrer ces sources fragmentées dans une couche de connaissances utilisable et en temps opportun nécessite des capacités spécialisées. Certaines recherches ont révélé que 97 % des organisations d'IA dépendent d'une infrastructure de données web en temps réel, mais 90 % se sentent enfermées par diverses restrictions. Les entreprises développent de plus en plus des approches techniques pour naviguer dans ces contraintes.

Lenchner fait cette métaphore : « Pensez au modèle entraîné comme à une intelligence et aux données pertinentes comme à des connaissances. Une couche d'intelligence puissante reposant sur une couche de connaissances creuse est comme un génie qui ne sait rien—inutile en pratique. L'intelligence et les connaissances doivent se rejoindre. »

La promesse d'une nouvelle infrastructure

Une nouvelle couche d'infrastructure de données web peut répondre à ce besoin croissant d'entrées d'IA plus solides en permettant la découverte de données, l'accès en temps réel et l'adaptation à un contexte spécifique. Comme le décrit Lenchner, « Tout tourne autour de la collecte de données à grande échelle, avec une latence super basse, sans être bloqué. »

Plutôt que de s'appuyer sur une puissance de calcul accrue, ce type de plateforme imite le comportement de navigation humain pour accéder au contenu disponible et transformer le code brut en flux de données structurées. Elle peut fonctionner avec des sites web qui pourraient ne pas interagir avec des outils de scraping traditionnels, tels que ceux lourds en JavaScript, ou avec des logiciels antibots agressifs.

Comme l'explique Lenchner, « Il s'agit essentiellement d'avoir une infrastructure capable de mimer un utilisateur web avec des informations d'identification—adresse IP, localisation, et 1 000 autres paramètres. Et à grande échelle. Pensez à faire cela 80 milliards de fois par jour pour des millions de sites web. Et chaque fois, vous apparaissez exactement comme le site web s'attend à ce que vous apparaissiez. »

Bien sûr, la récupération continue introduit de nouveaux défis en matière de gouvernance des données. Pour y faire face, les plateformes peuvent appliquer des protocoles de conformité stricts alignés sur les cadres de confidentialité mondiaux, tels que le Règlement général sur la protection des données (RGPD) de l'UE et la Loi californienne sur la protection de la vie privée des consommateurs (CCPA). Elles peuvent également être limitées à des informations publiques accessibles, évitant les paywalls ou les connexions privées. Tous les réseaux utilisés peuvent être vérifiés et basés sur le consentement, et des incitations peuvent être fournies aux propriétaires d'adresses IP. De cette manière, les systèmes peuvent être conçus pour se conformer à une réglementation de plus en plus stricte.

De telles capacités complexes ne sont pas faciles à mettre en œuvre. « Lorsque cela devient une infrastructure critique pour une entreprise », dit Lenchner, « le faire en interne devient un problème d'ingénierie à plein temps qui entre en concurrence avec le travail réel sur l'IA. » S'attaquer à cette complexité nécessite que les organisations s'engagent à investir des ressources significatives, ce qui pousse beaucoup à rechercher des plateformes spécialisées conçues spécifiquement pour la récupération de données, l'orchestration et l'observabilité.

Une infrastructure pour le monde réel

La récupération de données en temps réel change ce que les systèmes d'IA peuvent faire au sein des organisations. Par exemple, une entreprise de vente au détail peut utiliser des informations publiques pour activer un moteur de tarification dynamique, et des marques mondiales peuvent suivre les violations de marques déposées.

À mesure que l'écosystème mûrit, les organisations qui investissent dans cette couche émergente d'infrastructure de données seront mieux positionnées pour construire des systèmes d'IA plus réactifs, fiables et alignés sur les conditions du monde réel—des systèmes d'IA capables de s'adapter en continu en utilisant des données web actuelles. Au fil du temps, la distinction entre les modèles d'IA et l'infrastructure qui les alimente pourrait même commencer à disparaître.

Comme le dit Lenchner, « Le monde change. Et tout ce qui se passe dans le monde est téléchargé sur le web public. La quantité de nouvelles données générées est en croissance et s'accélère. »