Pourquoi le succès de l'IA repose sur les données plutôt que sur les modèles

Points clés à retenir

• Le succès de l'IA en entreprise dépend du niveau de préparation des données utilisées pour l'IA. Une architecture évolutive et des pipelines de données fiables sont notamment nécessaires.
• Les bases de données vectorielles permettent aux systèmes d'IA d'extraire des informations pertinentes à partir de gros volumes de données non structurées.
• La génération augmentée par récupération, également appelée RAG, améliore la précision en ancrant les résultats de l'IA dans les données d'entreprise.
• Les pipelines de stockage, de réseau et d'ingestion doivent être évolutifs pour répondre aux besoins des charges de travail d'IA modernes.
• Les organisations qui modernisent leur infrastructure de données peuvent déployer les applications d'IA plus rapidement et les exploiter de manière plus fiable.

Les organisations qui déploient l'IA générative se concentrent souvent sur la sélection des modèles et sur la capacité de calcul. Dans de nombreux cas, la véritable contrainte réside toutefois dans les données. Les systèmes d'IA dépendent de la fiabilité des pipelines, de l'évolutivité du stockage et d'ensembles de données bien organisés que les modèles peuvent récupérer lors de l'entraînement et de l'inférence.

Plus les volumes de données d'entreprise augmentent, plus la situation gagne en complexité. Une analyse de Forbes sur les tendances technologiques indique qu'environ 80 % des données nouvellement générées ne sont pas structurées et que ces données augmentent à un rythme d'environ 55 % par an, ce qui accroît la pression sur l'infrastructure des données. 

La mise en place de systèmes d'IA d'entreprise nécessite des architectures de données qui relient les sources de données opérationnelles aux plateformes analytiques et aux modèles d'IA. Les écosystèmes d'infrastructures intégrés, y compris Dell AI Factory with NVIDIA, combinent des technologies de calcul, de réseau et de stockage conçues pour prendre en charge les pipelines de données d'entreprise tout au long du cycle de vie de l'IA, de l'ingestion et de la curation des données à l'enrichissement, à l'entraînement des modèles et à l'inférence à grande échelle.

Optimisation des pipelines de données tout au long du cycle de vie de l'IA

Les pipelines de données représentent une contrainte majeure pour l'adoption de l'IA en entreprise. Bien que les organisations se concentrent souvent sur les modèles et le calcul, la capacité à ingérer, préparer et affiner en continu les données détermine l'efficacité des systèmes d'IA en production.

L'ingestion et la curation des données sont des défis permanents. Les données d'entreprise sont souvent fragmentées entre différents systèmes, leurs formats sont hétérogènes et elles sont difficiles à préparer à grande échelle. Si les pipelines ne sont pas coordonnés, les modèles d'IA peuvent fonctionner avec des données obsolètes, incomplètes ou de faible qualité, ce qui limite leur précision et leur fiabilité.

Les charges de travail d'IA modernes nécessitent des pipelines qui couvrent l'ensemble du cycle de vie :

• découverte et ingestion de données provenant des systèmes opérationnels
• préparation, nettoyage et transformation des données
• enrichissement des données et balisage des métadonnées
• orchestration entre les plateformes analytiques et les modèles d'IA
• mises à jour continues pour prendre en charge les données en temps réel et diffusées en continu

Bénéficier de pipelines capables de traiter les données en temps réel est de plus en plus crucial. Les organisations doivent traiter la diffusion en continu des données provenant des applications, des interactions avec les clients et des appareils connectés afin de garantir que les systèmes d'IA réagissent aux événements lorsqu'ils se produisent.

À l'échelle de l'entreprise, cela implique un transfert des données à haut débit et à faible latence dans des environnements distribués. Les pipelines doivent également prendre en charge la curation continue des données, afin que les ensembles de données restent précis, cohérents et utilisables au fil du temps.

Des pipelines de données bien pensés améliorent non seulement la vitesse, mais aussi la qualité des données. En validant les données d'entrée, en normalisant les formats et en assurant le respect de politiques de gouvernance tout au long du cycle de vie, les organisations peuvent s'assurer que les systèmes d'IA fonctionnent avec des informations fiables et à jour.

Plateforme de données pour les pipelines d'IA d'entreprise

Les systèmes d'IA d'entreprise nécessitent des architectures de données qui relient les sources de données opérationnelles aux plateformes analytiques et aux modèles d'IA. Les entrepôts de données traditionnels et les bases de données cloisonnées ne sont souvent pas capables de gérer ni l'échelle ni la vitesse requises pour les charges de travail d'IA modernes.

Les architectures de données conçues pour les charges de travail d'IA comprennent généralement :

• des systèmes d'ingestion de données qui collectent des informations provenant d'applications et de bases de données opérationnelles
• des couches de traitement des données qui nettoient et transforment les ensembles de données
• des plateformes de stockage qui gèrent les données structurées et non structurées
• des systèmes de récupération qui aident les modèles d'IA à localiser les informations pertinentes
• des cadres de gouvernance qui protègent les données sensibles de l'entreprise

Lorsque ces systèmes fonctionnent de concert, les organisations peuvent transférer efficacement les données vers les pipelines d'IA. Une étude de Dell Technologies indique que 95 % des organisations ont du mal à identifier, à préparer ou à utiliser les données pour les charges de travail d'IA et d'IA générative, soulignant ainsi le besoin d'une architecture de données moderne et de pipelines évolutifs.

Par exemple, la plateforme de données d'IA de Dell, qui fait partie de Dell AI Factory with NVIDIA, intègre le stockage, les moteurs de traitement des données et l'infrastructure conçus pour prendre en charge les pipelines de données d'entreprise dans des environnements hybrides.

Les architectures hybrides sont courantes dans les déploiements en entreprise. Par exemple, les données sensibles restent hébergées sur l'infrastructure interne tandis que des plateformes cloud fournissent une capacité de calcul et de stockage évolutive pour les charges de travail d'IA.

Gestion des bases de données vectorielles pour les systèmes d'IA d'entreprise

Les bases de données vectorielles sont devenues un maillon essentiel de l'architecture des données d'IA d'entreprise. Au lieu de stocker les informations en lignes et en colonnes, elles représentent les données sous forme de vecteurs numériques. Chaque vecteur représente la signification sémantique d'informations telles que des documents, des descriptions de produits ou des interactions avec les clients.

Cette structure permet aux applications d'effectuer des recherches de similarité plutôt que des correspondances exactes, aidant ainsi les systèmes d'IA à récupérer un contexte pertinent dans des grands ensembles de données. Une étude citée par IBM indique que l'adoption des bases de données vectorielles a augmenté de 377 % d'une année sur l'autre. Il s'agit de la croissance la plus rapide enregistrée parmi les technologies liées aux grands modèles de langage.

Les plateformes de bases de données vectorielles offrent généralement plusieurs fonctionnalités :

• un stockage pour les plongements vectoriels de haute dimension
• des algorithmes de recherche de similarité pour la récupération sémantique
• des systèmes d'indexation optimisés pour des performances de requête rapides
• une infrastructure distribuée qui prend en charge de grands ensembles de données

Des technologies telles que pgvector et Milvus permettent aux organisations d'intégrer la recherche vectorielle dans les plateformes de données existantes et de gérer des millions, voire des milliards, de plongements vectoriels.

Les bases de données vectorielles prennent également en charge des applications allant au-delà de l'IA générative, notamment les systèmes de recommandation, la détection des fraudes et la recherche sémantique.

Infrastructure prenant en charge la génération augmentée par récupération

La génération augmentée par récupération, communément appelée RAG, relie les grands modèles de langage aux données d'entreprise. Au lieu de n'exploiter que les informations issues de l'entraînement des modèles, les systèmes RAG récupèrent les documents pertinents lors de l'inférence et les utilisent comme contexte.

Un flux de travail typique comprend :

1. la fragmentation des ensembles de données en segments plus petits
2. la conversion des segments en plongements vectoriels
3. le stockage des plongements dans une base de données vectorielle
4. la conversion des requêtes utilisateur en plongements vectoriels
5. la récupération des vecteurs les plus pertinents comme contexte pour les modèles

Comparé à la seule utilisation des données d'entraînement d'un modèle, l'ancrage des réponses dans les connaissances de l'entreprise améliore la précision. La prise en charge de la RAG nécessite une infrastructure capable d'effectuer une récupération vectorielle à haute vitesse, un stockage distribué et des plateformes de calcul qui offrent des réponses à faible latence.

Sécurisation des pipelines de données d'IA d'entreprise

La sécurité demeure une préoccupation majeure pour les organisations déployant des systèmes d'IA d'entreprise. Les applications d'IA traitent souvent des données confidentielles, des dossiers clients ou des informations réglementées, ce qui renforce l'importance d'une gouvernance et d'une protection des données robustes.

Un sondage Technology Pulse Poll d'Ernst & Young révèle que 49 % des dirigeants du secteur technologique identifient les violations de la confidentialité et de la sécurité des données comme leur principale préoccupation lors du déploiement d'une IA agentique. Cela souligne les risques croissants associés aux déploiements d'IA à grande échelle.

Par conséquent, les organisations doivent sécuriser l'intégralité du pipeline de données de l'IA.

Les mesures de sécurité comprennent généralement :

• des politiques d'accès basé sur les rôles qui restreignent l'accès aux données
• le chiffrement des données stockées sur disque et transmises sur les réseaux
• la surveillance et la journalisation des audits pour suivre l'accès aux données
• des politiques de gouvernance définissant comment les données peuvent être utilisées par les systèmes d'IA

Les stratégies de déploiement hybrides peuvent également contribuer aux objectifs de sécurité. Les ensembles de données sensibles peuvent rester hébergés sur l'infrastructure interne tandis que des plateformes cloud fournissent des ressources de calcul évolutives pour les charges de travail d'entraînement et d'inférence.

Les outils de surveillance jouent également un rôle clé dans les environnements de données d'IA. Les plateformes d'observabilité suivent la latence des pipelines, les indicateurs de qualité des données et l'utilisation de l'infrastructure entre les différents systèmes d'IA. Ces outils aident les organisations à détecter les défaillances des pipelines, à identifier les problèmes de latence et à garantir que les modèles d'IA reçoivent des données précises et à jour.

Ensemble, ces mesures assurent la conformité réglementaire tout en permettant aux systèmes d'IA d'exploiter des données fiables et protégées.

Stratégies de stockage pour les grands modèles d'IA

Les charges de travail liées à l'IA génèrent de grands volumes de données qui doivent être stockées et récupérées rapidement. Les ensembles de données d'entraînement, les plongements vectoriels et les données d'inférence peuvent atteindre l'échelle du pétaoctet dans les environnements d'entreprise.

Pour gérer cette demande, les organisations déploient souvent des architectures de stockage à plusieurs niveaux, lesquels séparent le stockage haute performance pour les charges de travail actives des systèmes conçus pour la conservation à long terme.

Ces architectures combinent généralement :

• un stockage haute performance pour les charges de travail d'IA actives
• des plateformes de stockage d'objets pour les grands ensembles de données non structurées
• des systèmes de fichiers distribués évolutifs sur plusieurs serveurs

Les plateformes de stockage telles que Dell PowerScale et ObjectScale, utilisées dans l'architecture Dell AI Factory with NVIDIA, prennent en charge les grands ensembles de données d'IA et l'accès aux données à haut débit pour les charges de travail de récupération, d'inférence et d'entraînement des modèles.

La séparation des données fréquemment consultées et des ensembles de données archivées aide les organisations à équilibrer performance, évolutivité et coût au fur et à mesure que les charges de travail liées à l'IA augmentent.

La préparation des données comme fondement de l'IA d'entreprise

Les progrès réalisés dans le domaine des modèles d'IA ne sont certes pas négligeables, mais les résultats des entreprises dépendent toujours de l'infrastructure qui gère les pipelines, les systèmes de stockage et les plateformes de récupération des données. Une architecture de données fiable permet aux systèmes d'IA d'accéder à des informations précises à grande échelle.

Les organisations qui investissent dans la préparation des données pour l'IA déploient des applications d'IA plus rapidement et bénéficient d'une meilleure fiabilité des systèmes à mesure que les volumes de données augmentent. Des plateformes de données d'entreprise, des bases de données vectorielles et une infrastructure évolutive permettent aux environnements des organisations de transformer les données brutes en informations exploitables.

FAQ