Warum Daten – und nicht Modelle – über den Erfolg von KI entscheiden

Wichtigste Erkenntnisse

• Der Erfolg von Enterprise-KI hängt von der KI-Bereitschaft der Daten ab, für die auch eine skalierbare Architektur sowie zuverlässige Datenpipelines erforderlich sind.
• Mithilfe von Vektordatenbanken können KI-Systeme relevante Informationen aus großen unstrukturierten Datenvolumen abrufen.
• Die Retrieval-Augmented Generation (RAG) erhöht die Genauigkeit, weil die KI-Ausgaben auf Unternehmensdaten basieren.
• Speicher, Netzwerke und Aufnahmepipelines müssen skalierbar sein, um moderne KI-Workloads zu unterstützen.
• Unternehmen, die ihre Dateninfrastruktur modernisieren, können KI-Anwendungen schneller bereitstellen und zuverlässiger nutzen.

Bei der Bereitstellung von generativer KI konzentrieren sich Unternehmen häufig auf die Modellauswahl und die Rechenkapazität. In vielen Fällen sind jedoch die Daten das eigentliche Hindernis. KI-Systeme sind auf zuverlässige Pipelines, skalierbaren Speicher und gut strukturierte Datensätze angewiesen, auf die Modelle während des Trainings und der Inferenz zugreifen können.

Angesichts der ständig wachsenden Datenvolumen in Unternehmen wird die Herausforderung immer größer. Laut einer Forbes-Analyse der Technologietrends sind rund 80 % der neu generierten Daten unstrukturiert und das Datenvolumen nimmt um etwa 55 % pro Jahr zu – das erhöht den Druck auf die Dateninfrastruktur. 

Für den Aufbau von Enterprise-KI-Systemen sind Datenarchitekturen erforderlich, die operative Datenquellen mit Analyseplattformen und KI-Modellen verbinden. Integrierte Infrastrukturökosysteme wie Dell AI Factory with NVIDIA kombinieren Rechen-, Netzwerk- und Speichertechnologien, die zur Unterstützung von Datenpipelines in Unternehmen über den gesamten KI-Lebenszyklus entwickelt wurden – von der Aufnahme und Aufbereitung über die Anreicherung und das Modelltraining bis hin zur Inferenz in großem Maßstab.

Optimierung von Datenpipelines über den gesamten KI-Lebenszyklus

Datenpipelines stellen eine wesentliche Hürde für die Einführung von Enterprise-KI dar. Während sich Unternehmen oft auf Modelle und die Rechenleistung konzentrieren, hängt die Effektivität von KI-Systemen im Produktivbetrieb vor allem davon ab, wie gut Daten erfasst, aufbereitet und kontinuierlich optimiert werden.

Sowohl die Aufnahme als auch die Aufbereitung von Daten sind nach wie vor große Herausforderungen. Unternehmensdaten sind oft über verschiedene Systeme verteilt, weisen uneinheitliche Formate auf und lassen sich nur schwer in großem Umfang aufbereiten. Ohne koordinierte Datenpipelines arbeiten KI-Modelle möglicherweise mit veralteten, unvollständigen oder qualitativ minderwertigen Daten, was die Genauigkeit und Zuverlässigkeit einschränkt.

Moderne KI-Workloads benötigen Pipelines, die sich über den gesamten Lebenszyklus erstrecken, zu dem Folgendes gehört:

• Erkennung und Aufnahme von Daten aus operativen Systemen
• Aufbereitung, Bereinigung und Transformation von Daten
• Datenanreicherung und Metadaten-Tagging
• Orchestrierung über Analyseplattformen und KI-Modelle hinweg
• Kontinuierliche Aktualisierungen zur Unterstützung von Echtzeit- und Streamingdaten

Echtzeitfunktionen für Datenpipelines werden immer wichtiger. Unternehmen müssen Streamingdaten aus Anwendungen, Kundeninteraktionen und vernetzten Geräten verarbeiten, um sicherzustellen, dass KI-Systeme auf Ereignisse reagieren, sobald diese stattfinden.

Auf Unternehmensebene erfordert dies einen hohen Datendurchsatz und eine Datenübertragung mit geringer Latenz in verteilten Umgebungen. Pipelines müssen außerdem die kontinuierliche Datenaufbereitung unterstützen, damit gewährleistet ist, dass die Datensätze auch im Verlauf der Zeit korrekt, konsistent und nutzbar bleiben.

Gut konzipierte Datenpipelines erhöhen nicht nur die Geschwindigkeit, sondern auch die Datenqualität. Durch die Validierung von Eingaben, die Standardisierung von Formaten und die Aufrechterhaltung von Governance-Richtlinien während des gesamten Lebenszyklus können Unternehmen dafür sorgen, dass KI-Systeme mit vertrauenswürdigen und aktuellen Daten arbeiten.

Datenplattform für Enterprise-KI-Pipelines

Enterprise-KI-Systeme benötigen Datenarchitekturen, die operative Datenquellen mit Analyseplattformen und KI-Modellen verbinden. Herkömmliche Data Warehouses und isolierte Datenbanken bieten oft nicht die Skalierung oder Geschwindigkeit, die für moderne KI-Workloads erforderlich sind.

Für KI-Workloads entwickelte Datenarchitekturen umfassen in der Regel Folgendes: 

• Datenaufnahmesysteme, die Informationen aus Anwendungen und operativen Datenbanken sammeln
• Datenverarbeitungsschichten, die Datensätze bereinigen und transformieren
• Speicherplattformen, die strukturierte und unstrukturierte Daten verwalten
• Abrufsysteme, die KI-Modellen bei der Suche nach relevanten Informationen helfen
• Governance-Frameworks, die sensible Unternehmensdaten schützen

Wenn diese Systeme zusammenarbeiten, lassen sich Daten effizient in KI-Pipelines übertragen. Studien von Dell Technologies zeigen, dass 95 % der Unternehmen Schwierigkeiten haben, Daten für auf KI und generativer KI basierende Workloads zu identifizieren, aufzubereiten oder zu nutzen. Das unterstreicht, wie wichtig eine moderne Datenarchitektur und skalierbare Pipelines sind.

Die Dell AI Data Platform als Teil von Dell AI Factory with NVIDIA integriert beispielsweise Speicher, Datenverarbeitungs-Engines und eine Infrastruktur, die auf die Unterstützung von Enterprise-Datenpipelines in hybriden Umgebungen ausgelegt ist.

Hybridarchitekturen sind in Enterprise-Bereitstellungen weit verbreitet. Sensible Daten können in der internen Infrastruktur verbleiben, während Cloud-Plattformen skalierbare Rechen- und Speicherkapazität für KI-Workloads bereitstellen.

Verwaltung von Vektordatenbanken für Enterprise-KI-Systeme

Vektordatenbanken sind heute ein wichtiger Bestandteil der Enterprise-KI-Datenarchitektur. Statt Daten in Zeilen und Spalten zu speichern, werden Daten als numerische Vektoren dargestellt. Jeder Vektor bildet die semantische Bedeutung von Daten aus Dokumenten, Produktbeschreibungen oder Kundeninteraktionen ab.

Mit dieser Struktur können Anwendungen nach Ähnlichkeiten statt nach exakten Übereinstimmungen suchen, was KI-Systemen hilft, relevante Kontextinformationen aus großen Datensätzen abzurufen. Laut einer von IBM zitierten Studie stieg die Nutzung von Vektordatenbanken im Jahresvergleich um 377 % – das schnellste Wachstum, das bei Technologien im Zusammenhang mit großen Sprachmodellen je verzeichnet wurde.

Plattformen für Vektordatenbanken stellen in der Regel mehrere Funktionen bereit:

• Speicher für hochdimensionale Vektoreinbettungen
• Algorithmen für die Suche nach Ähnlichkeiten zur semantischen Abfrage
• Indexierungssysteme, die für schnelle Abfragen optimiert sind
• Verteilte Infrastruktur, die große Datensätze unterstützt

Technologien wie pgvector und Milvus ermöglichen es Unternehmen, die Vektorsuche in bestehende Datenplattformen zu integrieren und Millionen oder gar Milliarden von Einbettungen zu verwalten.

Zudem unterstützen Vektordatenbanken Anwendungen, die über die generative KI hinausgehen, etwa Empfehlungssysteme, Betrugserkennung und semantische Suche.

Infrastruktur zur Unterstützung von Retrieval-Augmented Generation

Retrieval-Augmented Generation oder kurz RAG verbindet große Sprachmodelle mit Unternehmensdaten. Anstatt sich ausschließlich auf Informationen aus dem Modelltraining zu verlassen, rufen RAG-Systeme während der Inferenz relevante Dokumente ab und nutzen diese als Kontext.

Ein typischer Workflow umfasst Folgendes:

1. Aufteilen von Datensätzen in kleinere Segmente
2. Konvertieren von Segmenten in Vektoreinbettungen
3. Speichern von Einbettungen in einer Vektordatenbank
4. Konvertieren von Nutzeranfragen in Einbettungen
5. Abrufen der relevantesten Vektoren als Modellkontext

Wenn die Antworten auf Unternehmenswissen basieren, führt dies zu einer höheren Genauigkeit als die ausschließliche Verwendung der Trainingsdaten eines Modells. Zur Unterstützung von RAG ist eine Infrastruktur erforderlich, die Vektoren mit hoher Geschwindigkeit abrufen, verteilten Speicher bereitstellen und Rechenplattformen nutzen kann, die Antworten mit geringer Latenz liefern.

Schutz von Enterprise-KI-Datenpipelines

Sicherheit bleibt ein wichtiges Anliegen für Unternehmen, die Enterprise-KI-Systeme bereitstellen. KI-Anwendungen verarbeiten häufig proprietäre Geschäftsdaten, Kundendatensätze oder regulierte Informationen, was die Bedeutung einer robusten Daten-Governance und eines wirksamen Datenschutzes erhöht.

Eine Ernst & Young Technology Pulse Poll-Umfrage ergab, dass sich 49 % der Führungskräfte im Technologiesektor bei der Bereitstellung von agentenbasierter KI am meisten um Datenschutz- und Sicherheitsverletzungen sorgen – das unterstreicht die steigenden Risiken bei groß angelegten KI-Bereitstellungen.

Daher müssen Unternehmen die gesamte KI-Datenpipeline schützen.

Sicherheitsmaßnahmen umfassen in der Regel Folgendes:

• Richtlinien für rollenbasierten Zugriff, die den Datenzugriff einschränken
• Verschlüsselung von Daten, die auf Festplatten gespeichert und über Netzwerke übertragen werden
• Überwachung und Auditprotokollierung zur Nachverfolgung des Datenzugriffs
• Governance-Richtlinien, die definieren, wie Daten von KI-Systemen genutzt werden können

Auch hybride Bereitstellungsstrategien können Sicherheitsziele unterstützen. Sensible Datensätze können in der internen Infrastruktur verbleiben, während Cloud-Plattformen skalierbare Rechenressourcen für Trainings- und Inferenz-Workloads bereitstellen.

Überwachungstools spielen ebenfalls eine wichtige Rolle in KI-Datenumgebungen. Observability-Plattformen überwachen die Latenz in der Pipeline, Kennzahlen für die Datenqualität und die Infrastrukturauslastung in KI-Systemen. Diese Tools helfen Unternehmen, Fehler in der Pipeline zu erkennen, Latenzprobleme zu identifizieren und sicherzustellen, dass KI-Modelle genaue und aktuelle Daten erhalten.

Gemeinsam sorgen diese Maßnahmen für regulatorische Compliance und gewährleisten gleichzeitig, dass KI-Systeme mit vertrauenswürdigen und geschützten Daten arbeiten.

Speicherstrategien für große KI-Modelle

KI-Workloads erzeugen große Datenmengen, die schnell gespeichert und abgerufen werden müssen. Trainingsdatensätze, Vektoreinbettungen und Inferenzdaten können in Unternehmensumgebungen auf viele Petabyte anwachsen.

Um dieser Anforderung gerecht zu werden, setzen Unternehmen häufig mehrstufige Speicherarchitekturen ein, die Hochleistungsspeicher für aktive Workloads von solchen Systemen trennen, die für eine langfristige Aufbewahrung vorgesehen sind.

Diese Architekturen vereinen in der Regel Folgendes:

• Hochleistungsspeicher für aktive KI-Workloads
• Objektspeicherplattformen für große unstrukturierte Datensätze
• Verteilte Dateisysteme, die über mehrere Server skaliert werden

Speicherplattformen wie Dell PowerScale und ObjectScale, die in der Dell AI Factory with NVIDIA-Architektur verwendet werden, unterstützen große KI-Datensätze und einen hohen Datendurchsatz für Workloads in den Bereichen Modelltraining, Inferenz und Datenabruf.

Die Trennung von häufig abgerufenen Daten und Archivdatensätzen hilft Unternehmen dabei, Leistung, Skalierbarkeit und Kosten im Zuge der Erweiterung von KI-Workloads in Einklang zu bringen.

Datenbereitschaft als Grundlage für Enterprise-KI

Fortschritte bei KI-Modellen sind wichtig, aber die Ergebnisse für Unternehmen hängen nach wie vor von der Infrastruktur ab, die Datenpipelines, Speichersysteme und Abrufplattformen verwaltet.  Mit einer zuverlässigen Datenarchitektur können KI-Systeme in großem Umfang auf präzise Informationen zugreifen.

Unternehmen mit Investitionen in die KI-Datenbereitschaft können KI-Anwendungen schneller bereitstellen und, bei zunehmendem Datenvolumen, von zuverlässigeren Systemen profitieren. Mit Enterprise-Datenplattformen, Vektordatenbanken und einer skalierbaren Infrastruktur können Unternehmensumgebungen Rohdaten in nutzbare Erkenntnisse umwandeln.

Häufig gestellte Fragen