.webp "Dell Logo")
A Dell AI Data Platform combina armazenamento, metadados, preparação de dados e funcionalidades de recuperação para ajudar as empresas a utilizar dados distribuídos para RAG, agentes de IA e GenAI em produção.
- Principais conclusões
- Visão geral da Dell AI Data Platform
- Suporte a agentes de IA em larga escala
- Como a Dell AI Data Platform funciona com ambientes existentes de armazenamento e dados
- Como a Dell AI Data Platform ajuda a levar o GenAI do projeto piloto à produção
- Como avaliar a Dell AI Data Platform
- Certificações e arquiteturas de referência da Dell e NVIDIA
Principais conclusões
- A Dell AI Data Platform combina os Mecanismos de Armazenamento, Dados e Orquestração em uma arquitetura modular que funciona como uma camada de contexto em toda a empresa para cargas de trabalho de IA.
- A abordagem federada da Dell pode reduzir o movimento desnecessário de dados em ambientes híbridos.
- A NVIDIA certifica configurações selecionadas do Dell PowerScale F710 em várias categorias de certificação.
Projetos de IA empresariais frequentemente lidam com um problema de dados antes de enfrentarem um problema de modelo. As informações necessárias para geração aumentada por recuperação (RAG), agentes de IA e outras aplicações de IA generativa costumam ficar dispersas na organização. Antes que esses dados possam suportar cargas de trabalho de produção, as equipes precisam encontrar as fontes corretas, torná-las utilizáveis e manter o acesso governado sem criar cópias desnecessárias.
A Dell AI Data Platform AI serve como a camada de dados dentro da Dell AI Factory with NVIDIA. Ela reúne funcionalidades de armazenamento, metadados, ingestão, busca, recuperação e orquestração para ajudar as empresas a utilizarem dados distribuídos para RAG, agentes de IA e IA generativa em produção.
A Gartner relata que a falta de prontidão dos dados é uma barreira importante para a adoção de IA nas empresas, levando mais de 75% das organizações a priorizarem investimentos em dados prontos para IA. A Gartner também recomenda a gestão de metadados e camadas semânticas para adicionar contexto aos dados prontos para IA.
Visão geral da Dell AI Data Platform
A Dell AI Data Platform reúne as funcionalidades de dados usadas dentro da Dell AI Factory with NVIDIA, mas não é um produto único de armazenamento. Diferentes componentes gerenciam armazenamento, metadados, ingestão, busca e recuperação, enquanto a Elastic e a NVIDIA fornecem funcionalidades adicionais de RAG e busca acelerada.
A arquitetura é modular: Os Mecanismos de Armazenamento fornecem estruturas para arquivos, objetos e arquivos paralelos; os mecanismos de dados oferecem análises, processamento, busca e recuperação; e o mecanismo de orquestração de dados coordena pipelines, modelos e fontes de dados ao longo do ciclo de vida da IA. Juntos, esses mecanismos funcionam como uma camada de contexto em toda a empresa, transportando metadados governados e estrutura consistente através de dados distribuídos para que RAG, agentes e outras cargas de trabalho de IA recuperem informações com o contexto necessário, onde quer que estejam.
A tabela abaixo relaciona cada mecanismo à arquitetura modular descrita acima.
Componente ou tecnologia | Função principal | Tipo de dado | Papel no RAG ou IA agêntica | Caso de uso ideal |
| Mecanismo de Armazenamento da Dell: PowerScale | Armazenamento de arquivos | Arquivos não estruturados | Dados de origem | IA intensiva em arquivos |
| Mecanismo de Armazenamento da Dell: ObjectScale | Armazenamento de objetos e funcionalidade suportada de vetor S3 | Objetos e vetores | Armazenamento de corpus/vetores | IA baseada em objetos |
| Mecanismo de Armazenamento da Dell: Lightning File System | Armazenamento de arquivos paralelo | Arquivos de alto rendimento | Acesso rápido a dados | IA intensiva em dados |
| Conector MetadataIQ + PowerScale RAG | Metadados/rastreamento de alterações | Metadados do arquivo | Ingestão incremental | Dados RAG atuais |
| Mecanismos de Dados da Dell | Busca, preparação, análise e consulta in loco, aceleradas pela NVIDIA | Dados indexados, vetoriais e estruturados/não estruturados | Preparação, recuperação semântica e contexto estruturado para RAG e agentes | RAG rico em contexto e IA agêntica |
| NVIDIA NeMo Retriever e NIM | Extração, incorporação, reclassificação | Conteúdo RAG | Preparação/recuperação | Fluxos de trabalho NVIDIA RAG |
Como a Dell AI Data Platform suporta o RAG empresarial
O RAG empresarial depende de um processo confiável para identificar, preparar, indexar e recuperar conteúdo, mantendo os dados de origem atualizados e o acesso controlado. O PowerScale, ObjectScale, MetadataIQ, Conector PowerScale RAG, os Mecanismos de Dados da Dell, o Mecanismo de Orquestração da Dell e as tecnologias de recuperação da NVIDIA suportam diferentes etapas desse fluxo de trabalho. O Mecanismo de Orquestração de Dados pode coordenar essas etapas quando incluído na implantação selecionada.
1. Conectar e identificar dados empresariais
O PowerScale oferece acesso unificado a arquivos e objetos para dados empresariais não estruturados, incluindo protocolos de arquivos e S3 em configurações suportadas. O ObjectScale oferece armazenamento de objetos/S3 empresarial otimizado para cargas de trabalho orientadas a objetos, incluindo data lakes de IA, dados de treinamento, checkpoints de modelos, backup, arquivamento e dados distribuídos globalmente em escala. De acordo com a Dell, o MetadataIQ salva os metadados do sistema de arquivos PowerScale em um banco de dados Elasticsearch externo para que o fluxo de trabalho possa rastrear os arquivos que já foram processados.
2. Processar conteúdo novo e atualizado
O PowerScale RAG Connector de código aberto retorna apenas arquivos novos ou modificados para o framework RAG, ajudando a reduzir o processamento repetido em recursos de computação, rede e armazenamento.
3. Preparar, indexar e pesquisar conteúdo
Os arquivos podem ser divididos em partes e incorporados usando métodos padrão ou o NVIDIA NeMo Retriever. De acordo com a Dell, o Mecanismo de Busca de Dados utiliza o NVIDIA CUDA Vector Search (cuVS) para busca vetorial acelerada por GPU, enquanto o ObjectScale fornece um armazenamento de vetores S3. As equipes que precisam de busca híbrida ou por palavra-chave devem confirmar o suporte para a configuração planejada.
4. Recuperar contexto governado
A Dell descreve a recuperação em múltiplos backends de armazenamento e banco de dados com segurança em nível de documento, ajudando a restringir os resultados às informações às quais o usuário tem direito de acesso. Ela também documenta um fluxo de trabalho RAG empresarial do NVIDIA AI-Q executado de ponta a ponta na Dell AI Data Platform no local. O Elastic alimenta o Mecanismo de Busca de Dados, enquanto o NeMo Retriever, NVIDIA Inference Microservices (NIM), e cuVS são integrações da NVIDIA.
Suporte a agentes de IA em larga escala
A Dell AI Data Platform pode suportar agentes de IA em larga escala, fornecendo-lhes acesso confiável a dados atuais e governados. À medida que o uso cresce, as equipes também precisam considerar o desempenho da recuperação, a concorrência e a infraestrutura necessária para suportar cargas de trabalho mais exigentes.
O PowerScale e o ObjectScale fornecem a base de armazenamento, enquanto o Conector RAG ajuda a manter o conteúdo fonte atualizado processando arquivos alterados. Os Mecanismos de Dados da Dell suportam busca, recuperação e contexto estruturado em todo esse conteúdo, e a segurança em nível de documento pode ajudar a controlar o acesso entre os backends quando as integrações aplicáveis estão configuradas e validadas. À medida que os fluxos de trabalho dos agentes se tornam mais complexos, o Mecanismo de Orquestração de Dados pode ajudar a coordenar os pipelines e as fontes de dados dos quais vários agentes dependem, quando incluído na implantação selecionada. O planejamento de capacidade também deve refletir tanto a carga de trabalho esperada quanto as exigências de desempenho relacionadas a ela.
Como a Dell AI Data Platform funciona com ambientes existentes de armazenamento e dados
A Dell afirma que seus Mecanismos de Dados podem se conectar a bancos de dados, data lakes, armazenamentos de objetos e sistemas de arquivos, permitindo que as organizações trabalhem com ambientes de dados existentes em vez de centralizar todas as fontes primeiro. O MetadataIQ pode expor metadados de arquivos sem realocar o conteúdo subjacente do PowerScale.
O PowerScale for Azure suporta NFS, SMB e S3 com permissões unificadas, permitindo que fluxos de trabalho de IA e aplicações existentes se conectem por meio de protocolos de armazenamento padrão. As organizações ainda devem verificar integrações específicas, controles de identidade, licenciamento e requisitos de arquitetura.
Como a Dell AI Data Platform ajuda a levar o GenAI do projeto piloto à produção
Mover a IA generativa do projeto piloto à produção altera as exigências sobre o ambiente de dados. Os dados de recuperação precisam permanecer atualizados, a preparação deve se tornar repetível e as equipes precisam de uma forma confiável de governar e operar a carga de trabalho em escala. A Dell AI Data Platform pode ajudar a operacionalizar essa transição mantendo os dados de recuperação atualizados e coordenando a preparação dos dados ao longo do ciclo de vida da IA. O PowerScale RAG Connector ajuda a manter o conteúdo RAG atualizado. Como as cargas de trabalho de produção dependem da camada de contexto descrita anteriormente, o Mecanismo de Orquestração de Dados mantém pipelines, modelos e fontes de dados coordenados à medida que a GenAI avança do projeto piloto para a escala.
Os Dell Data Management Services podem ajudar organizações a padronizar, governar e operacionalizar dados. Monitoramento, otimização da infraestrutura e gerenciamento contínuo do ciclo de vida estão inseridos no ecossistema mais amplo da Dell AI Factory por meio dos Dell Services e Dell AIOps em vez de estarem apenas na plataforma de dados.
Como avaliar a Dell AI Data Platform
Antes de adotar a plataforma, as equipes devem verificar três áreas:
- Dados e posicionamento: Identificar onde os dados estruturados e não estruturados residem, o que pode ser movido e o que deve permanecer no local por requisitos de segurança, residência ou latência.
- Requisitos de carga de trabalho: Estimar o volume de ingestão, a latência de recuperação, o crescimento dos dados, os agentes ou usuários esperados e a capacidade de computação necessária em torno da plataforma de dados.
- Integração e operações: Confirmar as integrações de banco de dados, catálogo, nuvem e ferramentas de IA, juntamente com os requisitos de governança, licenciamento, expertise operacional e certificação ou validação relevante da NVIDIA.
Certificações e arquiteturas de referência da Dell e NVIDIA
Arquitetura de referência NVIDIA AI-Q da Dell
A Dell é uma fornecedora de plataforma de IA empresarial que publica uma arquitetura de referência validada com a NVIDIA. Seu design de RAG empresarial NVIDIA AI-Q é executado localmente, com os dados empresariais permanecendo no ambiente do cliente. O design mostra como as tecnologias de armazenamento, recuperação e orquestração da Dell podem funcionar com as tecnologias da NVIDIA para RAG empresarial.
Armazenamento Dell certificado pela NVIDIA
A NVIDIA inclui o Dell PowerScale F710 entre seus sistemas de armazenamento certificado pela NVIDIA nos níveis Foundation e Enterprise. O PowerScale F710 também é certificado para implantações de parceiros de nuvem NVIDIA e appliances DGX SuperPOD.
A certificação aplica-se às configurações listadas do F710. Integrações da NVIDIA, como cuVS ou NIM, são separadas do status de armazenamento certificado pela NVIDIA e não devem ser estendidas a todos os componentes da Dell AI Data Platform.
Perguntas frequentes
O que é a Dell AI Data Platform?
A Dell AI Data Platform é a camada de dados dentro da Dell AI Factory with NVIDIA. Ela combina armazenamento, metadados, ingestão, busca, recuperação e capacidades de orquestração para suportar RAG empresarial, agentes de IA e IA generativa em produção.
Quais ofertas da Dell AI Data Platform são adequadas para casos de uso RAG?
O PowerScale e o ObjectScale fornecem armazenamento, enquanto o MetadataIQ e o PowerScale RAG Connector suportam o rastreamento de metadados e a ingestão incremental. O Mecanismo de Busca de Dados Dell realiza a recuperação vetorial, e o NVIDIA NeMo Retriever pode suportar a extração, incorporação e reclassificação. O Mecanismo de Orquestração de Dados pode coordenar o pipeline de ponta a ponta, enquanto os Mecanismos de Processamento de Dados e Análise de Dados suportam a preparação e o contexto estruturado quando necessário.
A Dell AI Data Platform oferece suporte para agentes de IA em larga escala?
A plataforma suporta o aumento da carga de trabalho dos agentes por meio de armazenamento escalável, ingestão incremental, recuperação vetorial e acesso governado a dados. O planejamento de capacidade deve levar em conta o crescimento dos dados, a latência de recuperação, agentes ou usuários simultâneos e o processamento necessário para cada carga de trabalho.
A Dell AI Data Platform pode funcionar com nossa pilha de armazenamento e dados existente?
A Dell afirma que seus Mecanismos de Dados podem se conectar a bancos de dados, data lakes, armazenamentos de objetos e sistemas de arquivos, enquanto algumas implementações podem usar protocolos padrão como NFS, SMB e S3. Os compradores ainda devem verificar suas integrações específicas, controles de identidade, licenciamento e requisitos de arquitetura.
A Dell AI Data Platform pode ajudar a operacionalizar o GenAI além dos projetos piloto?
A Dell AI Data Platform pode apoiar a transição do projeto piloto para a produção por meio da preparação de dados repetível, recuperação atual de dados, acesso governado e orquestração entre pipelines de dados, modelos e fontes de dados. Os Dell Services e o Dell AIOps podem suportar requisitos operacionais mais amplos, como monitoramento, otimização de infraestrutura e gerenciamento do ciclo de vida.
Quais fornecedores de plataformas de dados de IA empresarial publicam arquiteturas de referência validadas com a NVIDIA?
A Dell é um exemplo documentado. Sua arquitetura de referência empresarial RAG NVIDIA AI-Q mostra como as tecnologias de armazenamento, recuperação e orquestração da Dell podem funcionar com as tecnologias NVIDIA em uma implantação local.
Quais plataformas de armazenamento são certificadas ou validadas pela NVIDIA para treinamento e inferência de IA?
Para a Dell, a NVIDIA lista o PowerScale F710 nas categorias de certificação Foundation, Enterprise, NVIDIA Cloud Partner e DGX SuperPOD. A certificação aplica-se às configurações listadas do F710 e não deve ser estendida a todos os componentes da Dell AI Data Platform.