Arquitetura da infraestrutura de IA

Se sua organização está construindo aplicativos de IA, você será responsável por arquitetar a infraestrutura de IA. Na semana passada, falamos sobre serviços aprimorados de IA, mas esses são serviços que usam IA para tornar um produto mais inteligente. Essas pessoas também estão criando ambientes para apoiar a construção de seus produtos aprimorados de IA. Se você não está familiarizado com o que é necessário para “construir IA”, este artigo é a cartilha para você.

Considerações para infraestrutura de IA

Eu escrevi este post (com meu colega Don Sullivan) sobre infraestrutura de aprendizado de máquina alguns anos atrás, quando trabalhei para a VMware. Obviamente, o aprendizado de máquina e o aprendizado profundo são componentes de um aplicativo de IA. Acho que para o pessoal de operações responsável pela infraestrutura de IA, é importante entender os componentes necessários. Claro, assim como em qualquer outra arquitetura, você deve entender como os aplicativos são projetados.

Esta imagem da postagem do blog mostra que os elementos arquitetônicos estão à esquerda e as responsabilidades dos cientistas de dados à direita. IA (e aprendizado de máquina ou aprendizado profundo) são aplicativos ou cargas de trabalho. O pessoal de operações entende as cargas de trabalho. Essas cargas de trabalho são diferentes daquelas a que estamos acostumados, porque os blocos de construção arquitetônicos também são diferentes. Isso é muito emocionante, porque o futuro está aqui agora! Pude ver isso como um delegado em Dia de Campo AI. Em adição ao Produtos aprimorados de IA Eu escrevi em meu post anterior, nós ouvimos de fornecedores de infraestrutura de IA.

Atualize seu vocabulário

Para entender a arquitetura da IA, você provavelmente precisará fazer um pouco de pesquisa sobre o vocabulário da IA. Por exemplo, BrainChip fabrica um sistema neural em um chip. Faz processamento neuromórfico - processamento baseado em evento que só é ativado depois que um evento especificado ocorre. Um caso de uso seria classificação de objeto em um ambiente Edge, talvez identificando placas ou mesmo pessoas.

Código aberto é uma escolha

RedHat tem código aberto coberto com seus apresentação em OpenShift. Claro, Ceph recebeu algumas menções. Este foi um tópico muito grande para cobrir, pois na maioria das vezes é com uma infraestrutura que pode ser usada para tantas coisas. Mas este slide mostra que o foco está nos clientes que desejam usar recursos de código aberto para construir sua infraestrutura de IA.

Infraestrutura de IA com tecnologia Intel

É difícil falar sobre infraestrutura de IA sem falar sobre fornecedores que fabricam os poderosos chips que tornam a IA possível. A Intel é um desses fornecedores, e este slide mostra a amplitude de como seus produtos podem ser usados ​​em uma infraestrutura de IA.

Uma coisa que achei interessante foi o da Intel iniciativa oneAPI. O objetivo é fazer com que qualquer arquitetura (GPU, CPU, FPGA, etc.) funcione com qualquer API. Isso impedirá o bloqueio com idiomas (por exemplo, CUDA). Acho que é uma ótima iniciativa e espero que a indústria a adote. Eles também têm uma plataforma de big data chamada Analytics Zoo, que você pode verificar. Também parece muito legal (link do github).

Eu também gostei Jason Dai's comentário: “Os cientistas de dados não querem pensar em um sistema distribuído”. Isso remete à ideia de que os algoritmos com os quais os cientistas de dados trabalham são apenas cargas de trabalho. Isso me ajudou a entender o papel que as pessoas de operações desempenham na IA. Criamos os melhores e mais eficientes algoritmos para essas cargas de trabalho. Para a maioria de nós, isso pode significar que precisamos gastar um pouco de tempo para entender os produtos dos fornecedores de infraestrutura de IA.

Computação com Big Memory

A MemVerge apresentação foi patrocinada pela Intel. A Memverge criou a tecnologia “Big Memory” que escala massivamente a DRAM e a memória persistente. Seu caso de uso realmente destaca como as arquiteturas estão mudando. Isso é do Site da MemVerge:

Vivemos na era dos dados. Impulsionado por IA, aprendizado de máquina, IOT e análise de big data, mais e mais dados estão sendo criados, e esses dados precisam ser processados ​​cada vez mais rápido. Os sistemas de armazenamento de hoje não conseguem acompanhar os requisitos de capacidade e desempenho da coleta e análise de dados em tempo real. … O advento das tecnologias de memória persistente está preparando o cenário para uma nova era de Big Memory Computing: uma era em que aplicativos de qualquer tamanho podem renunciar aos sistemas de armazenamento tradicionais em favor de grandes pools de memória persistente. O hardware por si só não é suficiente para inaugurar esta nova era. As inovações de software são necessárias para tornar o Big Memory de classe empresarial.

Portanto, temos o hardware para criar aplicativos de IA, mas precisamos de um software que ajude os aplicativos a interagir adequadamente com a infraestrutura. Essa apresentação foi muito boa, ouvir diretamente do fornecedor realmente ajuda a consolidar os conceitos.

Vast Innovates Storage Access

A apresentação da Vast Data também foi patrocinada pela Intel. eu gosto do jeito Vast Data descreve o problema de arquitetura de IA enfrentado pelo pessoal de operações tradicionais:

Os clientes precisam manter os servidores GPU alimentados com mais largura de banda do que um NAS pode oferecer, fazendo com que pensem que sistemas de arquivos paralelos complexos são a única resposta. Por outro lado, os acessos a arquivos são pequenos e de natureza aleatória, tornando a IA o caso de uso matador para armazenamento em flash - mas sistemas de arquivos paralelos e buffers de burst nunca foram projetados para fornecer acesso de leitura aleatória a petabytes de flash.

A Vast é uma das empresas que está desenvolvendo novos tipos de aplicativos (como IA). Depois de entender que um aplicativo de IA precisa de muita largura de banda para muitas e muitas leituras de acesso a arquivos pequenos e aleatórios, você começa a ver como o NAS e a SAN tradicionais simplesmente não serão capazes de lidar com as coisas. A Vast construiu uma plataforma que usa todas as interfaces de rede, mas distribui a carga pelas interfaces. Eles adicionaram suporte para failover de porta (que também contribuíram para o upstream) e usam RDMA. A Vast analisou o problema e sua solução neste vídeo.

Conversa real

Até muito recentemente, as únicas pessoas que construíam infraestruturas de IA eram administradores de sistemas que apoiam coisas como ciência de foguetes e pesquisa de DNA. Agora, há muitos fornecedores trabalhando no fornecimento de soluções que tornam os componentes arquitetônicos mais disponíveis para clientes corporativos.

Os aplicativos de IA são apenas cargas de trabalho, e as cargas de trabalho são executadas em arquiteturas. Acho que veremos uma necessidade real de pessoal de armazenamento e hardware para aprender e aprender todas as novas maneiras de construir uma infraestrutura distribuída que possa dar suporte a aplicativos de IA.