Architektur der KI-Infrastruktur

Wenn Ihre Organisation KI-Anwendungen erstellt, sind Sie für die Architektur der KI-Infrastruktur verantwortlich. Letzte Woche haben wir über AI-verbesserte Dienste gesprochen, aber dies sind Dienste, die AI verwenden, um ein Produkt intelligenter zu machen. Diese Leute bauen auch Umgebungen, um die Entwicklung ihrer AI-erweiterten Produkte zu unterstützen. Wenn Sie nicht wissen, was es braucht, um KI zu bauen, ist dieser Beitrag die Grundvoraussetzung für Sie.

Überlegungen zur AI-Infrastruktur

Ich habe diesen Beitrag geschrieben (mit meinem Kollegen Don Sullivan) Über Infrastruktur für maschinelles Lernen vor ein paar Jahren, als ich für VMware arbeitete. Natürlich sind maschinelles Lernen und tiefes Lernen Bestandteile einer KI-Anwendung. Ich denke, für die Betriebsmitarbeiter, die für die KI-Infrastruktur verantwortlich sind, ist es wichtig, die erforderlichen Komponenten zu verstehen. Natürlich müssen Sie wie bei jeder anderen Architektur verstehen, wie die Anwendungen gestaltet sind.

Dieses Bild aus dem Blog-Beitrag zeigt, dass sich die architektonischen Elemente links und die Verantwortlichkeiten der Datenwissenschaftler rechts befinden. KI (und maschinelles Lernen oder tiefes Lernen) sind Anwendungen oder Workloads. Operations-Mitarbeiter verstehen Workloads. Diese Workloads unterscheiden sich von denen, die wir gewohnt sind, und das liegt daran, dass auch die architektonischen Bausteine ​​unterschiedlich sind. Das ist ziemlich aufregend, denn die Zukunft ist jetzt da! Ich konnte dies als Delegierter sehen KI-Feldtag. In Ergänzung zu AI-verbesserte Produkte Ich habe in meinem vorherigen Beitrag darüber geschrieben, dass wir von AI Infrastructure-Anbietern gehört haben.

Aktualisieren Sie Ihren Wortschatz

Um die KI-Architektur zu verstehen, müssen Sie wahrscheinlich ein wenig über das Vokabular der KI recherchieren. Zum Beispiel, GehirnChip stellt ein neurales System auf einem Chip. Es tut neuromorphe Verarbeitung - ereignisbasierte Verarbeitung, die erst nach Eintreten eines bestimmten Ereignisses aktiviert wird. Ein Anwendungsfall wäre Objektklassifizierung in einer Edge-Umgebung möglicherweise Kennzeichen oder sogar Personen identifizieren.

Open Source ist eine Wahl

RedHat hat Open Source mit ihren abgedeckt Präsentation auf OpenShift. Natürlich bekam Ceph ein paar Erwähnungen. Dies war ein großes Thema, da es meistens eine Infrastruktur gibt, die für so viele Dinge verwendet werden kann. Diese Folie zeigt jedoch, dass ihr Fokus auf Kunden liegt, die Open Source-Ressourcen zum Aufbau ihrer KI-Infrastruktur verwenden möchten.

KI-Infrastruktur Unterstützt von Intel

Es ist schwer, über KI-Infrastruktur zu sprechen, ohne über Anbieter zu sprechen, die die leistungsstarken Chips herstellen, die KI ermöglichen. Intel ist einer dieser Anbieter, und diese Folie zeigt die Breite der Verwendung ihrer Produkte in einer KI-Infrastruktur.

Eine Sache, die ich interessant fand, war die von Intel oneAPI-Initiative. Das Ziel ist es, es so zu gestalten, dass jede Architektur (GPU, CPU, FPGA usw.) mit jeder API funktioniert. Dadurch wird verhindert, dass Sprachen (z. B. CUDA) gesperrt werden. Ich denke, dies ist eine großartige Initiative und hoffe, dass die Branche sie annimmt. Sie haben auch eine Big-Data-Plattform namens Analytics Zoo, die Sie überprüfen können. Es scheint auch ziemlich cool (Github Link).

Ich habe es auch genossen Jason Dai Kommentar: „Datenwissenschaftler wollen nicht an ein verteiltes System denken“. Dies geht auf die Idee zurück, dass die Algorithmen, mit denen Datenwissenschaftler arbeiten, nur Workloads sind. Das half mir zu verstehen, welche Rolle die Leute in der KI spielen. Wir erstellen die besten und leistungsfähigsten Algorithmen für diese Workloads. Für die meisten von uns bedeutet dies möglicherweise, dass wir ein wenig Zeit damit verbringen müssen, die Produkte der Anbieter von KI-Infrastrukturen zu verstehen.

Big Memory Computing

Das MemVerge Die Präsentation wurde von Intel gesponsert. Memverge hat die „Big Memory“ -Technologie entwickelt, die DRAM und Persistent Memory massiv skaliert. Ihr Anwendungsfall zeigt wirklich, wie sich Architekturen ändern. Dies ist aus dem MemVerge-Website:

Wir leben in einem Zeitalter der Daten. Angetrieben von KI, maschinellem Lernen, IOT und Big-Data-Analyse werden immer mehr Daten erstellt, und diese Daten müssen immer schneller verarbeitet werden. Die heutigen Speichersysteme können die Kapazitäts- und Leistungsanforderungen der Echtzeit-Datenerfassung und -Analyse nicht erfüllen. … Das Aufkommen von Persistent Memory-Technologien bereitet die Bühne für eine neue Ära des Big Memory Computing: Eine Ära, in der Anwendungen jeder Größe auf traditionelle Speichersysteme zugunsten großer Pools von Persistent Memory verzichten können. Hardware allein reicht nicht aus, um diese neue Ära einzuleiten. Software-Innovationen sind erforderlich, um Big Memory zur Enterprise-Klasse zu machen.

Wir haben also die Hardware, um KI-Anwendungen zu erstellen, aber wir benötigen Software, mit der die Anwendungen ordnungsgemäß mit der Infrastruktur interagieren können. Diese Präsentation war wirklich gutWenn Sie direkt vom Anbieter hören, können Sie die Konzepte wirklich festigen.

Vast innoviert den Speicherzugriff

Die Präsentation von Vast Data wurde ebenfalls von Intel gesponsert. Ich mag die Art und Weise Umfangreiche Daten beschreiben Das Problem der KI-Architektur, mit dem traditionelle Einsatzkräfte konfrontiert sind:

Kunden müssen dafür sorgen, dass GPU-Server mit mehr Bandbreite versorgt werden, als ein NAS bieten kann, sodass sie der Meinung sind, dass komplexe parallele Dateisysteme die einzige Antwort sind. Auf der anderen Seite sind Dateizugriffe klein und zufällig, was AI zum Killer-Anwendungsfall für Flash-Speicher macht. Parallele Dateisysteme und Burst-Puffer wurden jedoch nie für den zufälligen Lesezugriff auf Petabyte Flash entwickelt.

Vast ist eines der Unternehmen, die für die neuen Arten von Anwendungen (wie AI) bauen. Sobald Sie verstehen, dass eine AI-App viel Bandbreite für viele, viele kleine und zufällige Dateizugriffslesungen benötigt, werden Sie feststellen, dass herkömmliche NAS und SAN einfach nicht in der Lage sind, mit Dingen umzugehen. Vast hat eine Plattform erstellt, die alle Netzwerkschnittstellen verwendet, die Last jedoch auf die Schnittstellen verteilt. Sie fügten Unterstützung für Port-Failover hinzu (das sie auch vorgelagert beisteuerten) und verwendeten RDMA. In diesem Video ging Vast auf das Problem und seine Lösung ein.

Echtes Gespräch

Bis vor kurzem waren die einzigen Personen, die KI-Infrastrukturen aufbauten, Systemadministratoren, die Dinge wie Raketenwissenschaft und DNA-Forschung unterstützen. Mittlerweile arbeiten zahlreiche Anbieter an Lösungen, mit denen die Architekturkomponenten für Unternehmenskunden verfügbarer werden.

KI-Anwendungen sind nur Workloads, und Workloads werden auf Architekturen ausgeführt. Ich denke, wir werden einen echten Bedarf an Speicher- und Hardware-Mitarbeitern sehen, um alle neuen Möglichkeiten zum Aufbau einer verteilten Infrastruktur, die KI-Anwendungen unterstützen kann, zu erlernen.