Hochleistungs-Prozessoren für KI entwickelt

Jeder spricht über die neueste KI und die Leistungsfähigkeit neuronaler Netze und vergisst dabei, dass Software durch die Hardware, auf der sie läuft, begrenzt ist. Doch gerade die Hardware, sagt Joshua Yang, USC-Professor für Elektro- und Computertechnik, ist zum «Flaschenhals» geworden. Die neuen Forschungsarbeiten von Yang und seinen Mitarbeitern könnten dies nun ändern. Sie glauben, dass sie eine neue Art von Chip mit dem besten Speicher aller bisherigen Chips für Edge AI (AI in tragbaren Geräten) entwickelt haben.

In den letzten 30 Jahren verdoppelte sich die Grösse neuronaler Netze, die für KI- und Data-Science-Anwendungen benötigt werden, alle 3,5 Monate, während sich die für ihre Verarbeitung erforderliche Hardwarekapazität nur alle 3,5 Jahre verdoppelte. Laut Yang stellt die Hardware ein immer grösseres Problem dar, für das nur wenige Geduld aufbringen können.

Regierungen, Industrie und Hochschulen versuchen weltweit, dieses Hardwareproblem zu lösen. Einige arbeiten weiterhin an Hardware-Lösungen mit Siliziumchips, während andere mit neuen Arten von Materialien und Geräten experimentieren. Die Arbeit von Yang liegt in der Mitte - sie konzentriert sich auf die Nutzung und Kombination der Vorteile neuer Materialien und traditioneller Siliziumtechnologie, die umfangreiche KI- und datenwissenschaftliche Berechnungen unterstützen könnten.

Höchste Informationsdichte

Die neue Veröffentlichung der Forscher in Nature konzentriert sich auf das Verständnis der grundlegenden Physik, die zu einer drastischen Erhöhung der für KI-Hardware erforderlichen Speicherkapazität führt. Das von Yang geleitete Team hat zusammen mit Forschern der USC (einschliesslich der Gruppe von Han Wang), des MIT und der University of Massachusetts ein Protokoll für Geräte zur Verringerung des «Rauschens» entwickelt und die praktische Anwendbarkeit dieses Protokolls in integrierten Chips nachgewiesen. Diese Demonstration fand bei TetraMem statt, einem von Yang und seinen Co-Autoren (Miao Hu, Qiangfei Xia und Glenn Ge) mitbegründeten Startup-Unternehmen, das die KI-Beschleunigungstechnologie vermarkten will.

Laut Yang hat dieser neue Speicherchip die höchste Informationsdichte pro Gerät (11 Bit) unter allen bisher bekannten Speichertechnologien. Solche kleinen, aber leistungsstarken Bausteine könnten eine entscheidende Rolle dabei spielen, den Geräten in unseren Taschen unglaubliche Leistung zu verleihen. Die Chips sind nicht nur für den Speicher, sondern auch für den Prozessor zuständig. Millionen von ihnen in einem kleinen Chip, die parallel arbeiten, um Ihre KI-Aufgaben schnell auszuführen, könnten nur eine kleine Batterie zur Stromversorgung benötigen.

Die Chips, die Yang und seine Kollegen entwickeln, kombinieren Silizium mit Metalloxid-Memristoren, um leistungsfähige, aber wenig energieintensive Chips zu schaffen. Die Technik konzentriert sich darauf, die Positionen der Atome zur Darstellung von Informationen zu nutzen und nicht die Anzahl der Elektronen (die derzeitige Technik für Berechnungen auf Chips).




Die Positionen der Atome bieten eine kompakte und stabile Möglichkeit, mehr Informationen auf analoge statt auf digitale Weise zu speichern. Ausserdem können die Informationen dort verarbeitet werden, wo sie gespeichert sind, anstatt sie an einen der wenigen dedizierten «Prozessoren» zu schicken, wodurch der so genannte «von-Neumann-Engpass» in den derzeitigen Computersystemen beseitigt wird. Auf diese Weise, so Yang, ist die Datenverarbeitung für KI «energieeffizienter und hat einen höheren Durchsatz».

Wie es funktioniert

Yang erklärt, dass Elektronen, die in herkömmlichen Chips manipuliert werden, «leicht» sind. Diese Leichtigkeit führt dazu, dass sie sich leicht bewegen und flüchtiger sind. Anstatt den Speicher durch Elektronen zu speichern, speichern Yang und seine Mitarbeiter den Speicher in ganzen Atomen. Hier ist der Grund, warum dieser Speicher wichtig ist. Normalerweise, so Yang, ist der Informationsspeicher weg, wenn man einen Computer ausschaltet. Wenn man diesen Speicher jedoch für eine neue Berechnung benötigt und der Computer die Informationen erneut benötigt, hat man sowohl Zeit als auch Energie verloren.

Bei dieser neuen Methode, die sich auf die Aktivierung von Atomen statt von Elektronen konzentriert, wird keine Batterieleistung benötigt, um die gespeicherten Informationen zu erhalten. Ähnliche Szenarien treten bei KI-Berechnungen auf, wo ein stabiler Speicher mit hoher Informationsdichte entscheidend ist. Yang stellt sich vor, dass diese neue Technologie leistungsstarke KI-Fähigkeiten in Edge-Geräten wie Google Glasses ermöglichen könnte, die seiner Meinung nach bisher unter dem Problem des häufigen Aufladens litten.

Durch die Umstellung der Chips auf Atome anstelle von Elektronen werden die Chips ausserdem kleiner. Yang fügt hinzu, dass mit dieser neuen Methode mehr Rechenkapazität auf kleinerem Raum zur Verfügung steht. Ausserdem, so Yang, könnte diese Methode «viel mehr Speicherebenen bieten, um die Informationsdichte zu erhöhen».

Zum Vergleich: ChatGPT läuft derzeit in einer Cloud. Die neue Innovation, gefolgt von einer weiteren Entwicklung, könnte die Leistung einer Mini-Version von ChatGPT in das persönliche Gerät eines jeden Menschen bringen. Damit könnte diese leistungsstarke Technologie für alle möglichen Anwendungen erschwinglicher und zugänglicher werden.