Der Mythos der TOPS: Warum Edge AI vor allem Ingenieurskunst ist

Ein Optimist wird dir sagen, dass das Glas halb voll ist; der Pessimist, halb leer; und der Ingenieur wird dir sagen, dass das Glas doppelt so groß ist, wie es sein müsste - Oscar Wilde

Wenn man sich heute mit Edge-AI-Hardware beschäftigt, dauert es meist keine 30 Sekunden, bis einem die erste große Zahl begegnet: TOPS. 20 TOPS, 60 TOPS, 200 TOPS. Mehr klingt besser, quasi wie - Neu ist immer besser! Aber, ist mehr wirklich immer besser?

Ich halte das für eine der bequemsten und gleichzeitig irreführendsten Abkürzungen in der aktuellen AI-Debatte. Denn natürlich benötigt AI Rechenleistung. Ein System mit mehreren Kameras, Sprachverarbeitung und einem lokalen multimodalen Modell läuft nicht auf einem Taschenrechner. Aber die wirklich spannende Frage ist nicht, wie viele theoretische Rechenoperationen ein Chip schafft.

Die spannendere Frage lautet: Wie viel nützliche Intelligenz erzeugt ein System pro Watt, Euro und Millisekunde?

Und genau an diesem Punkt wird Edge AI interessant, aber Schritt für Schritt.

Was ist eigentlich Edge AI?
Edge AI ist ein Ausdruck für KI Modelle nicht in der Cloud, sondern auf lokaler Hardware laufen, dies kann der eigene Rechner sein, ein Raspberry PI, oder eine eigene Hardware welche extra hierfür gebaut wird.

Nicht alles gehört in die Cloud

Die Cloud ist fantastisch. Sie bietet nahezu beliebig skalierbare Rechenleistung, Zugriff auf große Modelle und die Möglichkeit, Wissen aus vielen Systemen zusammenzuführen. Für Training, Flottenanalysen oder Aufgaben, die sehr viel Kontext benötigen, bleibt sie unverzichtbar.

Trotzdem ergibt es wenig Sinn, jeden Kamerastream, jedes Audiosignal und jeden Messwert erst einmal in ein Rechenzentrum zu schicken, nur um dort festzustellen, dass 99 Prozent davon irrelevant waren. Ich meine kann man natürlich machen, ist halt nur nicht besonders klug.

Ein Fahrzeug muss nicht die Cloud fragen, ob gerade jemand das Aktivierungswort gesprochen hat. Eine Maschine sollte nicht auf eine Internetverbindung warten, bevor sie auf ungewöhnliche Vibrationen reagiert. Und eine medizinische Anwendung sollte sensible Rohdaten gar nicht erst übertragen, wenn die relevante Information bereits lokal extrahiert werden kann.

Ob eine Aufgabe auf der Edge oder in der Cloud ausgeführt wird, entscheidet sich deshalb nicht nur durch ihre vermeintliche Komplexität. Wichtiger sind Reaktionszeit, Bandbreite, Verfügbarkeit, Datenschutz (Privacy), Energiebedarf und die Kosten über den gesamten Lebenszyklus. Auch das NIST nennt Ressourcen-, Kommunikations-, Privacy- und Sicherheitsanforderungen als zentrale Herausforderungen von Edge AI.

Die Zukunft gehört daher weder ausschließlich der Cloud noch ausschließlich der Edge. Sie gehört intelligenten Hybridarchitekturen:

Die Edge verarbeitet, was unmittelbar, privat und kontextabhängig ist. Die Cloud übernimmt, was globale Informationen, große Modelle oder elastische Rechenleistung benötigt.

TOPS sind nicht nutzlos – aber nutzlos allein

TOPS beschreiben zunächst einmal, wie viele Billionen Rechenoperationen ein Prozessor theoretisch pro Sekunde ausführen kann. Das ist nicht falsch. Es ist nur ungefähr so aussagekräftig, wie die Höchstgeschwindigkeit eines Autos zu kennen, ohne etwas über Verbrauch, Bremsweg, Zuladung oder Fahrverhalten zu wissen.

In einem realen Edge-System zählen andere Fragen mindestens genauso stark:

• Wie hoch ist die Ende-zu-Ende-Latenz?
• Wie viel Energie benötigt eine Inferenz?
• Welche Leistung bleibt unter realen thermischen Bedingungen dauerhaft übrig?
• Reichen Speichergröße und Speicherbandbreite?
• Unterstützt die Hardware tatsächlich alle benötigten Modelloperationen?
• Wie gut funktionieren Compiler, Runtime, Debugging und Updates?
• Wie spielen CPU, GPU, NPU und Signalprozessor zusammen?
• Und bekommt das System die Daten überhaupt schnell und zuverlässig vom Sensor zum Modell?

Dass seriöse Benchmarks nicht einfach TOPS gegeneinanderstellen, ist kein Zufall. MLPerf Tiny bewertet Systeme beispielsweise anhand von Modellqualität, Latenz und Energie pro Inferenz. Denn ein Modell, das sehr schnell rechnet, aber nach kurzer Zeit die Batterie leert oder thermisch gedrosselt wird, ist im Produkt eben nicht besonders schnell.

Die beste Edge-AI-Hardware ist daher nicht automatisch der Chip mit dem größten Wert auf der Verpackung. Es ist die Plattform, die eine konkrete Aufgabe unter konkreten Randbedingungen zuverlässig löst.

Die eigentliche Arbeit beginnt vor dem Modell

In vielen AI-Demos sieht die Welt angenehm sauber aus: Ein definierter Datensatz geht in das Modell, eine Vorhersage kommt heraus, fertig.

Die physische Welt hält sich leider nur selten an diese Ordnung.

Sensoren rauschen. Kameras werden geblendet oder verschmutzt. Mikrofone nehmen mehrere Sprecher gleichzeitig auf. Daten kommen mit unterschiedlichen Zeitstempeln an. Hardware altert, Temperaturen ändern sich und Nutzer verhalten sich anders, als es der Testfall vorgesehen hat.

Deshalb entscheidet häufig bereits die Verarbeitung vor dem eigentlichen AI-Modell über Erfolg oder Misserfolg: Kalibrierung, Synchronisierung, Rauschfilterung, Auswahl relevanter Bildbereiche, Datenreduktion und intelligente Trigger.

Ein gutes System aktiviert nicht permanent das größte verfügbare Modell. Es arbeitet als Kaskade: Ein sehr sparsamer Always-on-Trigger erkennt ein mögliches Ereignis. Ein spezialisiertes lokales Modell prüft es genauer. Erst wenn nötig, wird ein leistungsfähigeres Modell gestartet oder die Cloud hinzugezogen.

Das klingt weniger spektakulär als der nächste große Foundation-Model-Release. In der Praxis ist es aber genau diese Orchestrierung, die aus einer Demo ein Produkt macht.

Der schwierigste Teil von Edge AI beginnt häufig dort, wo die Model-Demo endet.

Privacy ist kein Ort

Ein weiteres starkes Argument für Edge AI ist der Datenschutz. Wenn Rohdaten lokal verarbeitet, frühzeitig verworfen oder anonymisiert werden, müssen sie das Gerät gar nicht erst verlassen. Das ist Data Minimization nicht nur als juristische Forderung, sondern als technische Architektur.

Aber lokale Verarbeitung garantiert noch keinen Datenschutz.

Ein Edge-Gerät kann gestohlen, manipuliert oder kompromittiert werden. Sensible Daten können in Logs landen. Unsichere Updates können neue Schwachstellen öffnen. Und ein Gerät direkt an der Datenquelle ist für Angreifer unter Umständen besonders wertvoll.

Privacy entsteht deshalb nicht allein dadurch, dass ein Modell lokal läuft. Sie entsteht durch das Gesamtsystem: Secure Boot, Verschlüsselung, Zugriffskontrolle, signierte Updates, kurze Speicherfristen und eine klare Entscheidung darüber, welche Informationen das Gerät überhaupt verlassen dürfen. Oder kürzer gesagt:

Privacy ist kein Ort. Privacy ist eine Systemeigenschaft.

Wenn AI-Fehler plötzlich physisch werden

Bei Edge AI kommt noch etwas hinzu: Sie verbindet oftmals AI mit der realen Welt.

Eine falsche Zusammenfassung in der Cloud ist ärgerlich. Eine falsche Entscheidung in einem Fahrzeug, einer Maschine oder einem medizinischen Gerät kann reale Schäden verursachen. Deshalb reichen Accuracy und Geschwindigkeit nicht aus. Ein gutes System muss Unsicherheit erkennen, sichere Rückfallebenen besitzen, degradiert weiterarbeiten können und bei einem Ausfall in einen sicheren Zustand wechseln.

Und selbst nach dem erfolgreichen Deployment ist die Arbeit nicht beendet. Viele Edge-Produkte bleiben zehn Jahre oder länger im Einsatz. In dieser Zeit verändern sich Modelle, Eingangsdaten, Sensoren und Angriffsmethoden. Updates müssen signiert, verteilt, überwacht und im Fehlerfall zurückgerollt werden können.

Das Modell ist eben kein statisches Bauteil. Sein Verhalten verändert sich mit seiner Umwelt.

Edge AI ist deshalb weniger ein reines Modellproblem als eine Systems-Engineering-Disziplin. Der Produktwert entsteht im Zusammenspiel aus Sensorik, Signalverarbeitung, Hardware, Software, funktionaler Sicherheit, Cybersecurity, Diagnose und Lifecycle Management.

Und genau darin liegt Europas Chance

Und jetzt schreibe ich auch endlich mal etwas positives zu Europa ;-)
Europa wird den globalen Wettbewerb um immer größere Foundation Models und Hyperscale-Rechenzentren kurzfristig kaum dominieren, wir werden dort weiterhin den USA und China zuschauen müssen...

Aber vielleicht ist das auch nicht der einzige Wettbewerb, den Europa führen sollte.

Europa ist (immer noch) stark in Automotive, Maschinenbau, Medizintechnik, Energie und industrieller Automatisierung. Also genau dort, wo AI nicht nur Texte erzeugen, sondern mit Sensoren, Maschinen und sicherheitskritischen Prozessen interagieren muss. Dort zählen Domänenwissen, Systemverständnis, Zuverlässigkeit und die Fähigkeit, komplexe Produkte über viele Jahre zu betreiben.

Europas Chance liegt nicht darin, den nächsten Hyperscaler zu kopieren. Sie liegt darin, die Fahrzeuge, Maschinen und Infrastrukturen intelligent zu machen, in denen Europa bereits stark ist. Dazu braucht es Mut und Ingenierskunst, aber vielleicht kriegen wir das ja hin.

Die nächste Phase der AI

Edge AI ist keine kleinere Version von Cloud AI. Sie folgt einer anderen Logik.

Es geht nicht darum, möglichst viel Rechenleistung in jedes Gerät zu packen. Es geht darum, Daten früh zu verstehen, Rechenleistung gezielt zu aktivieren und unter realen Bedingungen verlässliche Entscheidungen zu treffen.

Die Gewinner werden deshalb nicht zwangsläufig diejenigen mit den meisten TOPS sein. Es werden diejenigen sein, die Hardware, Software, Daten und Produktanforderungen am klügsten zusammenbringen.

Die nächste Phase der AI wird nicht allein in Rechenzentren entschieden. Sie wird dort entschieden, wo digitale Intelligenz auf die physische Welt trifft.