Fraunhofer IIS – Der CO2-Fußabdruck von Edge AI-Anwendungen resultiert größtenteils aus der Herstellung der Hardwarekomponenten und insbesondere der Batterien. Das Benchmarking von Energieverbrauch und Latenz pro Inferenz auf Mikrocontrollern ermöglichen ressourcenbewusste Designentscheidungen zur Entwicklung umweltfreundlicher und effizienter KI-Anwendungen. Dieser Tech-Blog beschreibt das Vorgehen eines solchen Energieeffizienz-gesteuerten Entwicklungsprozesses an einem konkreten Beispiel.
Edge AI hat das Potenzial, die CO2-Emissionen erheblich zu senken, indem es ermöglicht, Künstliche Intelligenz direkt auf lokalen, oft kompakten Geräten, den sogenannten “Edge Devices”, auszuführen. Diese Technologie findet Anwendung in vielen verschiedenen Bereichen. In der Landwirtschaft kann EdgeAI helfen den Gesundheitszustand von Pflanzen zu überwachen uns so dazu beitragen den Ertrag der Ernte zu erhöhen. Edge AI kann dazu beitragen, Biodiversität zu erhalten und Wilderei zu verhindern indem großflächig Naturgebieten überwacht werden. Es findet auch im Bausektor und in der Gebäudetechnik Anwendung und kann dazu beitragen den Energieaufwand zu reduzieren und Fehlverhalten in wichtigen Geräten frühzeitig zu erkennen [1]. Da Edge AI einen großen Beitrag zur globalen Nachhaltigkeit leisten kann, wird der eigene CO2-Fußabdruck dieser Technologie häufig übersehen – ein Aspekt, der bei der Entwicklung von Edge-AI-Anwendungen jedoch nicht außer Acht gelassen werden sollte.
Diese Technologie findet Anwendung in vielen verschiedenen Bereichen. In der Landwirtschaft kann EdgeAI helfen den Gesundheitszustand von Pflanzen zu überwachen und so dazu beitragen den Ertrag der Ernte zu erhöhen. Edge AI kann dazu beitragen, Biodiversität zu erhalten und Wilderei zu verhindern indem großflächig Naturgebieten überwacht werden. Es findet auch im Bausektor und in der Gebäudetechnik Anwendung und kann dazu beitragen den Energieaufwand zu reduzieren und Fehlverhalten in wichtigen Geräten frühzeitig zu erkennen [1]. Da Edge AI einen großen Beitrag zur globalen Nachhaltigkeit leisten kann, wird der eigene CO2-Fußabdruck dieser Technologie häufig übersehen – ein Aspekt, der bei der Entwicklung von Edge-AI-Anwendungen jedoch nicht außer Acht gelassen werden sollte.
Hier zeigen wir anhand eines konkreten Beispiels wie man datengestützt gezielt nachhaltige Edge AI Systeme entwickeln kann. Dazu möchten wir die Entwicklung es einfaches Retro-Fit System näher beleuchten, welches Fehlerzustände bei Wärmepumpen, anhand von Vibrationsdaten identifiziert. Das Gerät soll frühzeitig Fehler erkennen und so verhindern, dass man unerwartet im Kalten steht. Es sei jedoch angemerkt, dass die Anwendung hier vereinfacht dargestellt wird und lediglich veranschaulichen soll, wie ein solcher Entwicklungsprozess ablaufen könnte.
Der CO2-Fußabdruck von Edge-AI-Systemen
Ein wesentlicher Teil des CO2-Fußabdrucks von Edge-AI-Systemen entsteht während der Herstellung der Hardware, insbesondere durch die Batterien. Studien zeigen, dass Batterien im Vergleich zum Netzstrom einen um den Faktor 100 höheren CO2-Fußabdruck aufweisen [2, 3]. In vielen Edge-AI-Anwendungen sind diese jedoch unverzichtbar. Die Kapazität der Batterie ist daher eine wichtige Ressource, welche die wartungsfreie Lebensdauer des gesamten Systems begrenzt, und daher möglichst effizient genutzt werden sollte. In unserem Beispiel sollte das System mindestens ein Jahr ohne einen Batteriewechsel auskommen, da Wärmepumpen jährlich gewartet werden.
Man versucht also die mittlere Leistungsaufnahme so gering wie möglich zu halten, sodass man für eine gegebene wartungsfreie Nutzungsdauer eine möglichst kleine Batterie einsetzen und dadurch den CO2-Fußabdruck des Systems reduzieren kann. Bei der Entwicklung spielt daher insbesondere die Wahl des Mikrocontrollers eine entscheidende Rolle. Dieser muss zwei wesentliche Anforderungen erfüllen:
- Rechen- und Speicherkapazität: Es muss möglich sein das KI-Modell auszuführen.
- Energieeffizienter Standby-Modus: Möglichst geringer Energiebedarf im Energiesparmodus.
KI-Modell Training
Die Größe des verwendeten KI-Modells beeinflusst maßgeblich die Hardwareanforderungen (RAM, ROM) sowie den Rechenaufwand, die Ausführungszeit und den Energiebedarf pro Inferenz. Ein kleineres KI-Modell erfordert geringere Hardware-Ressourcen und hat in der Regel auch einen niedrigeren Energiebedarf pro Inferenz.
Allerdings besteht oft ein Zielkonflikt zwischen der Modellgröße und der Leistungsfähigkeit. Wir nutzen daher Mehrzieloptimierung bei der Entwicklung von KI-Modellen, um einen optimalen Kompromiss zwischen Modellleistung und Modellgröße zu finden. Die folgende Abbildung zeigt das Ergebnis dieser Optimierung. Auf der x-Achse wird die Modellgröße durch die Anzahl der benötigten Recheninstruktionen pro Inferenz dargestellt. Auf der y-Achse wird die Modellgenauigkeit auf den Testdaten angegeben. Jeder Punkt repräsentiert ein KI-Modell. Entlang der grünen Linie, der sogenannten Pareto-Front, liegen die Modelle, die für ihre Größe die höchste Genauigkeit haben. Für die weitere Untersuchung entscheiden wir uns für das orange markierte Modell. Diese bietet einen guten Kompromiss zwischen Modellgröße und KI-Leistung, da es nahezu alle Fehler aus den Testdaten richtig als solche erkannt hat, aber dennoch verhältnismäßig klein ist.
On-Device Energie Benchmarking
Die Wahl des KI-Modells bestimmt, welche Mikrocontroller in Frage kommen. In unserem Beispiel beschränken wir uns auf den Vergleich zweier kommerziell erhältliche Mikrocontroller: den MIMXRT1062 und den nRF52840. Die folgende Tabelle vergleicht einige wesentliche Eigenschaften, darunter die Prozessorarchitektur, die Taktrate, den Stromverbrauch im Energiesparmodus und die erforderliche Betriebsspannung. Obwohl der MIMXRT1062 leistungsfähiger ist, zeigt sich, dass er im Energiesparmodus weniger effizient arbeitet als der nRF52840.
| Microcontroller | Architektur | Taktrate [MHz] | Energiesparmodus [mA] | Spannung [V] |
| MIMXRT1062 | Arm Cortex M7 | 600 | 1,604 | 3.3 |
| nRF52840 | Arm Cortex M4F | 64 | 0,301 | 3.3 |
Um den Energieverbrauch pro Inferenz zu bestimmen, wird das KI-Modell auf den Mikrocontrollern ausgeführt, während die Stromstärke bei konstanter Spannung gemessen wird. Da eine einzelne Inferenz oft zu schnell ist, um sie präzise messen zu können, führen wir mehrere Inferenzen hintereinander aus und berechnen daraus den durchschnittlichen Energiebedarf und die durchschnittliche Inferenzdauer. Beim nRF52840 wurden 100 Inferenzen und beim MIMXRT1062 1000 Inferenzen hintereinander durchgeführt, um einen geeignete Messdauer zu erzielen. Zwischen diesen „Inferenzblöcken“ wurde jeweils eine halbe Sekunde gewartet, um die Inferenzen im Stromstärkesignal zuverlässig identifizieren zu können. Die folgende Grafik zeigt den Verlauf der Stromstärke während der Messung.
| Microcontroller | Zeit pro Inferenz in ms | Energie pro Inferenz in µJ |
| MIMXRT1062 | 0,47 | 160 |
| nRF52840 | 17,0 | 555 |
Den Ergebnissen nach zu urteilen ist der MIMXRT1062 pro Inferenz effizienter als der nRF52840. Bisher wurde jedoch der Energiebedarf im Energiesparmodus außer Acht gelassen. In vielen Anwendungen ist es nicht notwendig, die Inferenz durchgängig mit einer hohen Frequenz durchzuführen, da sich z.B. der zu detektierender Zustand nur selten ändert oder eine schnelle Reaktionszeit nicht entscheidend ist. In diesem Fall kann man leicht argumentieren, dass eine Inferenz einmal pro Minute ausreichend ist. Das folgende Diagramm, zeigt die mittlere Leistungsaufnahme der Microcontroller in Abhängigkeit von der Inferenz Frequenz. Es ist ersichtlich, dass sich beide Microcontroller mit abnehmender Inferenz-Frequenz der Leistungsaufnahme in ihrem Energiesparmodus annähern und der Einfluss einer einzelnen Inferenz immer geringer wird. Bereits ab einer Inferenz alle 85ms arbeitet der nRF52840 effizienter als der MIMXRT1062.
| Mittlere Leistungsaufnahme in mW bei gegebener Inferenz Frequenz | ||||||||
| Microcontroller | 10 ms | 25 ms | 85 ms | 1s | 1 min | 10min | 1 h | 24 h |
| MIMXRT1062 | 20,97 | 11,56 | 7,13 | 5,45 | 5,30 | 5,29 | 5,29 | 5,29 |
| nRF52840 | – | 21,78 | 7,11 | 1,51 | 1,00 | 0,99 | 0,99 | 0,99 |
Für eine Inferenz pro Minute benötigt der nRF52840 nur 1mW, während der MIMXRT1062 über 5mW benötigt. Dies bedeutet, dass das System bei gleicher Batteriekapazität mehr als fünfmal so lange läuft. Für diese Anwendung würde man sich daher eindeutig für den nRF52840 entscheiden. Über ein Jahr hinweg benötigt das System dann ca. 31 kJ. Mit zwei AA Alkaline Batterien würde das Retro-Fit System damit bereits ein Jahr lang auskommen. Der CO2-Fußabdruck des Systems beläuft sich somit auf etwa 416 g CO2eq/Jahr [3] was den CO2-Emissionen entspricht, die ein neues benzinbetriebenes Auto auf einer Strecke von ca. 4 km verursacht [4].
Allein in Deutschland wurden seit 2010 über 1,5 Mio. Wärmepumpen verkauft [5]. Angenommen man würde all diese Wärmepumpen mit einem solchen Retro-Fit Gerät ausstatten, so würden dadurch jährlich Emissionen in Höhe von 624 tC02eq verursacht. Dies entspricht dem CO2-Ausstoß von ca. 500 benzinbetriebenen Autos jährlich [4, 6]. Bei einem vergleichbaren System mit einem MIMXRT1062 würde entsprechend mehr als die fünffache Menge an CO2-Emissionen entstehen.
Fazit
Edge AI bietet eine vielversprechende Möglichkeit, nachhaltige Lösungen zu entwickeln, die nicht nur effizient, sondern auch umweltfreundlicher sind. Die Berücksichtigung des CO2-Fußabdrucks bei der Entwicklung von Edge AI-Anwendungen kann dazu beitragen, die Auswirkungen auf die Umwelt zu reduzieren und gleichzeitig die Lebensdauer der Systeme und damit den Nutzen der Anwendung zu erhöhen.
Quellen:
[1] Abadade, Y., Temouden, A., Bamoumen, H., Benamar, N., Chtouki, Y., & Hafid, A. S. (2023). A comprehensive survey on tinyml. IEEE Access. [2] Sandbag (Ember). (31. Januar, 2024). Entwicklung des Emissionsfaktors der Stromerzeugung in Deutschland und Frankreich im Zeitraum 2000 bis 2023 (in g CO2-Äquivalent pro Kilowattstunde Strom) [Graph]. In Statista. Zugriff am 26. September 2024, von https://de.statista.com/statistik/daten/studie/1421117/umfrage/emissionen-strom-deutschland-und-frankreich/ [3] Benecke, S. (2019). Systemverhalten von Energy Harvestern in autonomen Sensoren unter Betrachtung der Wechselwirkung von Funktionalität und Umweltverträglichkeit (Doctoral dissertation, Technische Universität Berlin). https://www.deutsche-digitale-bibliothek.de/item/I75CKRUQ46CTYBJBMIE5PXFZHC2OKH2E [4] JATO. (21. April, 2021). Durchschnittlicher CO2-Ausstoß der in Europa neu zugelassenen Pkw nach Antriebsarten von 2017 bis 2020 (in Gramm pro Kilometer) [Graph]. In Statista. Zugriff am 26. September 2024, von https://de.statista.com/statistik/daten/studie/985204/umfrage/durchschnittlicher-co2-ausstoss-von-pkw-nach-antriebsarten-in-europa/ [5] Bundesverband Wärmepumpe. (22. Januar, 2024). Absatz von Heizungswärmepumpen in Deutschland in den Jahren 2010 bis 2023 (in 1.000) [Graph]. In Statista. Zugriff am 26. September 2024, von https://de.statista.com/statistik/daten/studie/217750/umfrage/absatz-von-heizungswaermepumpen-in-deutschland/ [6] Kraftfahrt Bundesamt. (Juni 2021). Kurzbericht Inländerfahrleistung. Zugriff am 26. September 2024, von https://www.kba.de/DE/Statistik/Kraftverkehr/VerkehrKilometer/vk_inlaenderfahrleistung/2020/2020_vk_kurzbericht.html