Ein Ergebnis der Zusammenarbeit von Kontron und Hailo: der X86-basierte Box-PC KBox A-150-WKL-AI-H8. Er integriert den Hailo-8-AI-Beschleuniger und ermöglicht somit hochperformante und energieeffiziente AI-Lösungen an der Edge (Quelle: Kontron)
„Inferenz-Anwendungen rund um AI benötigen in aller Regel eine erhebliche Rechenleistung. Im Grunde wird an der Edge, also im Device selbst, eine Rechen-Power nötig, die bisher vor allem durch High-Performance-Computing im Rechenzentrum geliefert werden konnte – verbunden mit entsprechenden Nach teilen bezüglich der Latenz und Zuverlässigkeit der Cloud-Verbindung“, sagt Christoph Neumann, Vice President Technology bei der Kontron-S&T-Gruppe. Kontron fokussiert sich daher auf neue Ansätze, um die nötige Performance auch an der Edge zu ermöglichen. „Mit der Integration des Hailo-8-Chips setzen wir auf eine Technologie, die den Anforderungen im AI-Umfeld mit einer spezifisch für das Rechnen von neuronalen Netzen entwickelten Chip-Architektur begegnet“, erklärt er.
Der Hailo-8-AI-Prozessor kann 26 Tera-Operationen pro Sekunde (TOPS) rechnen bei einem typischen Stromverbrauch von <2,5 W. Damit ermöglicht er Edge-Geräten eine Performance, die bisher zumeist nur in der Cloud möglich war.
Edge- und AI-Inferenz-Lösung kombiniert
Aus der Partnerschaft von Kontron und Hailo und der damit verbundenen Produktzusammenführung entstehen hochperformante Edge-AI-Inferenzlösungen. Dazu wird in die kompakten, energieeffizienten und lüfterlosen EdgeComputing-Plattformen von Kontron der Hailo-8-AI-Beschleuniger nahtlos integriert. Konkret wird er Bestandteil von Kontrons Arm-basierten 2,5-Zoll-SBC pITX-iMX8M-AI-H8 und dem X86-basierten Box-PC KBox A-150-WKL-AI-H8 mit einer Reihe von Intel-Core-i-Prozessoren wie 8365UE (ehemals Whiskey Lake).
C. Neumann weist auf die besondere Hailo-Chip-Architektur hin. So sei beispielsweise kein externer Memory-Speicher notwendig, sondern bereits im Chip integriert und sehr eng an die konfigurierbaren Rechenkernels angebunden. „Der Prozessor wird am PCIe-Bus der Host-CPU unserer Edge-Computer betrieben. Mit der Lösung lassen sich selbst die strengen Sicherheitsvorgaben in der Automotive- und Industrial Compliance einhalten“, stellt er heraus.