Wie bewegt sich ein fahrerloses Schwerlastfahrzeug sicher durch unwegsames Gelände? SANY liefert die Antwort auf diese Frage – mit der Entwicklung einer Fahrsteuerung für einen autonom fahrenden Muldenkipper. Den beeindruckenden Sicherheitsnachweis führt SANY mit Simulationslösungen von dSPACE.
Die Automatisierung des traditionellen Tage- und Bergbaus durch autonome Arbeits- und Transportmaschinen eröffnet vielversprechende Perspektiven. Die steigende Nachfrage der Bergbauindustrie nach unbemannten Fahrzeugen wird durch erste Erkenntnisse gestützt, dass die Produktivität und Effizienz des Bergbaus gesteigert, die Sicherheit der Arbeiter erhöht und die Umweltauswirkungen des Bergbaus minimiert werden können.
Der autonom fahrende Muldenkipper von SANY ist mit verschiedenen Perzeptionssensoren ausgestattet.
Muldenkipper auf dem Weg ins Bergwerk.
Hohes Sicherheitsniveau für autonome Transporte
Damit das visionäre Konzept der autonomen Transporte Realität werden kann, ist eine wichtige Voraussetzung zu erfüllen: Es bedarf absolut zuverlässiger Steuerungen für das autonome Fahren. Eine spannende Aufgabe für das Unternehmen SANY, das einen autonom fahrenden Muldenkipper für den Einsatz im Bergbau entwickelt.
„Der Muldenkipper ist mit einem Autonomous-Driving (AD)-Steuergerät, hochpräziser Satellitennavigation (Global Navigation Satellite System, GNSS) und verschiedenen Sensortechnologien wie Radar, Lidar und Kamera ausgestattet“, erklärt Huijun Zhen von SANY. Mit Hilfe dieser Systeme kann er seine Umgebung erkennen und den auf einer Cloud-Plattform geplanten Routen folgen. Dabei findet er den besten Weg durch das sich ständig verändernde Abbaugebiet und weicht Hindernissen aus. Weitere Eigenschaften in „Das Steuerungssystem des autonom fahrenden Muldenkippers von SANY“.
Ein Bergwerk ist jedoch eine sehr komplexe Umgebung, in der nicht von einer standardisierten Verkehrsinfrastruktur ausgegangen werden kann – eine besondere Herausforderung für den autonom fahrenden Muldenkipper, der beispielsweise den Transport von mehreren hundert Tonnen Nutzlast zwischen Abbaustelle und Förderanlage unter widrigen Bedingungen absolut sicher, zuverlässig und wirtschaftlich bewältigen muss.
Eine effiziente Validierung neu entwickelter Steuergerätefunktionen durch Tests mit dem realen Fahrzeug ist unter sicherheitskritischen Bedingungen daher nicht möglich.
Das Steuerungssystem des autonom fahrenden Muldenkippers von SANY
Navigation und Ortung
Einsatz von hochgenauen Karten, BeiDou-Navigation, GPS und anderen Technologien zur präzisen Positionierung und autonomen Navigation von Bergbaufahrzeugen.
Wahrnehmung der Umgebung
Fusion von Lidar-, Kamera- und Radardaten, Echtzeiterfassung der Umgebung, um die Sicherheit von Bergbaufahrzeugen zu gewährleisten.
Cloud-Plattform-Planung
Die Cloud-Plattform ermöglicht eine intelligente Multi-Fahrzeug-Planung und trägt dazu bei, die Effizienz der Transporte im Bergwerk zu optimieren.
Routenplanung und Entscheidung
Basierend auf den Ergebnissen der Sensorfusion wird die optimale Route für den Muldenkipper geplant. So wird der effiziente und sichere Betrieb des Grubenfahrzeugs gewährleistet.
Steuerung und Implementierung
Hochentwickelte Steuerungsalgorithmen zur präzisen Steuerung der Bergwerkfahrzeuge, die ein sicheres Fahren entlang der geplanten Routen gewährleisten.
Wie gelingt die Absicherung des AD-Steuergeräts für den Einsatz im Bergbau?
SANY entschied sich für ein simulationsbasiertes Vorgehen mit zwei kombinierten Testansätzen zur Absicherung des AD-Steuergeräts seines autonom fahrenden Muldenkippers:
- Hardware-in-the-Loop (HIL)-Simulation
- Vehicle-in-the-Loop (VIL)-Simulation
Die HIL-Simulation findet in den Entwicklungslaboren der Steuergeräte- respektive Fahrzeughersteller statt und dient bereits in frühen Entwicklungsphasen der kontinuierlichen Überprüfung des Reifegrads der Algorithmen unter deterministischen Echtzeitbedingungen. Sie ist damit die wesentliche Instanz für die Freigabetests neuer Software-Releases bis hin zur Serienfreigabe des AD-Steuergeräts.
Die VIL-Simulation ermöglicht die gefahrlose Durchführung sicherheitskritischer Tests mit dem realen Fahrzeug. Zu diesem Zweck wird ein Simulator mitgeführt, der für die Perzeptionssensoren des Fahrzeugs eine virtuelle Welt kreiert, in der das Fahrzeug inklusive AD-Steuergerät auf einer realen Teststrecke oder in einem Bergwerk evaluiert wird. Ein Sicherheitsfahrer ist für die Überwachung der korrekten Funktion zuständig und greift bei Bedarf in den Testverlauf ein.
Zunächst muss sich der autonom fahrende Muldenkipper in der virtuellen Welt bewähren.
Digitaler Zwilling des Bergwerks: der Arbeitsplatz des autonomen Muldenkippers.
Auf der Suche nach einem Simulator mit Talenten für autonomes Fahren
Für die Absicherung des autonomen Muldenkippers ist einerseits die synchrone Simulation der Sensorik von elementarer Bedeutung, andererseits müssen alle Fahrzeugfunktionen und die Fahrzeugumgebung realitätsnah abgebildet werden, um durch die Simulation eines realistischen digitalen Zwillings eine ganzheitliche Betrachtung des Fahrzeugverhaltens vornehmen zu können. Nicht zuletzt muss der Simulator Schnittstellen für alle notwendigen Ein- und Ausgangssignale des zu testenden Steuergeräts zur Verfügung stellen. SANY entschied sich für einen HIL-Simulator von dSPACE, nachdem die Eignung des Systems für elementare Anforderungen erfolgreich evaluiert worden war. Dazu zählen:
- Echtzeitsimulation der Lkw-Fahrdynamik und Verkehrsumgebung
- Zeitkorrelierte Simulation der Perzeptionssensoren
- Generierung einer realistischen virtuellen Testumgebung:
Vorgehen bei der HIL-Absicherung
Der für das Anforderungsprofil von SANY konzipierte HIL-Simulator basiert auf dem Echtzeitsystem SCALEXIO, auf dem die Simulationsmodelle der Tool Suite ASM (Automotive Simulation Models) ausgeführt werden. Die Sensorrohdaten für Kamera und Lidar werden auf vier Sensor Simulation PCs mit der sensorrealistischen Simulationssoftware AURELION berechnet. Da im Fahrzeug drei verschiedene Lidarsensortypen verbaut sind, wurden dafür individuell implementierte und parametrierte Lidarmodelle erstellt, um die unterschiedlichen Eigenschaften wie Reichweite, Scanmuster (Scan Pattern), Field of View (FoV), Frequenz etc. in der Sensorsimulation mit physikalischer Genauigkeit abzubilden. Die Radardaten werden in Form von Objektlisten mit den Ground-Truth-Sensormodellen von ASM Traffic aufbereitet. Weitere Signale für IMU, Navigation etc. liefert das Fahrdynamikmodell ASM Truck. Die Echtzeitplattform SCALEXIO bereitet alle Daten synchron auf und stellt sie dem Steuergerät über Schnittstellen wie Automotive Ethernet und die Erweiterung Environment Sensor Interface (ESI) Unit zur Verfügung. Die ESI Unit bereitet in diesem Testaufbau die simulierten Daten der vier Kamerasensoren in Signale und Protokolle gemäß der Gigabit-Multimedia-Serial-Link (GMSL)-Technologie auf. Eine detaillierte Übersicht der Simulatorkomponenten ist in „HIL-Tools und Services im Einsatz bei SANY“ zusammengefasst.
Eine realitätsnahe 3D-Welt wird benötigt
Um Tests in der virtuellen Welt durchführen zu können, musste zunächst ein digitaler Zwilling des Bergwerks erstellt werden. „Dazu wurde das ca. drei mal drei Kilometer große Areal mit Drohnen gescannt, die sowohl die Kontur als auch die Textur der Oberfläche erfassten. Aus diesen Daten konnte mit Hilfe von dSPACE Werkzeugen ein Modell der befahrbaren Oberfläche abgeleitet werden, das unter anderem Steigungen, Neigungen und Oberflächenbeschaffenheit enthält“, berichtet Huijun Zhen. Dabei wurden 4 Millionen Polygone im offenen OBJ-Dateiformat verarbeitet. Da der autonome Muldenkipper auch öffentliche Straßen für Zubringerfahrten nutzt, wurde das Modell des Bergwerks durch importierte Kartendaten erweitert. Der autonome Muldenkipper selbst wurde mit dem Simulationsmodell ASM Truck in die virtuelle Welt integriert. Mit dem Modell können wichtige Merkmale wie Doppelachsen, Zwillingsbereifung und Beladung konfiguriert und parametriert werden, so dass die Fahrdynamik eines schweren Muldenkippers im Gelände realistisch simuliert werden kann.
Welche Tests können mit dem HIL-Simulator durchgeführt werden?
Um mit dem Modell des autonomen Muldenkippers virtuelle Testfahrten durchführen zu können, haben die Entwickler von SANY einen Katalog relevanter Tests und Abläufe für die Perzeption, Entscheidungsfindung und Kommunikation definiert.
Der Testkatalog ermöglicht es den Entwicklern von SANY, Funktionstests effizient durchzuführen. Er kann mit FIU (Failure Insertion Unit)-Tests kombiniert werden, um das Verhalten bei technischen Defekten zu überprüfen.
Wie trägt die VIL-Simulation zur Absicherung bei?
Bei dem von SANY durchgeführten Vehicle-in-the-Loop (VIL)-Test wird ein Simulator im realen Fahrzeug mitgeführt. Er erzeugt eine georeferenzierte virtuelle Welt, die dem AD-Steuergerät anstelle der realen Sensordaten zur Verfügung steht. Dadurch ist es möglich, die Algorithmen zur Routenplanung und Entscheidungsfindung unter realen Bedingungen zu testen. Durch die Einspeisung von Hindernissen und Fehlern in die virtuelle Welt können gefahrlos Szenarien getestet werden, die in der realen Welt zu Kollisionen führen würden. „Mit dem VIL-System können wir ganz einfach virtuelle dynamische und statische Objekte in der realen Bergbauwelt platzieren, so wie wir sie brauchen“, fasst Huijun Zhen zusammen.
Der VIL-Simulator wurde mit einer robusten, für den Fahrzeugeinsatz konzipierten dSPACE AutoBox realisiert, in der ein SCALEXIO-System als Echtzeitrechenplattform fungiert. Auf dieser werden die virtuelle Welt und das Fahrzeug mit der Simulation Tool Suite ASM berechnet. Das AD-Steuergerät „sieht“ eine virtuelle Umgebung, die mit den ASM-Sensormodellen für Kamera, Radar und Lidar simuliert und vom Simulator als Objektlisten über den CAN-Bus zur Verfügung gestellt wird. Der Simulator wiederum wird mit Signalen des realen Fahrzeugs versorgt, so dass eine geschlossene, realistische Fahrdynamik- und Verkehrssimulation entsteht. Details zu den Simulatorkomponenten sind in „VIL-Tools im Einsatz bei SANY“ dargestellt.
Der besondere Charme: Ausgewählte Tests wie die Kollisionsvermeidung, die für den HIL-Test definiert wurden, können auch mit dem VIL-System im Kontext der realen Welt wiederverwendet werden, um beispielsweise das Verhalten des beladenen Fahrzeugs beim Bremsen oder Ausweichen in unbefestigtem, zerklüftetem und hügeligem Terrain zu bewerten oder den Einfluss von Nichtlinearitäten zu untersuchen.
Bewertung des Absicherungsprojekts für den autonomen Muldenkipper und der verwendeten dSPACE Tools
Der erfolgreiche Abschluss des Projekts zur Absicherung des AD-Steuergeräts für den autonomen Betrieb eines Muldenkippers im Bergbau war für SANY ein bedeutender Meilenstein. „Durch die intensive Nutzung von Hardware-in-the-Loop (HIL)- und Vehicle-in-the-Loop (VIL)-Simulation konnte die Funktionsfähigkeit und Sicherheit des AD-Steuergeräts umfassend getestet und abgesichert werden“, bestätigt Qiyan Jin. Dank gründlicher Tests mit diesen Simulationsmethoden fährt der Muldenkipper autonom, sicher und zuverlässig im Bergwerk.
Der Beitrag von dSPACE zum sicheren autonomen Fahren:
Die Werkzeuge und Dienstleistungen von dSPACE haben wesentlich zum Projekterfolg beigetragen. „Die Simulationslösungen zeichnen sich durch hohe Zuverlässigkeit, Qualität und Flexibilität aus“, fasst Qiyan Jin zusammen. Eine essenzielle Grundlage für das simulationsbasierte Vorgehen ist die mühelose Erstellung hochgenauer digitaler Zwillinge von Fahrzeug und Bergwerk. „Entscheidend für den Erfolg ist die synchrone Simulation verschiedener Sensortypen mit physikalischer Genauigkeit, denn nur so entsteht für die Perzeptions- und Entscheidungsfindungsalgorithmen eine plausible virtuelle Welt“, betont Huijun Zhen. Er ergänzt: „Die aufeinander abgestimmten Software- und Hardware-Werkzeuge von dSPACE sind nicht nur wertvoll und nützlich für die Entwicklung und den Test, sondern unverzichtbar, wenn die Sicherheitsfrage keine Kompromisse zulässt.“
Benutzerfreundlichkeit und Effizienz der dSPACE Werkzeuge:
Die dSPACE Werkzeuge erwiesen sich als einfach zu handhaben, was eine schnelle Einarbeitung ermöglichte. Innerhalb von sechs Monaten konnten zwei Mitglieder des Projektteams die komplette Absicherung des AD-Steuergeräts abschließen und den vorgegebenen Zeitplan einhalten. Die schnelle Lernkurve und die intuitive Bedienbarkeit der dSPACE Werkzeuge trugen entscheidend dazu bei, die Projektziele termingerecht zu erreichen.
Simulationen zeigen den Betrieb im Bergwerk. Die stimmungsvolle Kulisse wird mit der sensorrealistischen Simulationssoftware AURELION erzeugt.
Ob real oder virtuell – mit der richtigen Absicherungslösung fahren autonome Muldenkipper sicher im Bergwerk.
Die nahtlose Integration der realitätsgetreuen Simulationsumgebung mit dem Steuergerät des realen Fahrzeugs ermöglicht eine schnelle Validierung der Algorithmen und Iteration der Software, wodurch die Entwicklungszeit erheblich verkürzt wird.
Der Hardware-in-the-Loop (HIL)-Simulator von dSPACE verfügt über alle Eigenschaften, um unser AD-Steuergerät synchron mit den erforderlichen Sensorsignalen und -protokollen zu versorgen. Er ebnet den Weg für sicheres autonomes Fahren.
Mit der hochgenauen sensorrealistischen Simulationssoftware AURELION können Algorithmen zur visuellen Wahrnehmung und Entscheidungsfindung von Steuerungen für das autonome Fahren zuverlässig abgesichert werden.
Die aufeinander abgestimmten Software- und Hardware-Werkzeuge von dSPACE sind nicht nur wertvoll und nützlich für die Entwicklung und den Test, sondern unverzichtbar, wenn die Sicherheitsfrage keine Kompromisse zulässt.
Fazit und Ausblick: Zuverlässig und vertrauenswürdig im Bergwerk
Das Projekt zeigt auf eindrucksvolle Weise, wie zuverlässig und effektiv die dSPACE Werkzeuge und Dienstleistungen für das autonome Fahren sind. Die Benutzerfreundlichkeit und Effizienz der Tools machen dSPACE zu einem wertvollen Partner.
Nach diesem erfolgreichen Projekt wird sich SANY nun auf die Entwicklung weiterer autonomer Maschinen konzentrieren, um seinen Kunden im Bergbau zu helfen, eine sichere Arbeitsumgebung zu gewährleisten und die Effizienz zu steigern.
Für diese Projekte plant SANY den Einsatz von entwicklungsbegleitenden Software-in-the-Loop (SIL)-Simulationen. Darüber hinaus unterstützt die SIL-Methodik die Simulation komplexer Software-Architekturen, wie sie im Bereich Software-definierter Fahrzeuge (Software-defined Vehicles, SDV) Einzug halten. Um einen nahtlosen SIL-HIL-Übergang zu gewährleisten, evaluiert SANY die SIL-Lösungen von dSPACE.
Mit freundlicher Genehmigung von SANY
dSPACE MAGAZIN, VERÖFFENTLICHT JANUAR 2025
Der Artikel wurde in enger Zusammenarbeit mit folgenden Personen erstellt:
Huijun Zhe
Huijun Zhen ist Leiter des Entwicklungsteams für autonom fahrende Muldenkipper der SANY-Gruppe in Peking, China.
Qiyan Jin
Qiyan Jin ist Ingenieur im Entwicklungsteam des autonom fahrenden Muldenkippers der SANY-Gruppe in Peking, China.
HIL-Tools und Services im Einsatz bei SANY
- dSPACE Full-Size SCALEXIO System für die Echtzeitsimulation
- 2 SCALEXIO Processing Units
- 1 SCALEXIO LabBox: Vielseitige, skalierbare Schnittstellen
- 4 Sensor Simulation PCs: Simulation von 4 Kamera- und 4 Lidarsensoren in Echtzeit
- 4 Hochleistungs-GPUs: Beschleunigung der Simulation von physikbasierten Kamera- und Lidar-Modellen in AURELION
- 1 Environment Sensor Interface Unit (ESI Unit): Zeitkorrelierte Transformation und Einspeisung von Sensorrohdaten
- Simulation Tool Suite ASM (Automotive Simulation Models)
- Offene, modulare und skalierbare Echtzeit-Simulationsmodelle: einfache Erweiterung und Parametrierung
- ASM Truck, ASM Environment: Simulation von Fahrzeug, Fahrdynamik und Terrain
- ASM Traffic: Simulation der Verkehrsumgebung sowie Radarobjektlisten, Navigationsdaten etc.
- Sensorrealistische Simulationssoftware AURELION
- Generierung von Kamera- und Lidarrohdaten basierend auf physikalischen Prinzipien
- Realistische 3D Visualisierung des virtuellen Szenarios
- PTP (Precision Time Protocol) und PPS (Pulse Per Second) für die zeitkorrelierte Verarbeitung relevanter Signale
- dSPACE Engineering: Importieren eines realen Bergwerkszenarios in AURELION für die Sensorsimulation
VIL-Tools im Einsatz bei SANY
- SCALEXIO AutoBox für Echtzeitsimulation im Fahrzeug
- SCALEXIO DS6001 Processing Unit
- SCALEXIO CAN Board
- Simulation Tool Suite ASM (Automotive Simulation Models)
- ASM Truck: Simulation eines „digitalen Schattens“ des realen Muldenkippers
- ASM Environment: Abbildung des Terrains der realen Welt in die simulierte virtuelle Welt
- ASM Traffic: Simulation der dynamischen und statischen Objekte, inkl. Ground-Truth (GT) Sensoren für z.B. Kamera-, Radar- und Lidarobjektlisten
