Deep Reinforcement Learning zur Optimierung von Lichtsignalanlagen

Eingebettet in das Forschungsprojekt KIVI (Künstliche Intelligenz im Verkehrssystem Ingolstadt) beschäftigen wir uns in einem Promotionsprojekt mit der Optimierung von Lichtsignalanlagen durch Reinforcement Learning.

Projektbeschreibung

Zur Reduktion der Reisezeit und Emissionen gewinnen effiziente Verkehrssysteme zunehmend an Bedeutung. Intelligente Lichtsignalanlagen spielen hierbei eine Schlüsselrolle. Im Idealfall leiten sie den Verkehr mit der geringstmöglichen Reisezeit aller Verkehrsteilnehmer und minimaler Emissionen, auch bei verschiedenen Verkehrsauslastungen und Anforderungen. Die Methoden des Deep Reinforcement Learning (DRL) sind hierbei vielversprechend, um diese Anforderungen zu erfüllen. Hierbei lernt ein Agent durch Interaktion mit der Umgebung eine Belohnung zu maximieren, Neuronale Netze dienen hierbei als Funktionsapproximator innerhalb des Agenten. Im Kontext der Lichtsignalanlagen werden dem Agenten Informationen über den aktuellen Verkehrszustand übergeben, dieser entscheidet wie die Lichtsignalanlagen geschalten werden und erhält anschließend ein Feedback von der Umgebung wie sich die Entscheidung auf die Reisezeit und Emissionen der Verkehrsteilnehmer ausgewirkt hat. Neben der generellen Evaluierung des DRL zur Optimierung von Lichtsignalanlagen sowie der Auswahl des besten DRL Setups werden im Promotionsprojekt folgende weiterführende Fragestellungen betrachtet:

Wie kann die Verteilung von Grünzeiten in einem multimodalen Verkehrsaufkommen fair umgesetzt werden?
Wie kann das „black-box“ Problem von DRL im Kontext der Optimierung von Lichtsignalanlagen überwunden werden?
Wir können Car2X Funktionalitäten im Optimierungsproblem integriert werden?

Im Forschungsprojekt Künstliche Intelligenz im Verkehrssystem Ingolstadt (KIVI) werden zusammen mit den Projektpartnern wie der TU München, Fraunhofer IVI, GEVAS software GmbH und der CARIAD SE datengetriebene Verfahren der Künstlichen Intelligenz für die Verkehrsteuerung und Verkehrssicherheit in Ingolstadt entwickelt. Hierbei wird unter anderem ein High Definition Testfeld (HDT) bestehend aus drei hochbelasteten Verkehrsknoten mit lokaler Sensorik ausgestattet, um Verkehrsteilnehmer zu erkennen und die Informationen für die KI Algorithmen zu verwenden. Die Verkehrsknoten im HDT eigenen sich dadurch ideal, um die entwickelten DRL Algorithmen zur Optimierung von Lichtsignalanlagen in der Realität zu testen.