Qlearning

Maschinelles Lernen und insbesondere bestärkendes Lernen wird in der digitalen Welt immer wichtiger. Beim bestärkenden Lernen führt ein sogenannter Agent verschiedene Aktionen aus um ein gegebenes Problem zu lösen. Der Agent erhält eine Belohnung für gute Aktionen. Der Agent kann das so erlangte Wissen benutzen, um optimale Lösungen für Probleme aus Bereichen wie zum Beispiel Navigation, Biologie und Medizin, Sicherheit und Energie zu entwickeln. Quantenalgorithmen können diese Suche nach belohnten Aktionen und somit den Lernprozess beschleunigen. Deswegen untersuchen wir die Eignung von Quantenprozessoren aus der DLR QCI für die Implementierung von Quantenalgorithmen für das bestärkende Lernen.

Motivation

Sowohl maschinelle Lernalgorithmen als auch Quantencomputing sind dabei, die Informationsverarbeitung zu revolutionieren. Während sogenanntes „überwachtes Lernen“ und „unüberwachtes Lernen“ meist darauf abzielen, Strukturen in großen Datenmengen zu finden, geht es beim „bestärkenden Lernen“ eher darum, eine konstruktive Lösung zu einem gegebenen Problem zu finden. Allerdings ist die Problemlösung mittels bestärkenden Lernens meist recht zeitaufwendig.

Quantenalgorithmen beschleunigen diesen Lernprozess – das Funktionsprinzip hierzu haben wir in aktuellen Veröffentlichungen theoretisch und experimentell gezeigt. Jedoch müssen noch viele Herausforderungen gemeistert werden, bis beschleunigtes Lernen mit Quantenalgorithmen zur Lösung von realen Problemen, wie zum Beispiel aus dem Bereich Navigation, realisiert werden können.

Herausforderung

Für bestärkendes Lernen mit Quantenalgorithmen benötigen wir fehlerarme Quantenprozessoren und gute Quantenalgorithmen. Die verfügbare Quantenprozessoren sind jedoch noch stark limitiert in der Anzahl der Quantengatter, welche hintereinander ausgeführt werden können, bis die resultierenden Fehler überhandnehmen. Um realen Anwendungen einen Schritt näher zu kommen, sind daher optimale Implementierungsstrategien für Quantenalgorithmen nötig.

Außerdem sind viele Fragen zur Anwendung von Quantenalgorithmen für das bestärkende Lernen noch offen: Quantenalgorithmen unterliegen Restriktionen wie zum Beispiel dem Welle-Teilchen-Dualismus und dem No-Cloning-Theorem. Diese Restriktionen müssen wir bei der Entwicklung von problemspezifischen Quantenalgorithmen für das bestärkende Lernen berücksichtigen. Durch die DLR QCI habe wir die einzigartige Möglichkeit für die Entwicklung von quantenunterstütztem bestärkendem Lernen im Hardware-Software-Codesign.

Publikationen

Poster QLearning