Mit dem Studienprojekt «Treffsichere Dartscheibe» zeigte die TU München schon vor 15 Jahren die Möglichkeiten schneller Bildverarbeitungssysteme auf. Im Gespräch mit Dr.-Ing. Rainer Stetter über das Projekt, dessen Herausforderungen und wie sich in diesem Bildverarbeitung mit Machine Learning vorteilhaft nutzen liesse.

Autor: Markus Back

Bei dem Studienprojekt «Treffsichere Dartscheibe» trifft der Spieler immer ins Bullseye. Der Gedanke dieses Projektes war es damals, angehende Ingenieure für die noch sehr junge Disziplin Mechatronik zu begeistern. Inwieweit hat sich dieses Ansinnen erfüllt?

Wir haben die treffsichere Dartscheibe Studenten und Schülern vorgestellt und jeder, der sie gesehen hat, war begeistert. Von daher wurde das gesteckte Ziel erreicht, auch wenn man leider sagen muss, dass es immer noch zu wenige Ingenieure in diesem Bereich gibt.

Ohne Parabel-Gleichung keine Flugbahnberechnung des Dartpfeils 

Woran liegt das?

Das hat zwei Gründe! Zum einen wird das Thema meistens nicht so anschaulich dargestellt und somit keine Lust auf ein Mechatronik-Studium geweckt, zum anderen schlagen junge Menschen lieber ein Studium ein, das etwas weicher ist und in dem nicht so viel Mathematik dahintersteht. Dabei ist gerade die treffsichere Dartscheibe ein schönes Beispiel für angewandte Mathematik, da sich die Flugbahn des Dartpfeils ohne die Parabel-Gleichung überhaupt nicht berechnen liesse.

Vermutlich hielten die Experten dieses Studienprojekt aber nicht wegen der Berechnung der Parabel-Gleichung für illusorisch! Welche Argumente führten diese für ihre Skepsis an?

Das Problem war, um es in Zahlen zu fassen, die Flugzeit des Pfeils. Diese beträgt für die Distanz von 3,25 Metern je nach Kraftaufwand beim Wurf zwischen 180 und 400 Millisekunden, wobei in diesem Zeitfenster drei Dinge getan werden müssen: Es muss die Flugbahn des Pfeils ermittelt, diese Daten interpretiert und extrapoliert und anschliessend die Scheibe positioniert werden. Mit den damaligen Möglichkeiten in der Bildverarbeitung sowie in der Kinematik erschien das in dieser Zeitspanne nicht möglich.

Die Herausforderungen auf dem Weg zur «treffsicheren» Dartscheibe

Und doch wurde das Problem gelöst. Wie sah der Lösungsweg aus?

In der Auslegungsphase standen für jede dieser drei Teilaufgaben 100 Millisekunden zur Verfügung, wobei sich schnell zeigte, dass diese für die Bildverarbeitung nicht genügen. Anfänglich waren es zwei Bilder, die aber für die Beschreibung einer Parabel natürlich nicht genügen. Selbst später, mit drei Bildern, liess sich diese nur grob berechnen, weshalb es hinreichender Taktraten bedurfte.

Eine weitere Schwierigkeit war die Modellierung eines dreidimensionalen, geometrischen Bildes aus den Bildsequenzen der beiden eingesetzten Kameras. Glücklicherweise stand uns hierfür die Beta-Version einer neu entwickelten Software zur Verfügung, so dass wir diese Aufgabe dann doch ohne grösseren Aufwand lösen konnten.

Ein Problem, das wir zunächst überhaupt nicht bedacht hatten, war die Treffsicherheit des Werfers. Wir gingen selbstverständlich davon aus, dass jeder eine stehende Dartscheibe trifft.

Ein Problem, das wir zunächst überhaupt nicht bedacht hatten, war die Treffsicherheit des Werfers. Wir gingen selbstverständlich davon aus, dass jeder eine stehende Dartscheibe trifft – doch wir wurden eines Besseren belehrt! Deshalb mussten wir die erste Variante, in der die Dartscheibe Kreisbahnen fährt, verwerfen und uns eine Alternative überlegen. Diese besteht nun aus Linearmotoren, welche mit 70 kW Leistung die 400 Gramm schwere Scheibe in 100 Millisekunden bis zu 50 Zentimeter in X- beziehungsweise Y-Richtung bewegt.

Mit neuer Bildverarbeitungskamera in Daten erstickt

Die Taktrate konnten Sie so weit erhöhen, dass die Hochgeschwindigkeitskameras in 110 Millisekunden nun sechs Aufnahmen erzeugen. Inwieweit stiessen Sie mit diesem Ansatz an die Grenzen des damals technisch Machbaren?

Durch die grosszügige Unterstützung von Sponsoren waren wir in der vorteilhaften Lage, das Beste vom Besten einsetzen zu können. Dennoch musste die Mechanik an die Software «gehängt» werden, um diese Aufgabe zu lösen. Dieser Ansatz war damals neu, hat sich aber mittlerweile, so tragisch das für Maschinenbau-Ingenieure sein mag, durchgesetzt. Auch bei der treffsicheren Dartscheibe spielt die Mechanik in den ersten zwei Dritteln der Flugzeit des Pfeils überhaupt keine Rolle, da alles, was zuvor passiert, die Software regelt und erst dann der Steuerung den Befehl gibt, in der entsprechenden Zeit an eine bestimmte Stelle zu verfahren.

Wie leistungsstark sind die damals eingesetzten Hochgeschwindigkeitskameras im Vergleich zu heute verfügbaren Systemen?

Vor vier Jahren ist eine der eingesetzten Kameras ausgefallen und deren Austausch war eine riesige Herausforderung, da heutige Modelle so viele Daten liefern, dass wir in Informationen quasi ersticken und dadurch für diese Anwendung zunächst filtern mussten. Während wir vor 15 Jahren das Problem hatten, nicht genügend Daten zu haben, gibt es diese heute im Überfluss.

300 Millisekunden auf mehrere Disziplinen verteilt

Es braucht Zeit für die Erfassung, für die Berechnung und für das Verfahren der Scheibe und jede der drei beteiligten Gruppen beanspruchte möglichst viel von dieser knappen Zeit für sich.

Und wie sieht das preislich aus? Ich vermute mal, die Kameras sind im Vergleich zu früher deutlich günstiger geworden.

Dramatisch günstiger! Aber nicht nur diese waren sehr teuer. Es bedurfte für die Umsetzung dieses Projektes beispielsweise spezieller Lampen, die in derselben Frequenz wie die Kameras das Licht pumpen. Heute würde man dafür eine starke LED installieren und damit wäre der Käse gegessen. Vor 15 Jahren war das nicht möglich und so kostete alleine die Beleuchtung über 10'000 Euro.

Die acht beteiligten Studenten benötigten für die Umsetzung des Projektes 18 Wochen. Was brauchte bei der Realisierung dieses Projektes am meisten Zeit?

Das Schwierigste war die Koordination der einzelnen Disziplinen. Es ist ein mechatronisches System und jetzt sind wir wieder bei den 300 Millisekunden verfügbarer Zeit. Es braucht Zeit für die Erfassung, für die Berechnung und für das Verfahren der Scheibe und jede der drei beteiligten Gruppen beanspruchte möglichst viel von dieser knappen Zeit für sich. Die Mechaniker argumentierten beispielsweise damit, dass sie mit mehr Zeit das System einfacher und günstiger auslegen könnten, während die Software-Entwickler sagten, dass sie mit mehr Rechenzeit den Fahrweg exakter bestimmen könnten.

Erfahrungswissen von Machine Learning hilft

Das klingt fast so, als sei eine gute Moderation das entscheidende Erfolgskriterium?

Genau, so ist das! Wir haben das Projekt beschlossen und dann ging es darum, wer es betreut? Es meldete sich einer der Maschinenbauer und wie ich ihn eine Weile später traf und nach dem Projektstand fragte, erzählte er mir, dass die Mechanik ganz gut läuft. Was die Software macht, konnte er mir indes nicht sagen, da die andernorts und abgesetzt vom übrigen Team entwickelt wurde. Leider ist das in der Wirklichkeit ebenfalls so – auch wenn es eben so genau nicht sein sollte!

Ein Thema heute sind Bildverarbeitungssysteme mit Machine Learning. Was hat man sich darunter genau vorzustellen?

Sehr gut lässt sich das am Beispiel unseres Air Hockeys erklären, das wir in einem anderen Studenten-Projekt entwickelt haben. Wenn der Puck an die Bande geht, ist der Einfallswinkel gleich der Ausfallswinkel und damit lässt sich der Gegenschläger mathematisch ganz einfach über die Physik definieren. Alternativ nutzt man hierfür Machine Learning und lässt die Spieler in einer Simulation gegeneinander spielen und lernt so ganz ohne Physik, wie auf eine Situation reagiert werden muss.

Bei diesem Ansatz des bestärkenden Lernens zeigte sich übrigens, dass der so entwickelte virtuelle Gegner sehr viel besser war als der programmierte. Das liegt daran, dass die physikalischen Gesetze immer den idealen Zustand abbilden, während bei Machine Learning ausserdem das Erfahrungswissen mit ins Programm einfliesst.

Potenzial und Grenzen von Machine Learning

Wo sehen Sie für Machine Learning das grösste Potenzial?

Wir lernen in der Hochschule immer die idealen Gleichungen, doch unser Leben durchzieht sich hauptsächlich mit nicht linearen, partiellen Differenzial-Gleichungen. Nun haben die allermeisten Menschen allein schon mit dem Wortkonstrukt «nicht lineare, partielle mehrdimensionale Differenzial-Gleichungen» ein Problem, weshalb diese komplexen Bewegungsgesetze approximiert oder linearisiert werden. Wenn man nun Mechanismen hat, die sich mathematisch nur schwer beschreiben lassen, lässt sich durch maschinelles Lernen diese Unschärfe ausgleichen.

Gibt es Grenzen beim Machine Learning?

Es braucht Zeit und Daten. Wenn Sie wenige Daten haben, dauert es länger und die Gefahr eines Irrtums ist grösser. Wenn Sie dagegen viele Daten haben, müssen diese zunächst aufbereitet werden, was ebenfalls Zeit braucht. Man tut sich zwar dann leichter, aber es ist kein Garant, da die Daten unterschiedlich interpretiert werden können. Das liegt daran, dass die einen auf diesen Teil der Daten schauen, während andere sich auf einen anderen Teil fokussieren, weil hinter dem Lernen eine nicht definierte Gleichung steht und es damit automatisch zu einer Unschärfe kommt, die in verschiedene Richtungen gehen kann.

Treffsichere Dartscheibe: Unterschied mit und ohne Machine Learning

Wo würde Machine Learning bei der Umsetzung einer treffsicheren Dartscheibe helfen beziehungsweise Zeit einsparen?

Wenn man den Pfeil wirft, nimmt man an, dass dieser in einer Parabel fliegt. Das stimmt aber gar nicht, wie die Bilder mit den Hochgeschwindigkeitskameras zeigen. Vielmehr schwingt der Pfeil um seinen eigenen Schwerpunkt herum, so dass es eine Parabel gibt, über der je nach Wurftechnik ein Sinus liegt und dieser noch um bis zu 30 Grad schwingt.

Für die treffsichere Dartscheibe wird der Schwerpunkt des Pfeils extrapoliert, so dass sich berechnen lässt, an welcher Stelle dieser einschlagen wird. Mit Machine Learning liesse sich das Schwingungsverhalten um den Schwerpunkt miterfassen und so das Bullseye sehr viel präziser treffen. Damit könnte beispielsweise die Dartscheibe bei Würfen, bei denen der rechnerische Schwerpunkt des Pfeils ins Bullseye gehen müsste, die Spitze wegen der Abweichung tatsächlich aber unterhalb des Bullseye einschlägt, exakter positioniert werden.

Wenn Sie nochmals Studenten auf dieses Projekt ansetzen würden, inwieweit wären sich die Lösungsansätze durch den technischen Fortschritt überhaupt noch ähnlich?

Für das präzisere Treffen liesse sich wie eben beschrieben Machine Learning verwenden und im Sinne der mechatronischen Lösung wäre zu überlegen, eine magnetische Platte zu verwenden. Mit Xplanar von Beckhoff oder Acopostrak von B&R beispielsweise liesse sich von der Mechanik her deutlich Gewicht einsparen.

Abschliessend wäre jetzt natürlich noch interessant zu wissen, wie lange es letztendlich gedauert hat, bis der erste Pfeil ins Bullseye traf?

Nach dem ersten Semester trafen zwei von zehn Würfen. Für die SPS im Spätherbst in Nürnberg besserten zwei Studenten nach, wodurch acht, in guten Fällen neun, von zehn Würfen das Ziel erreichten.

Generell lässt sich sagen, dass die kräftigen und schnellen Würfe die einfachen sind. Zwar bleibt weniger Zeit, dafür ist die Flugbahn sehr viel stabiler als bei schwachen Würfen. Bei diesen kraftlosen Würfen gibt es keine symmetrische Parabel, wodurch die Pfeile quasi hinten herunterfallen.