Die digitale Fabrik lernt hören

Round-Table-Gespräch mit Vertretern des Industriearbeitskreises Audiotechnologie für die intelligente Produktion

Warum Audiotechnologie ein Zukunftsthema für die EMO Hannover 2023 ist, erklären fünf Wissenschaftler und ein Ingenieurdienstleister.

Was machen smarte Mikrofone in der Fabrik, planen Unternehmen Lauschangriffe auf ihre Belegschaft? Entwarnung aus dem Industriearbeitskreis Audiotechnologie für die intelligente Produktion AiP, den das Fraunhofer-Institut für Digitale Medientechnologie IDMT am Standort Oldenburg in Zusammenarbeit mit der Hochschule Emden/Leer 2020 gegründet hat. Das Netzwerk setzt auf das Zusammenspiel von Maschinen mit Akustiksystemen und KI.

Herr Dr. Appell, warum arbeiten im Industriearbeitskreis AiP Fachleute etwa aus der Auto- und Flugzeugindustrie, dem Maschinenbau oder der Elektronik mit Forschern wie Ihnen zusammen?

Dr. Jens Appell, Abteilungsleiter des Institutsteils Hör-, Sprach- und Audiotechnologie des Fraunhofer IDMT: Wir wollen gemeinsam die vielfältigen Potenziale der Audiotechnologie in der digitalisierten Produktion und Montage ausschöpfen. Dafür erarbeiten wir zusammen mit unseren industriellen Partnern Anwendungsszenarien, diskutieren ihre Gestaltung und setzen sie in gemeinsamen Projekten in die Praxis um.

Über das Potenzial der Audiotechnologie

Herr Professor Lange, der Einsatz von Mikrofonen in der Produktion ist aber doch nicht neu – etwa beim Condition Monitoring: Wo genau liegt also das Innovationspotenzial der Audiotechnologie?

Prof. Dr.-Ing. Sven Carsten Lange, Professor für Produktionstechnik an der Hochschule Emden/Leer und wissenschaftlicher Leiter beim Fraunhofer IDMT in Oldenburg für das Arbeitsgebiet Hör-, Sprach- und Neurotechnologie für die Produktion: Die audiotechnologische Prozessüberwachung gibt es tatsächlich schon seit einiger Zeit. Neuland betreten wir dagegen bei der multimodalen Anwendung in der Breite, um beispielsweise mit einem Sensor parallel und in Echtzeit Prozessmerkmale und Produktionsprozesse zu diagnostizieren, Maschinen hinsichtlich ihrer Bearbeitungsstandes und ihrer Prozessfähigkeit zu charakterisieren oder diese sogar direkt durch Sprachbefehle zu bedienen – und das ohne wesentliche mechanische Integrationsaufwände für Neu- und Bestandsmaschinen.

Herr Arnold, bitte die Einschätzung eines langjährigen Systemintegrators aus der Industrie: Inwiefern handelt es sich um Neuland?

Lorenz Arnold, Geschäftsführer MGA Ingenieurdienstleistungen GmbH, Prozessautomatisierung und Steuerungstechnik, Würzburg: Audiotechnologie wird zwar bereits in der Produktion beim Condition Monitoring genutzt, ist aber auch dort noch nicht etabliert. Völliges Neuland ist vor allem die Mensch-Maschine-Interaktion über Sprache, die in der industriellen Produktion bisher nur bei Versuchs- und Nischen-Anwendungen abläuft. Insofern sind die Aktivitäten des Arbeitskreises AiP weltweit führend. Ich kenne auf diesem Gebiet bisher weder national noch international Wettbewerber.

Unterschied zu anderen Sprachsteuerungen

Herr Norda, Sie koordinieren den Arbeitskreis AiP: Was unterscheidet Ihre Form der Sprachsteuerung von anderen Systemen wie Siri oder Alexa, was macht sie weltweit führend?

Marvin Norda, Arbeitskreis-Koordinator am Fraunhofer IDMT, Oldenburg: Auf der Fabrikebene herrschen ganz andere Anforderungen als im Wohnzimmer: Gefragt ist dort ein unabhängig von fremden Servern nur auf Firmenrechnern laufendes Akustiksystem, das auch unter den widrigen Bedingungen der Produktion mit allen Störgeräuschen robust funktioniert. Wir entwickeln anwendungsspezifische, robuste und intuitive Sprachsteuerungslösungen für den Einsatz in der Produktion. Die Sprachsteuerung ist einfach integrierbar und funktioniert auch ohne Internetverbindung. Sie erkennt selbst unter den anspruchsvollen akustischen Bedingungen industrieller Produktion zuverlässig Sprachbefehle.

Wie überzeugen Sie Interessenten aus der Industrie von Ihrer Form der Sprachsteuerung?

Marvin Norda: Mit einer sprachgesteuerten Fertigungszelle: Wir haben eine 5-Achs-Fräsmaschine und einen 4-Achs-Roboter vollständig mit Sprachsteuerung ausgestattet. Diese Technologieplattform ermöglicht es Kunden, in unterschiedlichen Störgeräuschen verschiedene Mikrofone und Headsets sowie unterschiedliche Sprachbefehle zu testen. Unsere Erfahrung zeigt, dass das Testen der Sprachsteuerung in einer realen Maschinenumgebung unsere Industriepartner am schnellsten überzeugt.

Robustheit der Sprachsteuerung wurde erhöht

Warum ist ihre Sprachsteuerung besonders für den Einsatz in der Industrie geeignet?

Marvin Norda: Durch einen umfangreichen Anpassungs- und Integrationssupport des Fraunhofer IDMT können die Spracherkenner individuell auf benötigte Sprachbefehle und Maschinenschnittstellen angepasst werden, was die Robustheit der Sprachsteuerung erhöht und den erforderlichen Integrationsaufwand reduziert.

Was spricht für Sprachsteuerung?

Marvin Norda: Sehr viel. Sprache ist die natürlichste Form der Kommunikation. Wir sind daher davon überzeugt, dass sich Sprache, ähnlich wie im Smart Home oder im Automobil, auch im industriellen Feld als Kommunikationsschnittstelle zwischen Menschen und Maschinen etablieren wird. Durch unsere Entwicklungsarbeit im Industriearbeitskreis schaffen wir somit eine Grundlage für die Bedienschnittsteller einer nächsten Generation von Industriesteuerungen, die eine berührungslose und intuitive Bedienung komplexer und mehrerer Maschinen ermöglicht.

Einfluss der Störgeräusche in einer Produktion

Doch wie gehen sie mit den unterschiedlichen Störgeräuschen einer Produktion um?

Marvin Norda: Wir werten gerade eine Studie zur Spracherkennung mit über 160.000 eingesprochenen Sprachbefehlen in unterschiedlichen Störgeräuschen aus, um unser System einem Härtetest zu unterziehen. Generell gilt: Entscheidend ist meist nicht die Art des Störgeräuschs, sondern der Störgeräuschpegel im Verhältnis zur Lautstärke des Sprechers am verwendeten Mikrofon. Mit Hilfe solcher Forschungsstudien können wir unseren Spracherkenner für den Einsatz in der Industrie optimieren und Empfehlungen zu den akustischen Systemen und ihrer Platzierung am Arbeitsplatz geben.

Aber Steuerungshersteller experimentieren doch auch mit Sprachsteuerung?

Marvin Norda: Das Thema ist nicht neu und viele Steuerungshersteller haben in diesem Bereich bereits Lösungen vorgestellt. Die flächendeckende Industrialisierung von Sprachsteuerung blieb jedoch bis jetzt aus. Wir entwickeln unsere Spracherkenner konsequent effizienz- und robustheitsgetrieben für die Produktion von morgen weiter.

«Mehrmaschinenbedienung ist die Königsklasse der Sprachsteuerung»

Mit welchem Hersteller haben Sie die automatisierte Produktionsanlage realisiert?

Marvin Norda: Wir haben unsere Algorithmen erfolgreich auf einer Beckhoff-Industriesteuerung mit einer Windows- beziehungsweise Linux-Plattform integriert. Darüber hinaus entstehen derzeit vergleichbare Lösungen für alle anderen namhaften Steuerungshersteller.

Ihre Spracherkennungssoftware läuft also nicht auf einer Cloud oder auf einem gesonderten PC, sondern auf der Steuerung in der Maschine. Lassen sich auch mehrere Maschinen per Sprachsteuerung bedienen?

Marvin Norda: Mehrmaschinenbedienung ist die Königsklasse der Sprachsteuerung, da sowohl die Komplexität von Maschinenbefehlen, Laufwege zu Maschinen als auch die kognitive Belastung des Bedieners eine Rolle spielen. Akustisch macht es jedoch keinen Unterschied, ob ich eine oder mehrere Maschinen simultan bediene. Genauso wie bei einem Touchscreen bedarf es nur eines Leitrechners, der die Befehle zur richtigen Maschine leitet.
Lorenz Arnold: Mehrmaschinenbedienung sehe ich als typische Anwendung an, die beweist, dass Sprachbedienung keine technische Spielerei ist. Es kommt zu einem berechenbaren Effizienzgewinn, der je nach Anwendung sehr signifikant sein kann. Ein Beispiel aus meiner aktuellen Praxis: Ein Kunde besitzt 25 Werkzeugmaschinen, die fünf Operatoren bedienen. Ich versuche, ihn nun von einer Sprachsteuerung zu überzeugen. Dafür sprechen die kürzeren Wege, denn ein Operator kann eine Maschine via Headset steuern, selbst wenn er weit entfernt an einer anderen steht. Und die Maschine teilt ihm aus der Ferne mit, wenn eine Störung auftritt.

Das Aufgabengebiet der smarten Sensoren

Welchen Mehrwert bietet die Akustik ausserdem?

Sven Lange: Unsere akustischen Systeme konkurrieren mit etablierter Technik. Das Erkennen zum Beispiel von Ratter-Geräuschen mit in die Maschinenstruktur integrierten Körperschall-Sensoren entspricht dem Stand der Technik. Nicht erfassen lassen sich mit diesen Sensoren jedoch andere, ebenfalls relevante Prozess- und Maschinenzustandsinformationen. Ein an geeigneter Position innerhalb oder ausserhalb des Bearbeitungsraums installiertes Mikrofon kann zum Beispiel gleichzeitig das Hauptlager der Spindel, das Lüftergebläse oder die Kühlschmierstoffzufuhr überprüfen, eine Anschnitterkennung vornehmen und Sprachbefehle aufnehmen. Der Nutzwert für den Anwender wird immens, wenn unsere smarte Sensortechnik mit KI-basierten Algorithmen erweitert wird.

Herr Hollosi, sie entwickeln mit ihrem Team smarte Sensoren: Welche Aufgaben übernehmen sie bereits in der Praxis?

Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion am Fraunhofer IDMT: Unsere akustische Prozessüberwachung arbeitet berührungslos mit Luft- oder Körperschall. Wenn Steckverbindungen einrasten, ertönt ein Klickgeräusch, den das smarte Sensorsystem erkennt. Bleibt der Klick aus, dann zeigt das akustische Monitoring-System einen Fehler an. Zugleich wird die Werkerin oder der Werker davon informiert und das Ereignis automatisch dokumentiert. Mit meinem Team habe ich KI-basierte Algorithmen für die zuverlässige Audioanalyse von Klickgeräuschen aller Art entwickelt. Bewährt hat sich unsere Lösung bereits in der Automobilindustrie bei Versuchen in der Montage von Kabelbäumen.

Die Ergebnisse und Arbeiten des Arbeitskreise AiP passen gut zum neuen Claim «Innovate Manufacturing», unter dem der VDW vom 18. bis 23 September 2023 Fachleute aus der ganzen Welt auf die EMO Hannover einlädt: Reizt Sie da nicht der Besuch dieser Weltleitmesse für Produktionstechnologie, um Ihre Highlights vorzustellen?

Christian Colmer, Leiter Marketing und Kommunikation Institutsteil HSA, Fraunhofer IDMT: Vertreter unseres Instituts und von Partnerunternehmen des Arbeitskreises sind auf jeden Fall vor Ort, um das Akustikthema in Hannover mit Kundinnen und Kunden zu vertiefen und neue Anwendungsszenarien zu erschliessen.