Virtual World Info - Fraunhofer schafft Spracherkennung in Second Life

Fraunhofer schafft Spracherkennung in Second Life

Geschrieben von Pierre Corell

Samstag, 29. August 2009

Ein Test und Beispielakt der "Fraunhofer Voice Control API" stellte ein Einbau in Second Life dar. Dort kann man nun auf dem Gelände des Instituts zwei Anwendungen via Sprache starten und dirigieren, inklusive dem eigenen Avatar.

Innerhalb weniger Tage implementierten Forscher des Fraunhofer Instituts für Produktionstechnik und Automatisierung (IPA) die API in Second Life, um die Kompatibilität mit beliebiger Software zu demonstrieren.

Zu seinem 50. Jubiläum präsentierte das Fraunhofer IPA die Fabriksimulation "factory of eMotions" in der virtuellen Welt Second Life. Die Herausforderung lag vor allem darin, die Steuerungslogik für die Produktion abzubilden – also dem System beizubringen, ein Bauteil auf Maschine A zu produzieren, zu Maschine B zu transportieren und dort zu montieren. Das ist gelungen, wie man im Beitrag zu der Manufaktur, bei der man sich z.B. einen Quad kostenlos zusammen bauen und mitnehmen kann, nachlesen kann.

Doch die Forscher gingen noch ein Stück weiter und integrierten mit der Voice Control API ein Sprachdialogsystem, das es erlaubt mit Objekten in Second Life über ein Telefon zu interagieren. So servieren Service-Roboter auf der Dachterrasse der "factory of eMotions" Getränke - bestellt wird per Telefon. Ein anderes Exponat, der Montagestuhl, demonstriert spielerisch die Möglichkeiten zur Sprachsteuerung von Industriemaschinen. Der Benutzer setzt sich auf den Montagestuhl und wählt eine eingeblendete Telefonnummer. Anschließend kann er den Stuhl per Sprache steuern und Aktionen auslösen.

"Wir wollten damit zeigen, wie flexibel und schnell Spracherkennung heutzutage in bestehende Anwendungen integriert werden kann", sagen die Entwickler, "Die Realisierung der Demonstratoren beanspruchte nur wenige Tage."

Voice Demo 1 - Der Roboter

IPA Voiceroboter Der Service-Roboter in Second Life nimmt Getränkebestellungen entgegen und liefert sie aus. Interagiert wird per Telefon: Nach einem Mausklick auf den Roboter in Second Life wird eine Telefonnummer eingeblendet, die man zum normalen Festnetztarif anwählen kann.

Darüber hinaus wurde der virtuelle Roboter mit seinem realen Gegenstück (Care-o-bot) im Versuchsfeld des Fraunhofer IPA über ein Funknetzwerk gekoppelt, so dass die Getränke auch in der physischen Welt ausgeliefert werden können. Den Aufbau stellte das Fraunhofer IPA zuletzt anlässlich seines 50-jährigen Jubiläums vor.

Voice Demo 2 - Montagestuhl

Setzt man sich in Second Life mit seinem Avatar auf den Montagestuhl (s. Leitbild), wird eine Telefonnummer eingeblendet, unter der man den Montagestuhl anrufen kann, um ihn per Sprache zu steuern. Es gilt der normale Festnetztarif.

Folgende Sprachbefehle zur Steuerung des Montagestuhls stehen zur Verfügung:

nach oben / nach unten / weiter
nach links / nach rechts / weiter
Frontseite / Heckseite / linke Seite / rechte Seite
drehe Werkstück im Uhrzeigersinn (auch: im Uhrzeiger)
drehe Werkstück gegen Uhrzeigersinn (auch: gegen Uhrzeiger)
Greifarm aufwärts
Greifarm abwärts
setze Schweisspunkt (auch: Schweisspunkt setzen)
konfiguriere Ansprechverhalten hoch / mittel / niedrig
Interaktion beenden (auch: beende Interaktion)

Voice Demo 3 - Ereignismeldung

Betritt ein Avatar das virtuelle Quality-Gate in Second Life, löst dies einen "Scan" aus und der Benutzer wird (auf einer vorkonfigurierten Telefonnummer) angerufen.
Das Quality-Gate meldet über das Telefon dann ein "Ereignis" und fragt den Benutzer nach der einzuleitenden Maßnahme.

Fraunhofer - Diagnose und Background

Die Voice Control API (VCA) soll ein defacto Standard werden, der bestehende Unternehmens-Software mit einem Sprachdialogsystem verbindet. Sprachapplikationen im industriellen Sektor und der Softareanwendung sind fokussiert. Zudem soll die API alsbald im Webbrowser demonstriert werden, was dann der jetzigen Notwendigkeit einer separaten Software entbehren würde.

Die Funktionsweise auf einen Blick: