Detail Page

Skipnavigation

Forschung Aktuelle Seite Projekte

Inhalt

Hier beginnt der Seiteninhalt:

SMILE: Automatische Gebärdenspracherkennung für Gebärdensprachtests

Ausgangslage und Ziele

Projektzusammenfassung in Deutschschweizer Gebärdensprache (DSGS)

Ziel des Projektes SMILE (Scalable Multimodal Sign Language Technology for Sign Language Learning and Assessment) ist es, ein Gebärdensprachtestsystem zu entwickeln, das automatische Gebärdenspracherkennung verwendet.

Methodisches Vorgehen

Das Projekt verfolgt einen multidisziplinären Ansatz: Die Forschungsstränge Gebärdensprachtechnologie und Gebärdensprachtesten werden mit der Gebärdensprachlinguistik verbunden.

Das Projektkonsortium besteht aus drei Institutionen, deren Kompetenzen sich optimal ergänzen:

  1. Das Idiap Research Institute mit Sitz in Martigny (CH) wird das Projekt koordinieren. Das Institut wird ferner einen neuartigen automatischen Gebärdensprachtest- und -feedbackansatz entwickeln, inspiriert von einem Spracherkennungsansatz, der für das SNF-Projekt „FlexASR“ entwickelt wurde.
  2. Die Interkantonale Hochschule für Heilpädagogik (HfH) mit Sitz in Zürich (CH) bringt ihre Expertise im Bereich Gebärdensprachtesten und Gebärdensprachlinguistik (in Zusammenarbeit mit dem Forschungszentrum für Gebärdensprache Basel) ins Projekt ein. Die HfH wird im Projekt auch als Schnittstelle zu L2-/Fremdsprachlernern und zur Gehörlosengemeinschaft in der Deutschschweiz fungieren.
  3. Die University of Surrey (GB) besitzt langjährige Expertise im Bereich Gebärdensprachtechnologie, visuelle Datenakquisition und Computer Vision. Als Partner im abgeschlossenen EU-Projekt „DictaSign“ verfügt die University of Surrey weiterhin über ein breites Wissen bezüglich der aktuellen Forschung zur Gebärdensprachtechnologie.

Ergebnisse

Das SMILE-Projekt folgt dem Ansatz des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER): Es entwickelt ein Testsystem, das die Produktion von DSGS-Vokabular auf der Stufe A1 misst, unter erstmaligem Einbezug von neuen Technologien für Gebärdensprache. Im Ergebnis soll eine Plattform für DSGS-spezifische Lehr- und Lernsysteme entstehen, die auch als Modell für andere Gebärdensprachen dienen kann. Die Finanzierung des SMILE-Projektes umfasst Stellen für drei Doktoranden, zwei Postdoktoranden, drei wissenschaftliche Mitarbeitende und einige gehörlose Experten.

Publikationen

  • Ebling, S., Wolfe, S., Moncrief, R., McDonald, J., Baowidan, S., Haug T., Sidler-Miserez, S., Tissi, K. (2017). Evaluation of animated Swiss-German sign language fingerspelling sequences and signs. In M. Antona & C. Stephanidis (Hrsg). Universal access in human–computer interaction. Designing novel interactions. 11th International Conference, UAHCI 2017, Held as Part of HCI International 2017, Vancouver, BC, Canada, July 9–14, 2017, Proceedings, Part II (pp. 3-13.). Vancouver, Canada: Springer International Publishing.
  • Kacorri, H., Huenerfauth, M., Ebling, S., Patel, K., Menzies, K., Willard, M. (2017). Regression analysis of demographic and technology experience factors influencing acceptance of sign language animation. Transactions on Accessible Computing (TACCESS), 10(1),1-33.
  • Ebling, S. (2016). Automatische Erkennung der DSGS. Visuell Plus, 28, 13.

Kontakt

Forschung und Entwicklung
Tel: +41 44 317 11 81

zfe[at]hfh.ch zfe