SMILE II: Automatische Gebärdenspracherkennung auf Satzebene

Projekt

Ausgangslage und Ziele

Das Projekt schliesst an das SNF Sinergia Projekt SMILE I an, im Zuge dessen ein automatisiertes Bewertungssystem von manuellen DSGS Komponenten auf Wortebene entwickelt wurde. In SMILE II wird das bestehende System erweitert, um die Produktion von manuellen und nicht manuellen Komponenten von DSGS auf Wort- und Satzebene automatisch zu erkennen und zu bewerten.

Projektleitung
Tobias Haug, Prof. Dr.
Tobias
Haug
Prof. Dr.
Professor für Gebärdensprache und Partizipation bei Hörbehinderung / Leiter Bachelorstudiengang Gebärdensprachdolmetschen
+41 44 317 11 72
tobias.haug [at] hfh.ch
Fakten
Dauer
01.2021
12.2024
Nummer
4_45
Projektteam
Katja Tissi, BA
S. Sidler-Miserez
Franz Holzknecht, PhD
Finanzierung
Schweizerischer Nationalfonds SNF

Herausforderungen

Einige der Herausforderungen des Projektes sind u.a.: (a) fehlende Ressourcen zu DSGS (z.B. Sprachkorpora); (b) Gebärdensprache inkludiert sowohl manuelle Komponenten (Hand/Armbewegungen), als auch nicht manuelle Komponenten (Brust/Kopfbewegungen, Mimik) und die bisherige Forschung in diesem Bereich beschäftigte sich fast ausschliesslich mit dem automatisierten Erkennen von manuellen Komponenten; (c) Mangel an standardisierten Sprachtests für DSGS; und (d) Mangel an automatisierten Erkennungs- und Bewertungsmethoden von manuellen nicht manuellen Komponenten von Gebärdensprache.

Kollaborationen und Methoden

Um diese ambitionierten Ziele zu erreichen, arbeitet ein Team von Wissenschaftler*innen aus unterschiedlichen Bereichen und vier verschiedenen Instituten zusammen:

  • Idiap Research Institute, Martigny (automatisierte Spracherkennungstechnologie)
  • Interkantonale Hochschule für Heilpädagogik Zürich, HfH (Gebäredensprachtesten)
  • Universität Zürich (Geärdensprachlinguistik)
  • University of Surrey (GB) (Gebärdensprachtechnologie)

Die MitarbeiterInnen an der HfH, durch ihre Expertise im Gebärdensprachtesten, werden unter anderem folgende Methoden einsetzen:

  • Testentwicklung eines DSGS Ja/Nein Vokabeltests, eines DSGS Satzwiederholungstests mit entsprechender Bewertungsskala, eines DSGS Übersetzungstests, und eines DSGS Interviews mit Bewertungsskala
  • Statistische Analyse von Testergebnissen (Klassische Testtheorie, Rasch-Analysen)
  • Bewerter*innentraining, Untersuchen von Bewerter*innenreliabilität, sowie Vergleiche von automatisierten und menschlichen Bewertungen
  • Entwicklung und Auswertung von Feedbackinstrumenten für Benutzerstudien (Fragebögen, Fokusgruppen)

SMILE-II in Gebärdensprache

Die Projektzusammenfassung in Gebärdensprache sehen Sie im Video. Untertitel können ebenfalls eingeblendet werden.