SMILE II: Automatische Gebärdenspracherkennung auf Satzebene

Projekt

Ausgangslage und Ziele

Das Projekt schliesst an das SNF Sinergia Projekt SMILE I an, im Zuge dessen ein automatisiertes Bewertungssystem von manuellen DSGS Komponenten auf Wortebene entwickelt wurde. In SMILE II wird das bestehende System erweitert, um die Produktion von manuellen und nicht manuellen Komponenten von DSGS auf Wort- und Satzebene automatisch zu erkennen und zu bewerten.

Projektleitung

Haug Tobias

Tobias Haug Prof. Dr.

Professor für Gebärdensprache und Partizipation bei Hörbehinderung / Leiter Bachelor Gebärdensprachdolmetschen

Fakten

  • Dauer
    01.2021
    12.2024
  • Neue Projektnummer
    4_45

Projektteam

Kooperationen

Finanzielle Unterstützung

Herausforderungen

Einige der Herausforderungen des Projektes sind u.a.: (a) fehlende Ressourcen zu DSGS (z.B. Sprachkorpora); (b) Gebärdensprache inkludiert sowohl manuelle Komponenten (Hand/Armbewegungen), als auch nicht manuelle Komponenten (Brust/Kopfbewegungen, Mimik) und die bisherige Forschung in diesem Bereich beschäftigte sich fast ausschliesslich mit dem automatisierten Erkennen von manuellen Komponenten; (c) Mangel an standardisierten Sprachtests für DSGS; und (d) Mangel an automatisierten Erkennungs- und Bewertungsmethoden von manuellen nicht manuellen Komponenten von Gebärdensprache.

Kollaborationen und Methoden

Um diese ambitionierten Ziele zu erreichen, arbeitet ein Team von Wissenschaftler:innen aus unterschiedlichen Bereichen und vier verschiedenen Instituten zusammen:

  • Idiap Research Institute, Martigny (automatisierte Spracherkennungstechnologie)
  • Interkantonale Hochschule für Heilpädagogik Zürich, HfH (Gebärdensprachtesten)
  • Universität Zürich (Gebärdensprachlinguistik)
  • University of Surrey (GB) (Gebärdensprachtechnologie)

Die MitarbeiterInnen an der HfH, durch ihre Expertise im Gebärdensprachtesten, werden unter anderem folgende Methoden einsetzen:

  • Testentwicklung eines DSGS Ja/Nein Vokabeltests, eines DSGS Satzwiederholungstests mit entsprechender Bewertungsskala, eines DSGS Übersetzungstests, und eines DSGS Interviews mit Bewertungsskala
  • Statistische Analyse von Testergebnissen (Klassische Testtheorie, Rasch-Analysen)
  • Bewerter:innentraining, Untersuchen von Bewerter:innenreliabilität, sowie Vergleiche von automatisierten und menschlichen Bewertungen
  • Entwicklung und Auswertung von Feedbackinstrumenten für Benutzerstudien (Fragebögen, Fokusgruppen)

SMILE-II in Gebärdensprache

Die Projektzusammenfassung in Gebärdensprache sehen Sie im Video. Untertitel können ebenfalls eingeblendet werden.

Publikationen

  • Haug, T., & Holzknecht, F.
    Using automatic sign language recognition for sentence-level assessment of Swiss German Sign Language - SMILE-II
    [Konferenzvortrag].
    Language Testing Research Colloquium 2020,
    online.
  • Haug, T., & Tissi, K.
    Modalitätsspezifische Aspekte von Gebärdensprachen: Lernen, Testen und Ressourcen.
    Ringvorlesung Universität Bern, Institut für Allgemeine Sprachwissenschaften,
    Bern, Schweiz.
  • Tornay, S., Nanchen, A., Battisti, A., Holzknecht, F., Tarigopula, N., Mendez Maldonado, O., Camgöz, N. C., Razavi, M., Tissi, K., Sidler-Miserez, S., Boyes Bream, P., Ebling, S., Haug, T., Bowden, R., & Magimai-Doss, M.
    Web SMILE demo: a web application providing automated feedback on sign language vocabulary production
    [Konferenzvortrag].
    44th Language Testing and Research Colloquium: Language Assessment for a Global, Digital, and More Equitable Era,
    New York City, USA.