SMILE II: Automatische Gebärdenspracherkennung auf Satzebene

Projekt

Ausgangslage und Ziele

Das Projekt schliesst an das SNF Sinergia Projekt SMILE I an, im Zuge dessen ein automatisiertes Bewertungssystem von manuellen DSGS Komponenten auf Wortebene entwickelt wurde. In SMILE II wird das bestehende System erweitert, um die Produktion von manuellen und nicht manuellen Komponenten von DSGS auf Wort- und Satzebene automatisch zu erkennen und zu bewerten.

Projektleitung

Haug Tobias

Tobias Haug Prof. Dr.

Professor für Gebärdensprache und Partizipation bei Hörbehinderung / Leiter Bachelor Gebärdensprachdolmetschen

Fakten

  • Dauer
    01.2021
    06.2025
  • Projektnummer
    4_45

Projektteam

Kooperationen

  • Idiap Research Institute
  • Institut für Computerlinguistik, Universität Zürich
  • University of Surrey

Finanzielle Unterstützung

  • Schweizerischer Nationalfonds SNF

Herausforderungen

Einige der Herausforderungen des Projektes sind u.a.: (a) fehlende Ressourcen zu DSGS (z.B. Sprachkorpora); (b) Gebärdensprache inkludiert sowohl manuelle Komponenten (Hand/Armbewegungen), als auch nicht manuelle Komponenten (Brust/Kopfbewegungen, Mimik) und die bisherige Forschung in diesem Bereich beschäftigte sich fast ausschliesslich mit dem automatisierten Erkennen von manuellen Komponenten; (c) Mangel an standardisierten Sprachtests für DSGS; und (d) Mangel an automatisierten Erkennungs- und Bewertungsmethoden von manuellen nicht manuellen Komponenten von Gebärdensprache.

Kollaborationen und Methoden

Um diese ambitionierten Ziele zu erreichen, arbeitet ein Team von Wissenschaftler:innen aus unterschiedlichen Bereichen und vier verschiedenen Instituten zusammen:

  • Idiap Research Institute, Martigny (automatisierte Spracherkennungstechnologie)
  • Interkantonale Hochschule für Heilpädagogik Zürich, HfH (Gebärdensprachtesten)
  • Universität Zürich (Gebärdensprachlinguistik)
  • University of Surrey (GB) (Gebärdensprachtechnologie)

Die MitarbeiterInnen an der HfH, durch ihre Expertise im Gebärdensprachtesten, werden unter anderem folgende Methoden einsetzen:

  • Testentwicklung eines DSGS Ja/Nein Vokabeltests, eines DSGS Satzwiederholungstests mit entsprechender Bewertungsskala, eines DSGS Übersetzungstests, und eines DSGS Interviews mit Bewertungsskala
  • Statistische Analyse von Testergebnissen (Klassische Testtheorie, Rasch-Analysen)
  • Bewerter:innentraining, Untersuchen von Bewerter:innenreliabilität, sowie Vergleiche von automatisierten und menschlichen Bewertungen
  • Entwicklung und Auswertung von Feedbackinstrumenten für Benutzerstudien (Fragebögen, Fokusgruppen)

SMILE-II in Gebärdensprache

Die Projektzusammenfassung in Gebärdensprache sehen Sie im Video. Untertitel können ebenfalls eingeblendet werden.

Zeitschriftenartikel (peer-reviewed)

Bücher und Buchbeiträge

  • Holzknecht, F., & Haug, T.
    (2024).
    Sign language assessment: Common misconceptions and the need for language assessment literacy development.
    In B. Baker, & L. Taylor (Hrsg.),
    Language Assessment Literacy and Competence Volume 1: Research and Reflections from the Field
    (S. 195–203).
    Cambridge University Press.
    https://www.cambridgeenglish.org/Images/717470-silt-volume-55.pdf

Konferenzbeiträge

  • Cory, O., Mercanoglu Sincan, Ö., Vowels, M., Battisti, A., Holzknecht, F., Tissi, K., Sidler-Miserez, S., Haug, T., Ebling, S., & Bowden, R.
    (2024).
    Modelling the Distribution of Human Motion for Sign Language Assessment.
    In ECCV 2024 (Hrsg.),
    Twelfth International Workshop on Assistive Computer Vision and Robotics at ECCV 2024,
    https://doi.org/10.48550/arXiv.2408.10073
  • Holzknecht, F., Haug, T., Battisti, A., Tissi, K., Sidler-Miserez, S., & Ebling, S.
    Reforming sign language assessment: Setting up a longitudinal learner corpus of rated elicited imitation performances to develop an AI-driven sign language assessment system
    [Konferenzvortrag].
    Language Testing Research Colloquium (LTRC) 2024,
    Innsbruck.
  • Tornay, S., Nanchen, A., Battisti, A., Holzknecht, F., Tarigopula, N., Mendez Maldonado, O., Camgöz, N. C., Razavi, M., Tissi, K., Sidler-Miserez, S., Boyes Bream, P., Ebling, S., Haug, T., Bowden, R., & Magimai-Doss, M.
    Web SMILE demo: a web application providing automated feedback on sign language vocabulary production
    [Konferenzvortrag].
    44th Language Testing and Research Colloquium: Language Assessment for a Global, Digital, and More Equitable Era,
    New York City, USA.
  • Haug, T., & Holzknecht, F.
    Using automatic sign language recognition for sentence-level assessment of Swiss German Sign Language - SMILE-II
    [Konferenzvortrag].
    Language Testing Research Colloquium 2020,
    online.

Andere Referate/Vorträge (im Berufsfeld, Vorlesung an Hochschule etc.)

  • Haug, T., & Tissi, K.
    Modalitätsspezifische Aspekte von Gebärdensprachen: Lernen, Testen und Ressourcen.
    Ringvorlesung Universität Bern, Institut für Allgemeine Sprachwissenschaften,
    Bern, Schweiz.