Inclusive Information and Communication Technologies (IICT)

Das Flagship startet im März 2022 und zielt insbesondere auf fünf Anwendungen im Kontext von Barrierefreiheit ab:

• Unterprojekt 1: Textvereinfachung
• Unterprojekt 2: Gebärdensprachübersetzung
• Unterprojekt 3: Gebärdensprachüberprüfung
• Unterprojekt 4: Audiodeskription
• Unterprojekt 5: gesprochene Untertitel

Innerhalb des Flagships stellt jede Anwendung ein eigenes Unterprojekt dar. Zwischen den Unterprojekten bestehen enge Verbindungen über gemeinsame Technologien, etwa Techniken der künstlichen Intelligenz.

Das Flagship wird mit seinem nutzerzentrierten Ansatz zu Innovationen führen, die Menschen mit Hör-, Seh- und kognitiven Beeinträchtigungen, aber auch hörende Gebärdensprachlernende unterstützen und damit den Aspekt von Barrierefreiheit als bidirektionalem Konzept unterstreichen. Das Flagship verfolgt einen partizipatorischen Ansatz, indem es Menschen mit Behinderungen in alle Phasen des Forschungs- und Entwicklungszyklus einbezieht.

Die HfH leitet das Unterprojekte 3 und arbeitet im Unterprojekt 2 mit. Das Flagship wird vom Institut für Computerlinguistik der Universität Zürich geleitet (Projektleitung: Dr. Sarah Ebling) und besteht neben der HfH aus zwei weiteren Forschungspartnern (ICARE-Forschungsinstitut, Idiap Research Institute), einem zusätzlichen ausländischen Forschungspartner (University of Surrey, GB), und sechs Umsetzungspartnern (SWISS TXT, CFS GmbH («capito»), Schweizerischer Gehörlosenbund SGB-FSS, Eidgenössisches Departement des Innern (EDI), d. h. Eidgenössisches Büro für die Gleichstellung von Menschen mit Behinderungen (EBGB), Bundesamt für Meteorologie und Klimatologie (MeteoSchweiz), Bundesamt für Gesundheit (BAG) und Bundesamt für Sozialversicherungen (BSV), Bundesamt für Bevölkerungsschutz (BABS) und Zürich Versicherungs-Gesellschaft AG).

Gemeinsam gehören die Flagship-Partner zu den wichtigsten Akteuren im Bereich der inklusiven IKT in der Schweiz.

Im Folgenden werden die zwei Unterprojekte, in die die HfH involviert ist, vorgestellt.

Gebärdensprachen sind natürliche Sprachen mit einer eigenen Grammatik und einem eigenen Lexikon, die sich von gesprochenen Sprachen unterscheiden. In der Schweiz gibt es drei Gebärdensprachen: Deutschschweizerische Gebärdensprache (DSGS), Französische Gebärdensprache der Schweiz (Langue des Signes Française Suisse, LSF-CH) und Italienische Gebärdensprache der Schweiz (Lingua dei Segni Italiana Svizzera, LIS-CH). Für gehörlose Gebärdensprachbenutzer:innen sind die sie umgebenden gesprochenen Sprachen Fremdsprachen, in denen sie oft ein ausgesprochen niedriges Lese- und Schreibniveau haben. Dies hat mehrere Gründe, der wichtigste ist, dass gehörlose Menschen keinen Zugang zur phonologischen Basis einer Lautsprache haben (Konrad, 2011). Äusserungen in Gebärdensprachen werden mit den Händen/Armen (manuelle Komponenten) und den Schultern, dem Kopf und dem Gesicht (nicht-manuelle Komponenten) produziert.

Die Gebärdensprachübersetzung als Teil des Innosuisse Projektes wird von SWISS TXT aufgegriffen und auf die Inhalte der Bundespartner (OEPD mit BAG, BSV und MeteoSchweiz; BABS) angewendet.

SWISS TXT bietet verschiedene gebärdensprachbezogene Dienstleistungen an:

• Live-Gebärdensprachdolmetschen für TV-Sendungen der drei SRG-Programme SRF, RTS und RSI (z.B. Tagesschau und Wetterbericht) durch hörende Dolmetscherinnen und Dolmetscher von Procom
• Vorproduzierte Gebärdensprachübersetzungen für die TV-Sendungen der drei SRG-Programme durch ein Team von gehörlosen Gebärdensprachübersetzer:innen
• Live-Gebärdensprachdolmetschen und vorproduzierte Gebärdensprachübersetzungen für Parlamente, öffentliche und Bildungsinstitutionen durch sein Team

Der Schwerpunkt des Unterprojekts 2 sind vorproduzierte Gebärdensprachübersetzungen.

Die angestrebte Übersetzungsrichtung ist von Lautsprache in Gebärdensprache. Wie in Abbildung 1 dargestellt, besteht die automatische Übersetzung in dieser Richtung naturgemäss aus zwei Schritten: einem Schritt der Kernübersetzung und einem Produktionsschritt, der einen Avatar einbezieht.

Die Inklusion gehörloser Menschen in die hörende Mehrheitsgesellschaft ist nicht nur durch Dolmetsch- und Übersetzungsdienstleistungen möglich (siehe Unterprojekt 2), sondern auch dadurch, dass mehr hörende Menschen eine Gebärdensprache erlernen, um mit gehörlosen Menschen zu kommunizieren. Dies entspricht dem Konzept der Inklusion als bidirektionales Konzept. Hörende Menschen erlernen aus unterschiedlichen Gründen eine Gebärdensprache, z.B. weil sie gehörlose Verwandte haben, Gebärdensprachdolmetschen studieren wollen, als Schulische:r Heilpädagogen:in arbeiten oder weil sie einfach an Sprachen interessiert sind. Um dieses Ziel zu erreichen und den damit verbundenen gesellschaftlichen Mehrwert zu generieren, braucht es mehr Möglichkeiten, eine der drei Schweizer Gebärdensprachen zu erlernen. Die Konsequenz daraus ist, dass für Lernende einer Gebärdensprache auch adäquate Möglichkeiten zur (Selbst)Beurteilung nötig sind.

Das Beurteilen der Gebärdensprache als Teil des Innosuisse-Projektes wird vom Schweizerischen Gehörlosenbund SGB-FSS im Rahmen der Plattform Signwise aufgegriffen, einer Online-Plattform für das Lernen der drei Schweizer Gebärdensprachen für hörende Lernende. Der Fokus dieses Unterprojekts liegt auf der Beurteilung der Deutschschweizerischen Gebärdensprache (DSGS).

Die Signwise-Plattform ermöglicht es den Lernenden, in ihrem eigenen Tempo vorzugehen, um die verschiedenen Einheiten des aktuellen Kurses auf der Stufe A1 oder A2 gemäss dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GER) zu absolvieren.

Ziel dieses Unterprojekt ist es vorhandene Lernkontrollen in Signwise durch zwei weitere Beurteilungsszenarien zu ergänzen:

1. Integration eines produktiven DSGS-Vokabeltest (A1) in Signwise: Lernende produzieren DSGS-Vokabeln in ihre Webcam und erhalten in Echtzeit Rückmeldung, ob die Gebärde richtig oder nicht richtig produziert wurde, und erhalten Rückmeldung was falsch produziert wurde.
2. Integration eines adaptiven DSGS-Verständnistests (A1-B1) in Signwise: Lernenden werden nur Aufgaben gezeigt, die seinem/ihrem Kompetenzniveau entsprechen.