Kinesic

Von:

Hannah Vesterling, Daria Daschevski, Tuyen Holländer

Betreut durch:

Prof. Kristian Wolf, Kjell Wistoff, Conrad Weise

Kooperation:

Kunsthalle Barmen

Nonverbale Mensch-Maschine-Interaktion auf Basis natürlicher Sprachverarbeitung

Kinesic beschäftigt sich mit der Frage: Was ist Sprache? Welche Formen kann sie annehmen – besonders im Spannungsfeld zwischen menschlicher Kommunikation und der Interaktion mit Technik?

Large Language Models wie ChatGPT sind längst Teil unseres Alltags. Sie dienen nicht nur zur Informationsbeschaffung, sondern auch als digitale Gesprächspartner – allerdings rein textbasiert, ohne nonverbale Signale wie Mimik oder Gestik. Doch wie unterscheidet sich das von echter zwischenmenschlicher Kommunikation?

Körpersprache spielt hier eine zentrale Rolle. Sie transportiert Emotionen und Intentionen oft direkter und intuitiver als Worte. Ein Blick oder eine Geste kann mehr sagen als ein ganzer Satz. Kinesic greift diese Idee auf und überträgt sie auf die Interaktion mit Maschinen.

<? $page->title() ?>
<? $page->title() ?>

Funktionsweise

Kinesic ist ein sprachbasiertes System, das Texteingaben per natürlicher Sprachverarbeitung analysiert. Im Unterschied zu klassischen Sprachmodellen generiert es jedoch keine Textantworten, sondern reagiert ausschließlich mit Körpersprache und emotionaler Mimik in Form kurzer Videosequenzen.

Das System greift dafür auf ein fest definiertes Repertoire an Emotionsvideos zurück. Es wertet nicht nur den Inhalt der Eingabe aus, sondern auch deren emotionale Tonalität. Auf dieser Basis wählt Kinesic eine Kombination von bis zu sechs passenden Emotionen, die visuell dargestellt werden.

So entsteht eine neuartige, nonverbale Mensch-Maschine-Interaktion, die emotionale Reaktionen sichtbar macht – ähnlich wie im zwischenmenschlichen Dialog.

<? $page->title() ?>
<? $page->title() ?>
<? $page->title() ?>

Das Projekt wurde im Rahmen der Ausstellung Shared Spaces in der Kunsthalle Barmen präsentiert.

Zurück zur Projektübersicht.
Weitere Projekte DESIGN INTERAKTIVER MEDIEN:

  • Kinesic

    Barko – barking dogs tweet a lot
    Asaki Nakamura, Raditya Taepoer, Daniel Ottenjann, Kimberly Rautzenberg

  • Kinesic

    Medienstation im Engelshaus Wuppertal: Brief Korrespondenz der Familie Engels

  • Kinesic

    auditory
    Wiebke Warncke

  • Kinesic

    Steps
    Nele Sophie Hahn