Mobile-Menu

Forschung Wie Fahrer und Auto sich besser verstehen

Von Sven Prawitz 4 min Lesedauer

Anbieter zum Thema

Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
invenio AG
PIA AUTOMATION HOLDING GMBH
ZORGE Rubber Solutions GmbH

Wie ein Fahrzeug mit den Insassen abhängig vom Automatisierungsgrad kommunizieren soll, ist Ziel des Forschungsprojekts „Karli“. Es soll etwa Reiseübelkeit vermindern.

Forscher arbeiten daran, relevante Informationen aus der Insassenüberwachung zu extrahieren und sie als Kontext für verschiedene Funktionen des Fahrzeugs, wie KI-Assistenten und Sicherheitssysteme, bereitzustellen.(Bild: Fraunhofer IOSB/Zensch)
Forscher arbeiten daran, relevante Informationen aus der Insassenüberwachung zu extrahieren und sie als Kontext für verschiedene Funktionen des Fahrzeugs, wie KI-Assistenten und Sicherheitssysteme, bereitzustellen.
(Bild: Fraunhofer IOSB/Zensch)

„Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser.“ Oder: „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“

So oder so ähnlich könnten Autos in ein paar Jahren mit ihren Fahrern kommunizieren. Mit zunehmendem Automatisierungsgrad der Fahrzeuge muss auch die Interaktion mit den Menschen neu gedacht werden. Diese Aufgabe hat sich ein Forschungsteam aus den Fraunhofer-Instituten für Optronik, Systemtechnik und Bildauswertung IOSB und für Arbeitswirtschaft und Organisation IAO zusammen mit zehn Partnern, darunter Continental, Ford und Audi, sowie eine Reihe von Mittelständlern und Universitäten im Projekt „Karli“ gestellt. Der Name steht für Künstliche Intelligenz (KI) für adaptive, responsive und levelkonforme Interaktion im Fahrzeug der Zukunft.

Angepasst auf Automatisierungsstufe kommunizieren

Je nach Automatisierungslevel müssen sich die Fahrer auf die Straße konzentrieren oder können sich mit anderen Tätigkeiten befassen. Sie haben zehn Sekunden Zeit, das Lenkrad wieder zu übernehmen, oder müssen zum Teil gar nicht mehr eingreifen. Diese unterschiedlichen Anforderungen an die Nutzenden und die Möglichkeit, je nach Straßensituation zwischen den verschiedenen Stufen zu wechseln, machen es zur komplexen Aufgabe, passende Interaktionen für jede Ebene zu definieren und zu gestalten. Zudem muss durch Interaktion und Design sichergestellt werden, dass den Fahrenden stets das aktuelle Automationslevel bewusst ist, damit sie ihre Rolle darin erfüllen können.

Die im Projekt Karli entwickelten Applikationen haben drei Schwerpunkte:

  • Warnungen und Hinweise sollen ein der Automatisierungsstufe angepasstes Verhalten fördern. Beispielsweise soll verhindert werden, dass der Fahrer in einem Moment abgelenkt ist, der Aufmerksamkeit auf die Straße erfordert. Die Nutzeransprache ist dabei dem jeweiligen Level angepasst – visuell, akustisch, haptisch oder eine Kombination aus diesen Möglichkeiten. Die Interaktion wird dabei von KI-Agenten gesteuert, deren Leistungsfähigkeit und Zuverlässigkeit die Partner evaluieren.
  • Das Auftreten von Reiseübelkeit – eines der größten Probleme beim passiven Fahren – vorhersehen und minimieren. Zwischen 20 und 50 Prozent der Menschen leiden an dieser sogenannten Motion Sickness. Abhängig von erwartbaren Beschleunigungen auf kurvenreichen Strecken sollen die Insassen zum richtigen Zeitpunkt Tipps mit Bezug auf deren aktuelle Aktivitäten gegeben werden.
  • Generierte User Interfaces, kurz „GenUIn‘“ sind der dritte Schwerpunkt im Projekt Karli. GenUIn erstellt individualisierte Ansprachen und gibt Hinweise, wie Übelkeit vermindert werden kann, sollte sie dennoch auftreten. Diese Tipps können sich auf die aktuelle Tätigkeit beziehen, die durch Sensoren erfasst wird, aber auch berücksichtigen, welche Möglichkeiten im aktuellen Kontext überhaupt zur Verfügung stehen. Die Nutzerinnen und Nutzer erhalten durch die Äußerung von Wünschen zudem die Möglichkeit, die gesamte Interaktion im Fahrzeug nach und nach zu personalisieren und an ihre Bedürfnisse anzupassen. Das Automationslevel wird bei der Interaktion immer berücksichtigt: So können die Hinweise mal kurz und rein sprachlich sein, wenn der Fahrende sich auf die Straße konzentriert, oder ausführlich und über visuelle Kanäle, wenn das Fahrzeug gerade die Fahraufgabe ausführt.

Künstliche Intelligenz und Vision Language Model

Um die Aktivitäten im Auto zu erfassen, kommen verschiedene Sensoren zum Einsatz, zentral dabei sind optische Sensoren aus Innenraumkameras. Diese werden durch die aktuelle Gesetzgebung zum automatisierten Fahren ohnehin verpflichtend, um die Fahrtüchtigkeit der Fahrenden sicherzustellen. Die visuellen Daten der Kameras kombinieren die Forschenden dann mit großen Sprachmodellen zu sogenannten Vision Language Models (VLM). Diese sind die Grundlage dafür, dass moderne Assistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können. Diederichs vergleicht die Interaktion im Fahrzeug der Zukunft mit einem Butler, der sich im Hintergrund hält, aber den Kontext kennt und den Insassen bestmögliche Unterstützung bietet.

„Entscheidende Faktoren für die Akzeptanz solcher Systeme sind Vertrauen in den Dienstanbieter, die Datensicherheit und ein direkter Nutzen für die Fahrenden“, sagt Frederik Diederichs. Deshalb sind bestmögliche Anonymisierung und Datensicherheit sowie eine transparente und erklärbare Erfassung der Daten wesentlich. „Nicht alles, was im Sichtfeld einer Kamera ist, wird ausgewertet. Es muss transparent sein, welche Informationen ein Sensor erfasst und wofür sie genutzt werden.“ In einem weiteren Projekt (Anymos) arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, datensparsam zu verarbeiten und effektiv zu schützen.

Serieneinsatz ab 2026

Ein weiteres Thema des vom Bundesministerium für Wirtschaft und Klimaschutz geförderten Forschungsprojekts ist die Dateneffizienz. Die Projektbeteiligten haben einen Ansatz gewählt, der nach eigenen Angaben nur wenige, qualitativ hochwertige KI-Trainingsdaten benötigt. Diese seien empirisch erhoben und synthetisch erzeugt. Auf dieser Datenbasis könnten Automobilhersteller entscheiden, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können. „So ist der Datenaufwand überschaubar und die Projektergebnisse werden skalierbar“, erklärt Diederichs.

Erst kürzlich nahmen Diederichs und sein Team ein mobiles Forschungslabor auf Basis eines Mercedes EQS in Betrieb, um die Nutzerbedürfnisse beim automatisierten Fahren im Level 3 auf der Straße zu erforschen. Dort werden die Erkenntnisse aus dem Projekt Karli in der Praxis getestet und evaluiert. Somit könnten erste Funktionen ab dem Jahr 2026 in Serienfahrzeugen zur Verfügung stehen. Diederichs sieht in einer positiven Nutzererfahrung beim automatisierten Fahren einen entscheidenden Wettbewerbsvorteil, wenn Autohersteller „mit KI auf die Nutzeranforderungen eingehen und die Interaktion individualisieren“.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Projekt Karli: Die Teilnehmer

  • Allround Team
  • Audi
  • Continental
  • Ford
  • Fraunhofer IAO
  • Fraunhofer IOSB
  • Hochschule der Medien
  • Invensity
  • Semvox
  • Studiokurbos
  • TWT
  • Universität Stuttgart IAT

(ID:50120099)

Weiterführende Inhalte