Zu den häufigsten privaten Nutzungszwecken von KI gehört die persönliche Unterhaltung, wie mit einem Freund oder einer romantischen Partnerin - oder auch mit einer Seelsorgerin oder einem Therapeuten. Diese Studie nimmt Risiken von sogenannter "Companion AI" in den Blick.
Sich mit einer KI ganz persönlich unterhalten, ihr Gedanken, Gefühle und Ideen anvertrauen, sich von ihr Rückmeldung und Rat holen: für viele eine ganz normale, tägliche KI-Anwendung. Eine Studie des Zentrums für Digitalrechte und Demokratie von der Autorin Ramak Molavi Vasse'i hat sich mit den Auswirkungen von solchen Anwendungen, sogenannter "Companion AI" (nicht zu verwechseln mit als "AI Companion" bezeichneten KI-gestützten Hilfsfunktionen in Programmen wie Zoom!), auseinandergesetzt.
Betrachtet werden drei Risikofelder: der Schutz der preisgegebenen privaten Informationen und Daten, Beeinflussung mit Hilfe von detaillierter Profilbildung und emotionale Abhängigkeit. Wirkmechanismen und mögliche Schäden werden aufgezeigt.
Die Studie betrachtet vor allem ausgesprochene Companion-Ai-Apps und die entsprechende Nutzung von allgemeinen Large-Language-Modellen wie etwa ChatGPT oder Claude. Genannt, aber nicht in die Studie einbezogen werden explizit psychotherapeutische Angebote, verwandt sind auch Angebote aus der Kategorie "spiritual wellbeing", die auf spirituelle und seelsorgliche Themen zielen und dafür KI-Gesprächspartner bereitstellen - einem derzeit stark wachsenden Markt. Auch wenn diese Formen nicht für die Studie untersucht wurden, dürften die aufgezeigten Risiken hier durchaus ähnlich liegen.
Eine Datenbank dokumentiert bekanntgewordene problematische Vorfälle im Zusammenhang mit Companion AI. Schließlich gibt die Studie auch Handlungsempfehlungen für die Regulierung solcher Systeme.
