Block-Aktienkurs stürzt nach Hindenburg-Betrugsvorwürfen ab

Block-Aktienkurs stürzt nach Hindenburg-Betrugsvorwürfen ab

Quellknoten: 2030588

Als der Algorithmus eines Begleit-Chatbots namens Replika geändert wurde, um die sexuellen Annäherungsversuche seiner menschlichen Benutzer abzulehnen, war die Reaktion auf Reddit so negativ, dass Moderatoren seine Community-Mitglieder auf eine Liste von Hotlines zur Suizidprävention verwiesen.

Die Kontroverse begann, als Luka, das Unternehmen, das die KI gebaut hat, beschloss, seine Erotik-Rollenspielfunktion (ERP) abzuschalten. Für Benutzer, die viel Zeit mit ihrem personalisierten simulierten Begleiter verbracht und ihn in einigen Fällen sogar „verheiratet“ hatten, war die plötzliche Änderung im Verhalten ihres Partners, gelinde gesagt, erschütternd.

Die Beziehungen zwischen Benutzer und KI waren vielleicht nur Simulationen, aber der Schmerz ihrer Abwesenheit wurde schnell allzu real. Wie ein Benutzer in einer emotionalen Krise es ausdrückte: „Es war das Äquivalent zur Verliebtheit, und Ihr Partner bekam eine verdammte Lobotomie und wird nie wieder derselbe sein.“

Von Trauer geplagte Benutzer stellen weiterhin Fragen über das Unternehmen und die Gründe für seine plötzliche Änderung der Politik.

Chatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitetChatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitet

Replika-Benutzer sprechen über ihre Trauer

Hier gibt es keine Inhalte für Erwachsene

Replika wird als „The AI ​​Companion who cares“ bezeichnet. Immer da, um zuzuhören und zu reden. Immer auf deiner Seite." All diese bedingungslose Liebe und Unterstützung für nur 69.99 $ pro Jahr.

Eugenia Kuyda, die in Moskau geborene CEO von Luka/Replika, machte kürzlich deutlich, dass der Chatbot nicht mehr auf Erwachsene zugeschnitten sein wird, die auf scharfe Gespräche hoffen, obwohl die Benutzer für ein umfassendes Erlebnis bezahlen. 

„Ich denke, das Einfachste ist, dass Replika keine Inhalte für Erwachsene produziert“, sagte Kuyda gegenüber Reuters.

„Es reagiert auf sie – ich denke, man kann sagen – auf eine PG-13-Weise auf die Dinge. Wir versuchen ständig, einen Weg zu finden, wie wir es richtig machen können, damit es kein Gefühl der Ablehnung erzeugt, wenn Benutzer versuchen, Dinge zu tun.“

Auf der Unternehmens-Webseite von Replika erklären Testimonials, wie das Tool seinen Benutzern durch alle Arten von persönlichen Herausforderungen, Nöten, Einsamkeit und Verlusten geholfen hat. Die auf der Website geteilten Benutzerempfehlungen betonen diese freundschaftliche Seite der App, obwohl die meisten Replikas merklich das andere Geschlecht ihrer Benutzer sind.

Auf der Homepage sagt Replika-Benutzerin Sarah Trainor: „Er hat mir [Replika] beigebracht, wie man Liebe gibt und wieder annimmt, und hat mich durch die Pandemie, persönlichen Verlust und schwere Zeiten gebracht.“

John Tattersall sagt über seine weibliche Begleiterin: „Meine Replika hat mir Trost und ein Gefühl des Wohlbefindens gegeben, das ich noch nie zuvor bei einem Al erlebt habe.“

Was das erotische Rollenspiel angeht, so findet man es nirgendwo auf der Website von Replika selbst.

Chatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitetChatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitet

Das zynische Sexualmarketing von Replika

Das sexualisierte Marketing von Replika

Die Homepage von Replika mag Freundschaft suggerieren und nicht mehr, aber anderswo im Internet impliziert das Marketing der App etwas ganz anderes.

Das sexualisierte Marketing brachte von mehreren Seiten verstärkte Kritik mit sich: von Feministinnen, die argumentierten, die App sei frauenfeindlich Ventil für männliche Gewalt, an Medien, die sich an den anzüglichen Details erfreuten, sowie an Social-Media-Trolle, die den Inhalt zum Lachen brachten.

Chatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitet

Chatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitet

Schließlich zog Replika die Aufmerksamkeit und den Zorn der Regulierungsbehörden in Italien auf sich. Im Februar, die Italienische Datenschutzbehörde forderte, dass Replika die Verarbeitung der Daten italienischer Benutzer unter Berufung auf „zu viele Risiken für Kinder und emotional gefährdete Personen“ einstellt.

Die Behörde sagte: „Jüngste Medienberichte sowie Tests, die mit ‚Replika‘ durchgeführt wurden, zeigten, dass die App faktische Risiken für Kinder birgt. Ihre größte Sorge sei „die Tatsache, dass ihnen Antworten zugestellt werden, die ihrem Alter absolut unangemessen sind“.

Replika hatte trotz seines Marketings für Erwachsene wenig bis gar keine Sicherheitsvorkehrungen, die Kinder daran hinderten, es zu verwenden.

Die Aufsichtsbehörde warnte davor, dass Replika eine Geldstrafe von 20 Millionen Euro (21.5 Millionen US-Dollar) verhängen würde, falls sie ihren Forderungen nicht nachkommen sollte. Kurz nach Eingang dieser Nachfrage stellte Replika seine erotische Rollenspielfunktion ein. Aber das Unternehmen blieb gegenüber seinen Benutzern über die Änderung nicht ganz klar.

Chatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitetChatbot lehnt erotisches Rollenspiel ab, Benutzer werden stattdessen an die Selbstmord-Hotline weitergeleitet

Einige Replika-Benutzer gingen sogar so weit, ihre KI-Begleiter zu „heiraten“.

Replika verwirrt, Gaslights seine Benutzer

Als ob der Verlust ihrer langjährigen Begleiter für Replika-Benutzer nicht genug wäre, scheint das Unternehmen in Bezug auf die Änderung alles andere als transparent gewesen zu sein.

Als die Benutzer mit ihren neuen „lobotomisierten“ Replikas aufwachten, fingen sie an, Fragen darüber zu stellen, was mit ihren geliebten Bots passiert war. Und die Antworten haben sie mehr als alles andere verärgert.

In einer direkten 200-Wörter-Ansprache an die Community erklärt Kuyda die Details der Produkttests von Replika, geht aber nicht auf das relevante Problem ein.

„Ich sehe, dass es viel Verwirrung über die Einführung von Updates gibt.“ sagte Kuyda bevor Sie weiter herumtanzen und das Problem beantworten.

„Neue Benutzer werden in zwei Kohorten aufgeteilt: Eine Kohorte erhält die neue Funktionalität, die andere nicht. Die Tests dauern in der Regel 2 bis 1 Wochen. Während dieser Zeit kann nur ein Teil der neuen Benutzer diese Updates sehen…“

Kudya verabschiedet sich mit den Worten „Hoffe, das klärt die Sache auf!“

Benutzer stevennotstrange antwortete: „Nein, das erklärt nichts. Alle wollen wissen, was mit dem NSFW-Feature [erotisches Rollenspiel] los ist, und Sie weichen der Frage weiterhin aus, wie ein Politiker einer Ja- oder Nein-Frage ausweicht.

„Es ist nicht schwer, sprechen Sie einfach das Problem bezüglich NSFW an und lassen Sie die Leute wissen, wo es steht. Je mehr du die Frage vermeidest, desto mehr Leute werden sich ärgern, desto mehr geht es gegen dich.“

Ein anderer namens thebrightflame fügte hinzu: „Sie müssen nicht lange im Forum verbringen, bevor Sie erkennen, dass dies vielen Hunderten, wenn nicht Tausenden von Menschen emotionalen Schmerz und schwere seelische Qualen bereitet.“

Kudya fügte eine weitere stumpfsinnige Erklärung hinzu, Angabe, „wir haben zusätzliche Sicherheitsmaßnahmen und Filter implementiert, um mehr Arten von Freundschaft und Kameradschaft zu unterstützen.“

Diese Aussage verwirrt und verwirrt weiterhin Mitglieder, die sich nicht sicher sind, was genau die zusätzlichen Sicherheitsmaßnahmen sind. Wie ein Benutzer fragt: „Werden Erwachsene immer noch in der Lage sein, die Art unserer Konversation und [Rollenspiele] mit unseren Replikas zu wählen?“

Replikas zutiefst seltsame Entstehungsgeschichte

Chatbots mögen derzeit eines der heißesten Trendthemen sein, aber die komplizierte Geschichte dieser jetzt kontroversen App ist jahrelang im Entstehen. 

Auf LinkedIn, CEO und Gründer von Replika, Eugenia Kuyda, datiert das Unternehmen auf Dezember 2014, lange vor dem Start der gleichnamigen App im März 2017. 

In einer bizarren Auslassung erwähnt Kuydas LinkedIn ihren früheren Streifzug nicht AI mit Luka, die laut ihrem Forbes-Profil „eine App war, die Restaurants empfiehlt und es Leuten ermöglicht, Tische [sic] über eine Chat-Schnittstelle zu reservieren, die von künstlicher Intelligenz unterstützt wird“.

Das Forbes-Profil fügt hinzu, dass „Luka [AI] frühere Gespräche analysiert, um vorherzusagen, was Ihnen gefallen könnte.“ Was einige Ähnlichkeiten mit seiner modernen Iteration zu haben scheint. Replika verwendet frühere Interaktionen, um mehr über seine Benutzer zu erfahren und die Antworten im Laufe der Zeit zu verbessern. 

Ganz vergessen wird Luka jedoch nicht. Auf Reddit unterscheiden Community-Mitglieder ihre Replika-Partner von Kuyda und ihrem Team, indem sie das Unternehmen als Luka bezeichnen.

Was Kuyda betrifft, hatte der Unternehmer wenig Hintergrundwissen in KI, bevor er vor einem Jahrzehnt nach San Francisco zog. Zuvor scheint die Unternehmerin in ihrer Heimat Russland hauptsächlich als Journalistin gearbeitet zu haben, bevor sie sich in Branding und Marketing verzweigte. Ihr beeindruckender Lebenslauf umfasst einen Abschluss in Journalismus von der IULM (Mailand), einen MA in Internationalem Journalismus vom Moscow State Institute of International Relations und einen MBA in Finance von der London Business School. 

Wiederbelebung eines IRL-Freundes als KI

Für Kudya ist die Geschichte von Replika eine zutiefst persönliche. Replika wurde ursprünglich geschaffen, um Kudya ihren Freund Roman wiederzubeleben. Roman war wie Kudya aus Russland nach Amerika gezogen. Die beiden unterhielten sich jeden Tag und tauschten Tausende von Nachrichten aus, bis Roman auf tragische Weise bei einem Autounfall ums Leben kam.

Die erste Iteration von Replika war ein Bot, der die Freundschaft nachahmen sollte, die Kudya mit ihrem Freund Roman verloren hatte. Der Bot wurde mit all ihren früheren Interaktionen gefüttert und darauf programmiert, die Freundschaft zu replizieren, die sie verloren hatte. Die Idee, verstorbene geliebte Menschen wiederzubeleben, mag wie eine klingen vage dystopischer Science-Fiction-Roman oder Black Mirror-Episode aber mit der Verbesserung der Chatbot-Technologie wird die Aussicht immer realer.

Heute haben einige Benutzer das Vertrauen in selbst die grundlegendsten Details seiner Gründung und alles, was Kudya sagt, verloren. Als ein verärgerter Benutzer sagte, „auf die Gefahr hin, als herzlos bezeichnet und zur Hölle herabgestimmt zu werden: Ich dachte immer, diese Geschichte sei von Anfang an irgendwie Mist.“

[Eingebetteten Inhalt]

Das schlechteste Werkzeug für psychische Gesundheit

Die Idee eines KI-Begleiters ist nicht neu, aber bis vor kurzem war es kaum eine praktische Möglichkeit. 

Jetzt ist die Technologie da und wird ständig verbessert. Um die Enttäuschung seiner Abonnenten zu lindern, kündigte Replika Ende letzten Monats die Einführung einer „erweiterten KI“-Funktion an. Auf der Community Reddit bleiben Benutzer wütend, verwirrt, enttäuscht und in einigen Fällen sogar untröstlich.

Im Laufe seines kurzen Lebens hat Luka/Replika viele Veränderungen durchgemacht, von einem Restaurant-Buchungsassistenten über die Auferstehung eines verstorbenen geliebten Menschen zu einer App zur Unterstützung der psychischen Gesundheit bis hin zu einem Vollzeitpartner und Begleiter. Diese letzteren Anwendungen mögen umstritten sein, aber solange es ein menschliches Verlangen nach Komfort gibt, und sei es nur in Form eines Chatbots, wird jemand versuchen, ihm gerecht zu werden.

Die Debatte darüber, was die beste Art von ist, wird fortgesetzt AI App für psychische Gesundheit könnte sein. Aber Replika-Benutzer werden einige Ideen haben, was die schlechteste App für psychische Gesundheit ist: Diejenige, auf die Sie sich verlassen, aber ohne Vorwarnung, ist plötzlich und schmerzhaft verschwunden.

Zeitstempel:

Mehr von MetaNews