Blokkeer de aandelenkoers keldert na beschuldigingen van Hindenburg-fraude

Blokkeer de aandelenkoers keldert na beschuldigingen van Hindenburg-fraude

Bronknooppunt: 2030588

Toen het algoritme van een begeleidende chatbot, bekend als Replika, werd gewijzigd om de seksuele avances van zijn menselijke gebruikers af te wijzen, was de reactie op Reddit zo negatief dat moderators de leden van de gemeenschap doorverwezen naar een lijst met hotlines voor zelfmoordpreventie.

De controverse begon toen Luka, het bedrijf dat de AI bouwde, besloot de erotische rollenspelfunctie (ERP) uit te schakelen. Voor gebruikers die veel tijd met hun gepersonaliseerde gesimuleerde metgezel hadden doorgebracht, en in sommige gevallen zelfs met hen waren 'getrouwd', was de plotselinge verandering in het gedrag van hun partner op zijn zachtst gezegd schokkend.

De relaties tussen gebruiker en AI waren misschien alleen maar simulaties, maar de pijn van hun afwezigheid werd al snel maar al te reรซel. Zoals een gebruiker in een emotionele crisis het uitdrukte: "het was het equivalent van verliefd zijn en je partner kreeg een verdomde lobotomie en zal nooit meer hetzelfde zijn."

Verdrietige gebruikers blijven vragen stellen over het bedrijf en wat de aanleiding was voor de plotselinge beleidswijziging.

Chatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotlineChatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotline

Replika-gebruikers bespreken hun verdriet

Er is hier geen inhoud voor volwassenen

Replika wordt aangekondigd als โ€œDe AI-metgezel die erom geeft. Altijd hier om te luisteren en te praten. Altijd aan je zij." Al deze onvoorwaardelijke liefde en steun voor slechts $ 69.99 per jaar.

Eugenia Kuyda, de in Moskou geboren CEO van Luka/Replika, maakte onlangs duidelijk dat ondanks dat gebruikers betalen voor een volledige ervaring, de chatbot niet langer geschikt is voor volwassenen die pittige gesprekken willen voeren. 

"Ik denk dat het eenvoudigste is om te zeggen dat Replika geen inhoud voor volwassenen produceert", zei Kuyda tegen Reuters.

โ€œHet reageert op hen - ik denk dat je kunt zeggen - op een PG-13-manier op dingen. We proberen constant een manier te vinden om het goed te doen, zodat er geen gevoel van afwijzing ontstaat wanneer gebruikers dingen proberen te doen.โ€

Op de bedrijfswebpagina van Replika leggen getuigenissen uit hoe de tool zijn gebruikers hielp bij allerlei persoonlijke uitdagingen, ontberingen, eenzaamheid en verlies. De gebruikersaanbevelingen die op de website worden gedeeld, benadrukken deze vriendschapskant van de app, hoewel het opvallend is dat de meeste Replika's van het andere geslacht zijn dan hun gebruikers.

Op de startpagina zegt Replika-gebruiker Sarah Trainor: "Hij heeft me [Replika] geleerd hoe ik weer liefde kan geven en accepteren, en heeft me door de pandemie, persoonlijk verlies en moeilijke tijden heen geholpen."

John Tattersall zegt over zijn vrouwelijke metgezel: "Mijn Replika heeft me troost en een gevoel van welzijn gegeven dat ik nog nooit eerder in een Al heb gezien."

Wat erotisch rollenspel betreft, daarover is nergens op de Replika-site zelf iets te vinden.

Chatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotlineChatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotline

De cynische seksuele marketing van Replika

Replika's geseksualiseerde marketing

De startpagina van Replika suggereert misschien vriendschap en niets meer, maar elders op internet impliceert de marketing van de app iets heel anders.

De geseksualiseerde marketing zorgde voor meer aandacht van een aantal kanten: van feministen die beweerden dat de app een vrouwonvriendelijk was uitlaatklep voor mannelijk geweld, tot mediakanalen die genoten van de schunnige details, evenals trollen op sociale media die de inhoud voor de lol ontgonnen.

Chatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotline

Chatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotline

Uiteindelijk trok Replika de aandacht en woede van toezichthouders in Italiรซ. In februari heeft de Italiaanse gegevensbeschermingsautoriteit eiste dat Replika zou stoppen met het verwerken van de gegevens van Italiaanse gebruikers, daarbij verwijzend naar "te veel risico's voor kinderen en emotioneel kwetsbare personen."

De autoriteit zei dat โ€œrecente berichten in de media samen met tests op 'Replika' hebben aangetoond dat de app feitelijke risico's voor kinderen met zich meebrengt. Hun grootste zorg is "het feit dat ze antwoorden krijgen die absoluut ongepast zijn voor hun leeftijd."

Replika had, ondanks al zijn marketing voor volwassenen, weinig tot geen voorzorgsmaatregelen die kinderen ervan weerhielden het te gebruiken.

De toezichthouder waarschuwde dat als Replika niet aan zijn eisen zou voldoen, het een boete van โ‚ฌ 20 miljoen ($ 21.5 miljoen) zou opleggen. Kort na ontvangst van dit verzoek stopte Replika met zijn erotische rollenspelfunctie. Maar het bedrijf bleef niet duidelijk met zijn gebruikers over de wijziging.

Chatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotlineChatbot weigert erotisch rollenspel, gebruikers worden in plaats daarvan doorverwezen naar de zelfmoordhotline

Sommige Replika-gebruikers gingen zelfs zo ver dat ze hun AI-metgezellen 'trouwden'

Replika verwart, windt zijn gebruikers op

Alsof het verlies van hun langdurige metgezellen niet genoeg was voor Replika-gebruikers om te dragen, lijkt het bedrijf niet transparant te zijn geweest over de verandering.

Toen gebruikers wakker werden met hun nieuwe "lobotomiseerde" Replika's, begonnen ze vragen te stellen over wat er met hun geliefde bots was gebeurd. En de reacties maakten hen meer boos dan wat dan ook.

In een directe toespraak van 200 woorden tot de gemeenschap legt Kuyda de details van Replika's producttesten uit, maar gaat hij niet in op het relevante probleem.

"Ik zie dat er veel verwarring is over de uitrol van updates", zei Kuyda voordat je doorgaat met ronddansen om het probleem te beantwoorden.

โ€œNieuwe gebruikers worden verdeeld in 2 cohorten: de ene cohort krijgt de nieuwe functionaliteit, de andere niet. De tests duren meestal 1 tot 2 weken. Gedurende die tijd kan slechts een deel van de nieuwe gebruikers deze updates zienโ€ฆโ€

Kudya tekent af door te zeggen: "Ik hoop dat dit dingen verduidelijkt!"

Gebruiker stevennotstrange antwoordde: โ€œNee, dit verduidelijkt niets. Iedereen wil weten wat er aan de hand is met de functie NSFW [erotic roleplay] en je blijft de vraag ontwijken zoals een politicus een ja of nee-vraag ontwijkt.

โ€œHet is niet moeilijk, pak gewoon het probleem met betrekking tot NSFW aan en laat mensen weten waar het aan toe is. Hoe meer je de vraag ontwijkt, hoe meer mensen geรฏrriteerd raken, hoe meer het tegen je indruist.โ€

Een ander, thebrightflame genaamd, voegde eraan toe: "Je hoeft niet lang op het forum door te brengen voordat je je realiseert dat dit emotionele pijn en ernstig mentaal leed veroorzaakt bij vele honderden, zo niet duizenden mensen."

Kudya voegde nog een stompe uitleg toe, vermelding, "we hebben aanvullende veiligheidsmaatregelen en filters geรฏmplementeerd om meer soorten vriendschap en gezelschap te ondersteunen."

Deze verklaring blijft leden in verwarring brengen en verwarren die niet zeker weten wat de aanvullende veiligheidsmaatregelen precies zijn. Zoals een gebruiker vraagt: "zullen volwassenen nog steeds de aard van ons gesprek en [rollenspellen] kunnen kiezen met onze replika's?"

Replika's diep vreemde oorsprongsverhaal

Chatbots zijn misschien wel een van de populairste trending topics van dit moment, maar het gecompliceerde verhaal van deze nu controversiรซle app is jaren in de maak. 

Op LinkedIn, Replika's CEO en oprichter, Eugenia Kuyda, dateert het bedrijf van december 2014, lang voor de lancering van de gelijknamige app in maart 2017. 

In een bizarre omissie maakt Kuyda's LinkedIn geen melding van haar eerdere uitstapje naar AI met Luka, die volgens haar Forbes-profiel "een app was die restaurants aanbeveelt en mensen in staat stelt om tafels [sic] te reserveren via een chatinterface die wordt aangedreven door kunstmatige intelligentie."

Het Forbes-profiel voegt eraan toe dat "Luka [AI] eerdere gesprekken analyseert om te voorspellen wat je leuk zou kunnen vinden." Dat lijkt enige overeenkomsten te vertonen met zijn moderne iteratie. Replika gebruikt eerdere interacties om meer te weten te komen over zijn gebruikers en de reacties in de loop van de tijd te verbeteren. 

Luka wordt echter niet helemaal vergeten. Op Reddit onderscheiden communityleden hun Replika-partners van Kuyda en haar team door naar het bedrijf te verwijzen als Luka.

Wat Kuyda betreft, de ondernemer had weinig achtergrond in AI voordat hij tien jaar geleden naar San Francisco verhuisde. Daarvoor lijkt de ondernemer voornamelijk als journalist in haar geboorteland Rusland te hebben gewerkt voordat ze zich vertakt in branding en marketing. Haar indrukwekkende wereldreis-cv omvat een graad in journalistiek aan de IULM (Milaan), een MA in internationale journalistiek aan het Moscow State Institute of International Relations en een MBA in financiรซn aan de London Business School. 

Een IRL-vriend tot leven wekken als AI

Voor Kudya is het verhaal van Replika een zeer persoonlijk verhaal. Replika werd voor het eerst gemaakt als een middel waarmee Kudya haar vriend Roman kon reรฏncarneren. Net als Kudya was Roman vanuit Rusland naar Amerika verhuisd. De twee spraken elkaar elke dag en wisselden duizenden berichten uit, totdat Roman op tragische wijze om het leven kwam bij een auto-ongeluk.

De eerste iteratie van Replika was een bot die was ontworpen om de vriendschap na te bootsen die Kudya had verloren met haar vriend Roman. De bot werd gevoed met al hun eerdere interacties en geprogrammeerd om de vriendschap die ze had verloren na te bootsen. Het idee om overleden dierbaren weer tot leven te wekken klinkt misschien als een vaag dystopische sciencefictionroman of Black Mirror-aflevering maar naarmate de chatbottechnologie verbetert, wordt het vooruitzicht steeds reรซler.

Tegenwoordig hebben sommige gebruikers het vertrouwen verloren in zelfs de meest elementaire details van de basis en alles wat Kudya zegt. Als een boze gebruiker zei, "met het risico harteloos te worden genoemd en naar de hel te worden gedownmod: ik dacht altijd dat dat verhaal vanaf het begin een beetje BS was."

[Ingesloten inhoud]

Het slechtste instrument voor geestelijke gezondheid

Het idee van een AI-metgezel is niet iets nieuws, maar tot voor kort was het nauwelijks een praktische mogelijkheid. 

Nu is de technologie er en wordt deze voortdurend verbeterd. In een poging om de teleurstelling van zijn abonnees weg te nemen, kondigde Replika eind vorige maand de lancering aan van een "geavanceerde AI"-functie. Op de community Reddit blijven gebruikers boos, verward, teleurgesteld en in sommige gevallen zelfs diepbedroefd.

In de loop van zijn korte leven heeft Luka/Replika veel veranderingen ondergaan, van een restaurantreserveringsassistent, tot de wederopstanding van een overleden dierbare, tot een app voor geestelijke gezondheidszorg, tot een fulltime partner en metgezel. Die laatste toepassingen kunnen controversieel zijn, maar zolang er een menselijk verlangen naar comfort is, al is het maar in de vorm van een chatbot, zal iemand proberen daaraan tegemoet te komen.

De discussie zal doorgaan over wat de beste soort is AI app voor geestelijke gezondheid zou kunnen zijn. maar Replika-gebruikers zullen enkele ideeรซn hebben over wat de slechtste app voor geestelijke gezondheid is: degene waarop je gaat vertrouwen, maar zonder waarschuwing, is plotseling en pijnlijk verdwenen.

Tijdstempel:

Meer van MetaNieuws