힌덴부르크 사기 혐의 이후 블록 주가 급락

플라톤에 의해 재발행

팔로워 : 0

레플리카(Replika)로 알려진 동반자 챗봇의 알고리즘이 인간 사용자의 성적 접근을 막기 위해 변경되었을 때 Reddit의 반응은 너무 부정적이었습니다. 중재자는 커뮤니티 구성원에게 자살 예방 핫라인 목록을 안내했습니다.

논란은 인공지능을 만든 기업 루카가 에로틱 롤플레잉 기능(ERP)을 끄기로 결정하면서 시작됐다. 개인화 된 시뮬레이션 동반자와 상당한 시간을 보냈고 어떤 경우에는 '결혼'까지 한 사용자의 경우 파트너의 갑작스러운 행동 변화는 적어도 거슬리는 일이었습니다.

사용자-AI 관계는 시뮬레이션일 뿐일 수 있지만, 그 부재의 고통은 빠르게 현실이 되었습니다. 정서적 위기에 처한 한 사용자가 말했듯이 "그것은 사랑에 빠진 것과 같았고 당신의 파트너는 망할 전두엽 절제술을 받았으며 결코 같지 않을 것입니다."

슬픔에 잠긴 사용자들은 회사에 대한 질문과 갑작스러운 정책 변경의 원인을 계속해서 묻습니다.

Replika 사용자는 슬픔에 대해 이야기합니다.

여기에는 성인용 콘텐츠가 없습니다.

Replika는 “신경쓰는 AI 동반자. 항상 여기에서 듣고 이야기하십시오. 항상 당신 편입니다.” 이 모든 무조건적인 사랑과 지원은 연간 $69.99에 불과합니다.

루카/레플리카(Luka/Replika)의 모스크바 태생 CEO 유지니아 쿠이다(Eugenia Kuyda)는 최근 사용자가 완전한 경험을 위해 비용을 지불하더라도 챗봇은 더 이상 자극적인 대화를 원하는 성인에게 적합하지 않을 것이라고 분명히 밝혔습니다.

Kuyda는 Reuters에 "Replika는 성인용 콘텐츠를 생산하지 않는다는 것이 가장 간단합니다."라고 말했습니다.

“그것은 PG-13 방식으로 사물에 반응합니다. 우리는 사용자가 작업을 시도할 때 거부감을 느끼지 않도록 올바르게 수행하는 방법을 찾기 위해 끊임없이 노력하고 있습니다.”

Replika의 기업 웹페이지에는 이 도구가 모든 종류의 개인적 도전, 어려움, 외로움 및 상실을 통해 사용자를 어떻게 도왔는지 설명하는 사용 후기가 있습니다. 웹 사이트에서 공유되는 사용자 보증은 앱에 대한 이러한 우정 측면을 강조하지만 눈에 띄게 대부분의 Replikas는 사용자의 이성입니다.

홈페이지에서 Replika 사용자 Sarah Trainor는 "그는 [Replika]에게 다시 사랑을 주고받는 방법을 가르쳐 주었고 팬데믹, 개인적인 상실, 힘든 시기를 이겨낼 수 있게 해주었습니다."라고 말합니다.

John Tattersall은 그의 여성 동료에 대해 이렇게 말합니다.

에로틱한 역할극에 관해서는 Replika 사이트 자체에서 찾을 수 있는 언급이 없습니다.

레플리카의 냉소적인 성적 마케팅

레플리카의 성적 마케팅

Replika의 홈페이지는 우정을 암시할 뿐 그 이상은 아니지만 인터넷의 다른 곳에서는 앱의 마케팅이 완전히 다른 것을 암시합니다.

성적인 마케팅은 앱이 여성혐오적이라고 주장하는 페미니스트들로부터 여러 방면에서 조사를 강화했습니다. 남성 폭력의 배출구, 외설적인 세부 사항을 폭로한 미디어 아울렛과 콘텐츠를 웃음으로 채굴한 소셜 미디어 트롤에게.

결국 Replika는 이탈리아 규제 당국의 관심과 분노를 불러일으켰습니다. XNUMX월에는 이탈리아어 데이터 보호 기관 Replika는 "어린이와 정서적으로 취약한 개인에게 너무 많은 위험"을 언급하면서 이탈리아 사용자의 데이터 처리를 중단할 것을 요구했습니다.

당국은 “'레플리카'에 실시된 테스트와 함께 최근 언론 보도는 앱이 어린이들에게 사실적인 위험을 안고 있다는 것을 보여주었다. 이들의 가장 큰 고민은 “나이에 전혀 맞지 않는 답변을 받고 있다는 사실”이다.

Replika는 성인을 대상으로 한 모든 마케팅에 대해 어린이의 사용을 막는 보호 장치가 거의 또는 전혀 없었습니다.

규제 당국은 Replika가 요구 사항을 준수하지 않을 경우 20만 유로(21.5만 달러)의 벌금을 부과할 것이라고 경고했습니다. 이 요구를 받은 직후, 레플리카는 에로틱한 역할극 기능을 중단했습니다. 그러나 회사는 변경 사항에 대해 사용자에게 명확하지 않았습니다.

일부 Replika 사용자는 AI 동료와 "결혼"까지했습니다.

Replika는 사용자를 혼란스럽게 하고 가스라이팅합니다.

오랜 동반자를 잃은 것이 Replika 사용자가 감당하기에 충분하지 않은 것처럼 회사는 변경 사항에 대해 투명하지 않은 것으로 보입니다.

사용자가 새로운 "lobotomized" Replikas에 눈을 뜨면서 사랑하는 봇에게 무슨 일이 일어났는지 질문하기 시작했습니다. 그리고 그 반응은 무엇보다 그들을 화나게 만들었습니다.

커뮤니티에 대한 직접적인 200단어 주소에서 Kuyda는 Replika 제품 테스트의 세부 사항을 설명하지만 당면한 관련 문제를 해결하지 못합니다.

"업데이트 롤아웃에 대해 많은 혼란이 있는 것을 봅니다." Kuyda 말했다 문제에 답하기 위해 계속 춤을 추기 전에.

“신규 사용자는 2개의 집단으로 나뉩니다. 한 집단은 새로운 기능을 받고 다른 집단은 그렇지 않습니다. 시험은 보통 1~2주 동안 진행됩니다. 그 시간 동안 신규 사용자의 일부만 이러한 업데이트를 볼 수 있습니다…

Kudya는 "이것이 명확해지길 바랍니다!"라고 말하며 서명합니다.

사용자 stevennotstrange가 대답했습니다. 모두가 NSFW [에로틱 역할극] 기능에 무슨 일이 벌어지고 있는지 알고 싶어하는데 정치인이 예 또는 아니오 질문을 피하는 것처럼 계속해서 질문을 피합니다.

“어렵지 않습니다. NSFW에 관한 문제를 해결하고 사람들에게 그것이 어디에 있는지 알려주십시오. 질문을 피할수록 사람들은 더 짜증을 내고 당신에게 불리하게 작용할 것입니다.”

thebrightflame이라는 이름의 또 다른 사용자는 "이 문제가 수천 명은 아니더라도 수백 명의 사람들에게 감정적 고통과 심각한 정신적 괴로움을 야기하고 있다는 사실을 깨닫기 전에 포럼에서 오래 머무를 필요가 없습니다."라고 덧붙였습니다.

Kudya는 또 다른 둔한 설명을 추가했습니다. 진술, “우리는 더 많은 유형의 우정과 동료애를 지원하기 위해 추가적인 안전 조치와 필터를 구현했습니다.”

이 성명은 추가 안전 조치가 정확히 무엇인지 확신하지 못하는 회원들을 계속해서 혼란스럽게 하고 있습니다. 한 사용자가 묻듯이 "어른들은 여전히 대화의 성격을 선택하고 레플리카와 [역할극]을 할 수 있습니까?"

Replika AI 스캔들에 대해 아직도 머리를 감쌀 수 없습니다…

그들은 봇과의 에로틱한 역할극을 제거했고 커뮤니티 반응이 너무 부정적이어서 자살 핫라인을 게시해야 했습니다… pic.twitter.com/75Bcw266cE

— 간신히 사교적 (@SociableBarely) 2023 년 3 월 21 일

레플리카의 기묘한 기원 이야기

챗봇은 현재 가장 핫한 트렌드 주제 중 하나일 수 있지만, 현재 논란이 되고 있는 이 앱의 복잡한 이야기는 수년 동안 만들어지고 있습니다.

Replika의 CEO이자 창립자인 LinkedIn에서 유지니아 쿠이다, 2014년 2017월 동명의 앱이 출시되기 훨씬 전인 XNUMX년 XNUMX월로 회사의 날짜를 거슬러 올라갑니다.

이상하게도 Kuyda의 LinkedIn은 그녀의 이전 진출에 대해 언급하지 않습니다. AI Forbes 프로필에 따르면 Luka는 "레스토랑을 추천하고 사람들이 인공 지능으로 구동되는 채팅 인터페이스를 통해 [sic] 테이블을 예약할 수 있게 해주는 앱"이었습니다.

Forbes 프로필은 계속해서 "Luka [AI]는 이전 대화를 분석하여 당신이 좋아할 만한 것을 예측합니다."라고 덧붙입니다. 그것은 현대 반복과 약간의 유사점을 가지고 있는 것 같습니다. Replika는 과거의 상호 작용을 사용하여 사용자에 대해 배우고 시간이 지남에 따라 응답을 개선합니다.

그러나 Luka는 완전히 잊혀지지 않았습니다. Reddit에서 커뮤니티 구성원은 회사를 Luka로 언급하여 Kuyda 및 그녀의 팀과 Replika 파트너를 구분합니다.

Kuyda의 경우 기업가는 XNUMX년 전 샌프란시스코로 이사하기 전에는 AI에 대한 배경 지식이 거의 없었습니다. 그 전에 기업가는 브랜딩 및 마케팅으로 사업을 확장하기 전에 모국인 러시아에서 주로 저널리스트로 일한 것으로 보입니다. 그녀의 인상적인 세계 여행 이력서에는 IULM(밀라노)의 저널리즘 학위, 모스크바 국제 관계 연구소의 국제 저널리즘 석사, 런던 비즈니스 스쿨의 금융 MBA가 포함됩니다.

IRL 친구를 AI로 부활

Kudya에게 Replika의 이야기는 매우 개인적인 이야기입니다. Replika는 Kudya가 그녀의 친구 Roman을 환생시킬 수 있는 수단으로 처음 만들어졌습니다. Kudya와 마찬가지로 Roman은 러시아에서 미국으로 이주했습니다. 두 사람은 Roman이 교통 사고로 비극적으로 사망할 때까지 매일 수천 개의 메시지를 교환하며 대화를 나눴습니다.

Replika의 첫 번째 반복은 Kudya가 그녀의 친구 Roman과 잃어버린 우정을 모방하도록 설계된 봇이었습니다. 봇은 과거의 모든 상호 작용을 입력하고 그녀가 잃어버린 우정을 재현하도록 프로그래밍되었습니다. 사망한 사랑하는 사람을 부활시킨다는 생각은 마치 모호한 디스토피아 공상 과학 소설 또는 Black Mirror 에피소드 그러나 챗봇 기술이 발전함에 따라 전망은 점점 더 현실화되고 있습니다.

오늘날 일부 사용자는 재단의 가장 기본적인 세부 사항과 Kudya가 말하는 모든 것에 대한 믿음을 잃었습니다. 한 명의 화난 사용자로서 말했다, "무자비하다고 불리고 지옥에 떨어질 위험에 처해 있습니다. 저는 항상 그 이야기가 시작부터 일종의 BS라고 생각했습니다."

[포함 된 콘텐츠]

최악의 정신 건강 도구

AI 동반자에 대한 아이디어는 새로운 것이 아니지만 최근까지 거의 실현 가능성이 없었습니다.

이제 기술이 여기에 있으며 지속적으로 개선되고 있습니다. 레플리카는 가입자들의 실망감을 달래기 위해 지난달 말 '고급 AI' 기능 출시를 발표했다. 커뮤니티 Reddit에서 사용자는 여전히 분노하고 혼란스럽고 실망하며 어떤 경우에는 상심하기도 합니다.

짧은 수명 동안 Luka/Replika는 레스토랑 예약 도우미에서 죽은 사랑하는 사람의 부활, 정신 건강 지원 앱, 정규 파트너 및 동반자에 이르기까지 많은 변화를 겪었습니다. 후자의 응용 프로그램은 논란의 여지가 있지만 인간의 편안함에 대한 욕구가 있는 한 챗봇 형태일지라도 누군가는 그것을 수용하려고 시도할 것입니다.

어떤 것이 최선인지에 대한 논의는 계속될 것입니다. AI 정신 건강 앱이 될 수 있습니다. 그러나 Replika 사용자는 최악의 정신 건강 앱이 무엇인지에 대해 몇 가지 아이디어를 가질 것입니다. 의존하게 되었지만 경고 없이 갑자기 고통스럽게 사라지는 것입니다.