텍스트 자동 완성 시스템은 우리의 삶을 편하게 하는 것을 목표로 하지만 위험이 있습니다.

최근에 문자 메시지나 이메일을 작성했다면 AI가 다른 동의어, 구문 또는 문장을 완성하는 방법을 제안할 가능성이 있습니다. Google의 Smart Compose와 같은 AI 기반 자동 제안 도구의 등장은 현재 대부분 온라인에서 사용되는 기업 커뮤니케이션의 디지털 혁신과 일치했습니다. 이것의 예상 일반적인 작업자는 매일 약 40개의 이메일에 답장하고 전송 매주 200개 이상의 Slack 메시지.

메시징은 Adobe와 함께 점점 더 많은 업무 시간을 소비할 것이라고 위협합니다. 페깅 작업자가 일주일에 15.5시간 동안 이메일에 응답하는 데 소비하는 시간입니다. 끊임없는 작업 전환은 생산성에 대한 죽음의 신호이며, 연구에 따르면 중단 없는 작업의 이점이 있음을 보여줍니다. 리써치 캘리포니아 대학(University of California)과 훔볼트 대학(Humboldt University)의 연구에 따르면 작업자는 작업이 중단될 때마다 최대 23분을 낭비할 수 있습니다. 추가 연장 근무일.

자동 제안 도구는 메시지 작성 및 회신을 간소화하여 시간을 절약할 수 있습니다. 예를 들어 Google의 스마트 답장은 일반적으로 입력하는 데 몇 분이 소요되는 이메일에 대한 빠른 응답을 제안합니다. 그러나 이러한 도구 뒤에 있는 AI에는 편향을 도입하거나 바람직하지 않은 방식으로 메시징에 사용되는 언어에 영향을 줄 수 있는 단점이 있습니다.

자동 제안 및 텍스트 자동 완성의 성장

예측 텍스트는 새로운 기술이 아닙니다. 널리 사용되는 최초의 예 중 하나, T9, 각 문자에 대해 한 번의 키 누름으로 단어를 구성할 수 있는 기능은 90년대 후반에 많은 휴대폰에서 표준이 되었습니다. 그러나 언어로 된 보다 정교하고 확장 가능한 AI 기술의 출현으로 자동 제안 도구의 품질과 폭이 크게 향상되었습니다.

2017년 구글은 스마트 답장 회사가 나중에 Chat 및 타사 앱을 포함한 다른 Google 서비스로 가져온 Gmail에서. Google에 따르면 Smart Reply의 AI는 단일 메시지가 아닌 "대화의 전체 컨텍스트를 기반으로" 응답 제안을 생성하여 표면적으로 더 시기 적절하고 관련성이 높은 제안을 제공합니다. Smart Compose이메일에서 완전한 문장을 제안하는 , XNUMX년 후 Gmail과 Google 문서도구에 도착 곧. 라는 유사한 기능 추천 답변 2018년 Microsoft Outlook과 2020년 Teams에 도입되었습니다.

일부 학계에서 "AI 매개 커뮤니케이션"이라고 부르는 새로운 자동 제안 도구 뒤에 있는 기술은 90년대에 존재했던 것보다 훨씬 뛰어납니다. 예를 들어 Smart Compose를 뒷받침하는 AI 모델은 수십억 개의 이메일 예제를 사용하여 생성되었으며 맞춤형 가속기 하드웨어의 클라우드에서 실행됩니다. 한편, Smart Compose의 기반이 된 Smart Reply는 제안에 대한 "계층적 접근"을 취하며, 이는 인간이 언어와 개념을 이해하는 방식에서 영감을 받았습니다.

위: Outlook의 Smart Reply는 Azure Machine Learning에서 훈련된 딥 러닝 모델을 사용합니다.

이미지 신용 : Microsoft

"언어의 내용은 계층적이며 언어 자체의 구조에 반영됩니다 ..." Google 연구 과학자 Brian Strope와 엔지니어링 이사 Ray Kurzweil 설명 블로그 게시물에서. “'우리가 좋아하는 카페에서 그 흥미로운 사람이 나에게 눈길을 주었다'는 메시지를 생각해보십시오. … 이 메시지에 대한 적절한 응답을 제안할 때 잠재적으로 모호할 수 있는 'glance'라는 단어의 의미를 고려할 수 있습니다. 긍정적인 제스처였나요? 이 경우 우리는 '멋져!'라고 대답할 수 있습니다. 아니면 부정적인 제스처였습니까? 그렇다면, 그 대상은 작가가 부정적인 교환에 대해 어떻게 느꼈는지에 대해 말합니까? 세상에 대한 많은 정보와 이성적인 판단을 내리는 능력이 미묘한 구별을 위해 필요합니다. 언어에 대한 충분한 예가 주어지면 기계 학습 접근 방식은 이러한 미묘한 차이를 많이 발견할 수 있습니다. "

그러나 모든 기술과 마찬가지로 가장 유능한 자동 제안 도구라도 개발 및 배포 프로세스 중에 발생하는 결함에 취약합니다.

지난 2016년 XNUMX월, 공개 Google 검색의 자동 완성 기능이 "유대인은 사악한가요?" "유대인이다"라는 문구 때문입니다. 회사에 따르면 문제는 다른 사용자가 최근에 검색한 내용을 기반으로 제안을 업데이트하는 알고리즘 시스템이었습니다. Google이 결국 수정 사항을 구현했지만 회사가 자동 완성 제안을 차단하는 데 몇 년이 더 걸렸습니다. 논란의 여지가 있는 정치적 발언 투표 요건 및 선거 절차의 합법성에 대한 거짓 주장을 포함합니다.

스마트 답장은 발견 총 이모티콘이 포함된 메시지에 대한 응답으로 "터번을 두른 사람" 이모티콘을 제공합니다. iOS에서 Apple의 자동 완성 기능 이전에 CEO, COO 및 CTO를 포함한 임원 역할에는 남성 이모티콘만 제안했습니다.

편향된 데이터

자동 완성 및 자동 제안 시스템의 결함은 종종 편향된 데이터에서 발생합니다. 시스템이 학습하는 수백만에서 수십억 개의 예제가 다음의 텍스트로 오염될 수 있습니다. 유독성 웹사이트 특정 성별, 인종, 민족, 그리고 상처를 주는 개념을 가진 종교. 문제를 예시하고, 사본연구소 OpenAI에서 개발한 코드 생성 모델인 , "이슬람"이라는 단어를 입력하면 "테러리스트"라고 쓰라는 메시지가 표시될 수 있습니다. AI 스타트업의 또 다른 대형 언어 모델 코어 남성과 여성을 "남성 과학자" 및 "여성 가사도우미"와 같이 고정관념적으로 "남성" 및 "여성" 직업과 연관시키는 경향이 있습니다.

위: Google 문서용 Smart Compose.

데이터의 주석은 새로운 문제를 야기하거나 기존 문제를 악화시킬 수 있습니다. 많은 모델이 단어, 문장, 단락 또는 문서에 긍정적 또는 부정적 감정과 같은 특정 특성이 있는지 여부를 전달하는 레이블에서 학습하기 때문에 회사와 연구원은 일반적으로 Amazon Mechanical Turk와 같은 크라우드소싱 플랫폼에서 예제에 레이블을 지정하기 위해 인간 주석가 팀을 모집합니다. 이러한 어노테이터는 고유한 관점과 편견을 테이블로 가져옵니다.

Allen Institute for AI, Carnegie Mellon, University of Washington의 연구에서 과학자들은 라벨러가 이해하고 있음에도 불구하고 일반적인 미국식 영어보다 더 유독한 AAE(African American English) 방언 구에 주석을 달 가능성이 더 높다는 것을 발견했습니다. AAE 스피커에 의해 무독성으로. 지그소 퍼즐사이버 괴롭힘과 허위 정보에 대처하기 위해 Google 모회사 알파벳 아래에서 일하는 조직인 이 조직은 실험에서 유사한 결론을 도출했습니다. 이 회사의 연구원은 아프리카계 미국인과 LGBTQ+ 커뮤니티 구성원으로 스스로를 식별하는 레이블 작성자와 해당 그룹 중 하나로 식별하지 않는 주석 작성자 간의 주석 차이를 발견했습니다.

때로는 편향이 의도적입니다. 모국어 절충의 문제입니다. 예를 들어, 작가콘텐츠 생성을 위한 AI 어시스턴트를 개발하는 스타트업 인 는 글쓰기 제안에서 "비즈니스 영어"를 우선시한다고 말합니다. CEO May Habib은 다른 영어 스타일에는 없는 동사 시제인 AAVE의 "habitual be"의 예를 들었습니다.

“[습관적 be]는 전통적으로 비즈니스 영어에서 사용되지 않았으므로 데이터 세트에 높은 빈도로 표시되지 않으므로 'Y'all doing some wonder things out here'를 'Y'로 수정합니다. 모두 여기서 이상한 일을 하고 있습니다.'” Habib이 이메일을 통해 VentureBeat에 말했습니다. “[그렇긴 하지만] 우리는 Writer가 자국어 기반 인사말 및 승인에 플래그를 지정하지 않도록 수동으로 확인했습니다. 일부 모국어는 공식적인 비즈니스 영어보다 더 성 중립적입니다. [예를 들어] 회사의 경우 더 현대적이고 브랜드에 적합합니다.”

글쓰기에 영향을 미치다

의도적이든 아니든 편향이 자동 완성 및 자동 제안 시스템에 적용되면 우리가 작성하는 방식이 바뀔 수 있습니다. 이러한 시스템이 작동하는 엄청난 규모로 인해 완전히 피하기가 어렵습니다(불가능하지는 않더라도). 이전 스마트 답장 책임 10년에 스마트폰에서 보낸 모든 Gmail 답장 중 2016%가

더 포괄적인 것 중 하나에서 감사 Microsoft 연구원 팀은 Outlook에서 자동 생성된 답장에 대한 생각을 말하라는 자원자들과 인터뷰를 진행했습니다. 인터뷰 대상자들은 일부 응답이 지나치게 긍정적이고, 문화와 성별에 대한 가정이 잘못되었으며, 기업 서신과 같은 특정 상황에서는 너무 무례하다는 것을 발견했습니다. 그럼에도 불구하고 연구 중 실험에 따르면 사용자는 Outlook에서 제안하는 짧고 긍정적이며 정중한 답변을 선호할 가능성이 더 높습니다.

별도의 Harvard 연구에 따르면 레스토랑에 대해 글을 쓰는 사람들에게 "긍정적인" 자동 완성 제안이 제공될 때 부정적인 제안이 제공될 때보다 결과 리뷰가 더 긍정적인 경향이 있음을 발견했습니다. 하버드 대학의 연구원인 켄 아놀드는 "미래의 예측 텍스트 시스템이 사람들이 훨씬 더 효과적인 작가가 되는 데 어떻게 도움이 될 수 있는지 생각하는 것은 흥미롭지만 우리는 또한 편향되거나 조작될 수 있는 제안으로부터 보호하기 위해 투명성과 책임성이 필요합니다"라고 말했습니다. 연구에 참여한 공학 및 응용 과학, 이야기 BBC.

유해한 자동 완성 문제에 대한 포괄적인 해결책이 있다면 아직 발견되지 않은 것입니다. Google은 Smart Compose에서 성별 기반 대명사 제안을 차단하기로 결정했습니다. 그 이유는 시스템이 수신자의 성별과 성 정체성을 잘 예측하지 못하기 때문입니다. Microsoft의 LinkedIn은 또한 잠재적인 실수를 방지하기 위해 예측 메시징 도구인 Smart Replies에서 성별 대명사를 사용하지 않습니다.

Microsoft의 공동 저자 공부 시스템 설계자가 자동 ​​완성 기술의 단점을 사전에 해결하지 않으면 사용자의 기분을 상하게 할 뿐만 아니라 시스템을 불신하게 만들 위험이 있다고 경고합니다. "시스템 디자이너는 개인 및 소셜 네트워크 수준에서 개인화 전략을 탐색하고, 문화적 가치와 사회적 편견이 시스템에 의해 영속될 수 있는 방법을 고려하고, 한계와 문제를 해결하기 시작하기 위해 사회적 상호 작용 모델링을 탐색해야 합니다."라고 그들은 적었습니다. “[우리]의 연구 결과에 따르면 이메일 및 기타 [유사] 기술에 대한 현재 텍스트 추천 시스템은 실제 사회적 관계 및 커뮤니케이션 요구 사항의 미묘함을 반영하기에는 여전히 뉘앙스가 충분하지 않습니다. "

출처: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/