트랜스포머를 시작하기 전에 알아야 할 개념

신경망은 숫자를 통해 학습하므로 각 단어는 벡터에 매핑되어 특정 단어를 나타냅니다. 임베딩 레이어는 단어 임베딩을 저장하고 인덱스를 사용하여 검색하는 조회 테이블로 생각할 수 있습니다.

같은 의미를 가진 단어는 유클리드 거리/코사인 유사성 측면에서 가깝습니다. 예를 들어, 아래의 단어 표현에서 "토요일", "일요일", "월요일"은 같은 개념으로 연관되어 있으므로 결과적으로 단어가 유사함을 알 수 있습니다.
 

단어의 위치 결정, 단어의 위치를 ​​결정해야 하는 이유는 무엇입니까? 변환기 인코더는 순환 신경망과 같은 순환이 없기 때문에 위치에 대한 정보를 입력 임베딩에 추가해야 합니다. 이것은 위치 인코딩을 사용하여 수행됩니다. 논문의 저자는 단어의 위치를 ​​모델링하기 위해 다음과 같은 함수를 사용했습니다.

우리는 positional Encoding을 설명하려고 노력할 것입니다.

여기서 "pos"는 시퀀스에서 "단어"의 위치를 ​​나타냅니다. P0는 첫 번째 단어의 삽입 위치를 나타냅니다. "d"는 단어/토큰 임베딩의 크기를 의미합니다. 이 예에서 d=5입니다. 마지막으로 "i"는 임베딩의 5개 개별 차원(예: 0, 1,2,3,4)을 나타냅니다.

위의 방정식에서 "i"가 달라지면 주파수가 다양한 곡선을 얻게 됩니다. P0 및 P4에 대해 서로 다른 임베딩 차원에서 서로 다른 값을 제공하여 서로 다른 주파수에 대한 위치 임베딩 값을 읽습니다.

이번에 쿼리, Q 벡터 단어를 나타냅니다. 키 K 문장의 다른 모든 단어는 가치 V 단어의 벡터를 나타냅니다.

Attention의 목적은 동일한 사람/사물 또는 개념과 관련된 쿼리 용어와 비교하여 핵심 용어의 중요도를 계산하는 것입니다.

우리의 경우 V는 Q와 같습니다.

어텐션 메커니즘은 문장에서 단어의 중요성을 알려줍니다.

쿼리와 키 사이의 정규화된 내적을 계산할 때 쿼리에 대한 서로 다른 단어의 상대적 중요성을 나타내는 텐서를 얻습니다.

Q와 KT 사이의 내적을 계산할 때 벡터(즉, 쿼리와 키 사이의 단어)가 정렬되는 방식을 추정하고 문장의 각 단어에 대한 가중치를 반환하려고 합니다.

그런 다음 d_k의 결과 제곱을 정규화하고 softmax 함수는 용어를 정규화하고 0과 1 사이에서 크기를 다시 조정합니다.

마지막으로 결과(즉, 가중치)에 값(즉, 모든 단어)을 곱하여 관련 없는 단어의 중요성을 줄이고 가장 중요한 단어에만 집중합니다.

멀티 헤드 어텐션 출력 벡터가 원래 위치 입력 임베딩에 추가됩니다. 이를 잔류 연결/건너뛰기 연결이라고 합니다. 잔여 연결의 출력은 계층 정규화를 거칩니다. 정규화된 잔차 출력은 추가 처리를 위해 점별 피드포워드 네트워크를 통과합니다.

마스크는 0과 음의 무한대 값으로 채워진 주의 점수와 같은 크기의 행렬입니다.

마스크의 이유는 마스크된 점수의 소프트맥스를 취하면 음의 무한대가 XNUMX이 되어 향후 토큰에 대한 관심 점수가 XNUMX이 되기 때문입니다.

이것은 모델이 해당 단어에 초점을 두지 않도록 지시합니다.

소프트맥스 함수의 목적은 실수(양수와 음수)를 잡아 합이 1이 되는 양수로 바꾸는 것입니다.

 
 
라비쿠마르 나두빈 PyTorch를 사용하여 NLP 작업을 구축하고 이해하는 데 바쁘다.

 
실물. 허가를 받아 다시 게시했습니다.
 

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://www.kdnuggets.com/2023/01/concepts-know-getting-transformer.html?utm_source=rss&utm_medium=rss&utm_campaign=concepts-you-should-know-before-getting-into-transformer