표준 인간 IQ 테스트는 종종 시험 전문가가 일상 경험을 통해 배운 원칙을 적용하여 지각 적으로 단순한 시각적 장면을 해석해야합니다. 예를 들어, 인간 시험 전문가들은 식물이나 건물이 자라는 것을 보거나, 수학 수업에서 추가 과정을 연구하거나, 관심이 발생할 때 은행 잔고를 추적함으로써 '진보'(일부 속성이 증가 할 수있는 개념)에 대해 이미 배웠을 것입니다. 그런 다음 퍼즐에이 개념을 적용하여 모양의 수, 크기 또는 색상 강도가 순서에 따라 증가 할 수 있습니다.
우리는 머신 러닝 에이전트를 유사한 '일상 경험'스트림에 노출시킬 수단을 아직 가지고 있지 않습니다. 즉, 실제 세계에서 시각적 추론 테스트로 지식을 전달하는 능력을 쉽게 측정 할 수 없습니다. 그럼에도 불구하고 우리는 여전히 인간의 시각적 추론 테스트를 잘 활용하는 실험 설정을 만들 수 있습니다. (인간 테스트 에서처럼) 일상 생활에서 시각적 추론 문제로의 지식 전이를 연구하는 대신, 하나의 통제 된 시각적 추론 문제에서 다른 것으로 추론하는 지식을 연구했습니다.
이를 달성하기 위해 '프로그레션'과 같은 관계 및 '컬러'및 '사이즈'와 같은 속성을 포함한 일련의 추상 요소를 포함하는 매트릭스 문제를 생성하기위한 생성기를 만들었습니다. 질문 생성기는 소수의 기본 요소를 사용하지만 그럼에도 불구하고 수많은 고유 질문을 만들 수 있습니다.
다음으로, 모델 훈련 및 테스트를위한 다양한 문제 세트를 생성하고 모델이 보류 된 테스트 세트로 일반화 할 수있는 정도를 측정하기 위해 생성기에 사용할 수있는 요인 또는 조합을 제한했습니다. 예를 들어, 진행 색상이 선 색상에 적용될 때만 진행되는 퍼즐 세트와 모양의 크기에 적용될 때 테스트 세트가있는 훈련 세트를 만들었습니다. 모델이이 테스트 세트에서 잘 수행되면 이전에 진행된 적이없는 상황에서도 진행의 추상적 인 개념을 추론하고 적용 할 수있는 증거를 제공합니다.
출처 : https://deepmind.com/blog/article/measuring-abstract-reasoning