요약: 새로운 연구에서는 심층 신경망의 신비한 세계를 탐구하여 이러한 모델이 인간의 감각 시스템과 유사한 물체를 인식할 수 있지만 인식 전략은 인간의 인식과 다르다는 사실을 발견했습니다. 네트워크에 주어진 입력과 유사한 자극을 생성하도록 요청하면 종종 인식할 수 없거나 왜곡된 이미지와 사운드가 생성됩니다.
이는 신경망이 인간의 지각 패턴과 완전히 다른 고유한 “상수”를 배양한다는 것을 의미합니다. 이 연구는 인간의 감각 인식을 모방하는 모델 평가에 대한 통찰력을 제공합니다.
중요한 사실:
- 심층 신경망은 주어진 입력과 유사한 자극을 생성할 때 종종 대상과 전혀 유사하지 않은 이미지나 소리를 생성합니다.
- 모델은 인간의 지각 시스템과는 다른 고유한 상수를 개발하여 인간과 다르게 자극을 인식하게 만드는 것으로 보입니다.
- 경쟁 훈련을 사용하면 모델 생성 자극이 원래 입력과 동일하지 않더라도 인간이 더 잘 인식할 수 있습니다.
원천: 매사추세츠 공과대학
인간의 감각 시스템은 물체가 거꾸로 되어 있거나 단어가 이전에 들어본 적 없는 소리로 말해지는 경우에도 우리가 보는 것과 듣는 단어를 매우 잘 인식합니다.
심층 신경망(Deep Neural Network)으로 알려진 컴퓨터 모델은 털 색깔에 관계없이 개의 이미지를 정확하게 식별하거나 말하는 사람의 목소리 톤에 관계없이 단어를 식별하는 등 동일한 작업을 수행하도록 훈련될 수 있습니다. 그러나 MIT 신경과학자들의 새로운 연구에 따르면 이러한 모델은 종종 대상과 다른 이미지나 단어에 동일한 방식으로 반응하는 것으로 나타났습니다.
이러한 신경망을 사용하여 곰 그림과 같은 특정 자연 입력과 동일하게 반응하는 이미지나 단어를 생성하면 대부분 인간 관찰자가 인식할 수 없는 이미지나 소리가 생성됩니다. 이는 이러한 모델이 고유한 “불변성”을 구축한다는 것을 의미합니다. 즉, 매우 다른 특징을 가진 자극에 동일한 방식으로 반응한다는 의미입니다.
이번 발견은 연구자들이 이러한 모델이 인간의 감각 인식 조직을 얼마나 잘 모방하는지 평가할 수 있는 새로운 방법을 제공한다고 MIT 뇌 및 인지 과학 부교수이자 McGovern 뇌 연구소 및 MIT 뇌 센터 회원인 Josh McDermott는 말합니다. . 마음과 기계.
“이 논문은 이러한 모델을 사용하여 궁극적으로 모델 표현의 진단으로 이어지는 비정상적인 신호를 추출할 수 있음을 보여줍니다.”라고 연구의 주요 저자인 McDermott는 말합니다. “이 테스트는 모델을 평가하기 위한 필드로 사용하는 테스트 제품군의 일부가 되어야 합니다.”
현재 Flatiron Institute의 전산 신경 과학 센터의 연구원인 Jenelle Feather 박사 ’22는 오늘 발표된 오픈 액세스 논문의 주요 저자입니다. 일반 신경과학. MIT 대학원생인 Guillaume Leclerc와 MIT 컴퓨팅 설계 시스템 분야 Cadence 교수인 Alexandre Madry도 이 논문의 저자입니다.
다양한 인식
최근 몇 년 동안 연구자들은 수백만 개의 입력(소리 또는 이미지)을 분석하고 인간과 동일한 정확도로 대상 단어나 개체를 분류할 수 있는 공통 기능을 학습할 수 있는 심층 신경망을 훈련했습니다. 이 모델은 현재 생물학적 감각 시스템의 주요 모델로 간주됩니다.
인간의 감각 시스템은 이러한 유형의 분류를 수행할 때 물체에 비치는 빛의 양이나 물체를 보는 각도 등 물체의 기본 정체성과 관련이 없는 특징을 무시하는 법을 학습하는 것으로 생각됩니다. 이는 불변성(Invariance)으로 알려져 있으며, 이는 덜 중요한 특징에서 차이를 보이더라도 객체가 동일한 것으로 인식된다는 것을 의미합니다.
“전통적으로 감각 시스템에 대해 우리가 생각한 방식은 동일한 것의 다른 예가 가질 수 있는 모든 변형 소스에 대해 불변성을 구축하는 것입니다.”라고 Feather는 말합니다. “유기체는 완전히 다른 감각 신호로 나타나더라도 동일한 것임을 인식해야 합니다.”
연구자들은 분류 작업을 수행하도록 훈련된 심층 신경망이 유사한 불변성을 진화시킬 수 있는지 궁금해했습니다. 이 질문에 답하기 위해 그들은 이러한 모델을 사용하여 연구자가 모델에 제공한 예시 자극과 동일한 유형의 반응을 모델 내에서 생성하는 자극을 생성했습니다.
그들은 이러한 자극을 “전형적인 측정”이라고 부르며, 시스템과 구별할 수 없는 자극을 사용하여 시스템의 상수를 진단할 수 있는 고전적인 인식 연구의 아이디어를 되살립니다. 유추의 개념은 원래 인간의 지각 연구에서 서로 다른 파장의 빛으로 구성되어 있어도 동일하게 보이는 색상을 설명하기 위해 개발되었습니다.
놀랍게도 연구자들은 이런 방식으로 생성된 대부분의 이미지와 소리가 모델이 원래 제공한 예와 유사하지 않다는 사실을 발견했습니다. 대부분의 이미지는 무작위로 보이는 픽셀의 뒤죽박죽이었고, 소리는 이해할 수 없는 소음 같았습니다. 연구진이 인간 관찰자에게 이미지를 보여줬을 때, 대부분의 경우 인간은 모델이 합성한 이미지를 원래 대상 사례와 동일한 카테고리로 분류하지 않았습니다.
“실제로는 인간이 완전히 인식할 수 없습니다. 자연스럽게 보이거나 들리지 않으며, 누구든지 개체나 단어를 분류하는 데 사용할 수 있는 해석 가능한 기능이 없습니다.”라고 Feather는 말합니다.
결과는 모델이 인간의 인지 시스템에서 발견되는 것과는 다른 자체 상수를 어떻게든 진화시켰음을 시사합니다. 이로 인해 모델은 자극 쌍이 인간과 크게 다르더라도 동일한 자극 쌍을 인식하게 됩니다.
법학상수
연구자들은 다양한 시각 및 청각 패러다임에서 동일한 효과를 발견했습니다. 그러나 이들 모델 각각은 고유한 상수를 개발하는 것으로 보입니다. 한 모델의 게이지가 다른 모델에 제시되었을 때 두 번째 모델의 게이지는 인간 관찰자만큼 인식되지 않았습니다.
McDermott는 “이것의 주요 시사점은 이러한 모델이 우리가 특성 불변성이라고 부르는 것을 갖고 있는 것 같다는 것입니다.”라고 말합니다. “그들은 특정 모델에 특정한 자극 필드의 특정 차원에 불변성을 배웠으므로 다른 모델은 동일한 불변성을 갖지 않습니다.”
또한 연구원들은 적대적 훈련이라는 접근 방식을 사용하여 모델의 측정 항목을 인간이 더 잘 인식할 수 있도록 자극할 수 있다는 사실도 발견했습니다. 이 접근 방식은 원래 객체 인식 모델의 또 다른 한계, 즉 이미지에 거의 감지할 수 없는 작은 변화를 도입하면 모델이 이미지를 잘못 인식할 수 있다는 문제를 해결하기 위해 개발되었습니다.
연구원들은 훈련 데이터에 이러한 약간 수정된 이미지 중 일부를 포함하는 경쟁 훈련이 여전히 원래 자극만큼 인식할 수는 없지만 측정 항목이 인간에게 더 잘 인식되는 모델을 생성한다는 것을 발견했습니다. 연구원들은 이러한 개선이 적대적인 공격에 저항하는 모델의 능력에 대한 훈련의 영향과 무관한 것으로 보인다고 말했습니다.
Feather는 “이러한 유형의 훈련은 큰 효과가 있지만 왜 그런 효과가 있는지는 실제로 알지 못합니다.”라고 말합니다. “이것은 향후 연구 분야입니다.”
계산 모델에 의해 생성된 지표를 분석하는 것은 계산 모델이 인간 지각 시스템의 기본 구성을 얼마나 밀접하게 모방하는지 평가하는 데 도움이 되는 유용한 도구가 될 수 있다고 연구진은 말합니다.
“이것은 모델과 인간 관찰자 사이에 상수가 공유되는지 확인하기 위해 특정 모델에 대해 수행할 수 있는 행동 테스트입니다.”라고 Feather는 말합니다. “또한 특정 모델 내에서 상수가 얼마나 구체적인지 평가하는 데 사용할 수 있으며, 이는 향후 모델을 개선할 수 있는 잠재적인 방법을 찾는 데 도움이 될 수 있습니다.”
자금조달: 국립과학재단(National Science Foundation), 국립보건원(National Institutes of Health), 에너지부 전산과학 대학원 펠로우십, McGovern Institute Fellowship의 친구들이 연구에 자금을 지원했습니다.
인공 지능 및 인지 연구 소개 뉴스
작가: 사라 맥도넬
원천: 매사추세츠 공과대학
의사소통: 사라 맥도넬(Sarah McDonnell) – 매사추세츠 공과대학
그림: 이미지 제공: 신경과학 뉴스
원래 검색: 오픈 액세스.
“일반적인 측정 도구는 생물학적 신경망과 인공 신경망 사이의 다양한 불변성을 나타냅니다.“Josh McDermott 외. 일반 신경과학
요약
일반적인 측정 도구는 생물학적 신경망과 인공 신경망 사이의 다양한 불변성을 나타냅니다.
감각 시스템의 심층 신경망 모델은 뇌와 같은 불변성을 갖는 표상 변환을 학습하기 위해 종종 제안됩니다. 이러한 불변성을 밝히기 위해 우리는 모델 단계 내의 활성화가 자연 자극의 활성화와 일치하는 자극인 “모델 자극”을 만들었습니다.
시각 및 청각에 대한 현대의 감독 및 비지도 신경망 모델을 위한 도구는 후기 모델 단계에서 생성될 때 인간이 완전히 인식할 수 없는 경우가 많으며, 이는 모델과 인간 불변 사이의 차이를 암시합니다. 목표 모델 변경으로 인해 모델 측정 도구에 대한 인간의 인식이 향상되었지만 전체적인 인간-모델 불일치가 제거되지는 않았습니다.
모델 메트릭에 대한 인간의 인식 가능성은 다른 모델의 인식 가능성에 의해 잘 예측되며, 이는 모델이 작업에 필요한 것 외에 뚜렷한 불변성을 포함하고 있음을 시사합니다.
Metamer 인식 가능성은 기존의 뇌 기반 기준과 약하게 적대적인 기준 모두에서 분리되어 기존 감각 모델의 뚜렷한 실패 모드를 드러내고 모델 평가를 위한 보완 기준을 제공합니다.
“경순은 통찰력 있고 사악한 사상가로, 다양한 음악 장르에 깊은 지식을 가지고 있습니다. 힙스터 문화와 자연스럽게 어우러지는 그의 스타일은 독특합니다. 그는 베이컨을 좋아하며, 인터넷 세계에서도 활발한 활동을 보여줍니다. 그의 내성적인 성격은 그의 글에서도 잘 드러납니다.”