기계 학습 모델은 잘못된 예측을 할 수 있기 때문에 연구자들은 종종 사용자에게 특정 결정에 대해 얼마나 확신하는지 알려주는 기능을 갖추고 있습니다. 이는 의료 이미지에서 질병을 식별하는 데 도움이 되는 모델을 사용하거나 작업 애플리케이션을 필터링하는 등 위험이 큰 상황에서 특히 중요합니다.
그러나 모델이 제공하는 불확실성 추정치는 정확할 경우에만 유용합니다. 모델이 의료 이미지에 흉막삼출이 나타날 것이라고 49% 신뢰한다고 말하면 모델은 49%의 확률로 정확해야 합니다.
MIT 연구진이 기계 학습 모델의 불확실성 추정을 개선할 수 있는 새로운 접근 방식을 제시했습니다. 그들의 방법은 다른 기술보다 더 정확한 불확실성 추정치를 생성할 뿐만 아니라 더 효율적으로 수행합니다.
또한 이 기술은 확장 가능하므로 의료 및 기타 안전이 중요한 상황에 점점 더 많이 배포되는 대규모 딥 러닝 모델에 적용될 수 있습니다.
이 기술은 기계 학습 경험이 부족한 최종 사용자에게 모델의 예측을 신뢰할 수 있는지 또는 특정 작업에 모델을 배포해야 하는지 여부를 결정하는 데 사용할 수 있는 더 나은 정보를 제공할 수 있습니다.
“이러한 모델이 매우 좋은 시나리오에서 실제로 잘 작동한다는 것을 확인하고 다른 시나리오에서도 똑같이 좋을 것이라고 가정하는 것은 쉽습니다.”라고 토론토 대학교 대학원생이자 “이것은 이러한 모델의 불확실성을 더 잘 보정하여 불확실성에 대한 인간의 개념과 일치하도록 하는 작업을 발전시키는 것이 특히 중요합니다.”
Ng는 토론토 대학의 컴퓨터 과학 조교수인 Roger Gross와 공동으로 논문을 썼습니다. 수석 저자인 Marzieh Ghasemi는 전기 공학 및 컴퓨터 과학과의 부교수이자 생물의학 공학 과학 연구소 및 정보 및 의사 결정 시스템 연구소의 회원입니다. 해당 연구는 국제 머신러닝 컨퍼런스에서 발표될 예정이다.
불확실성 측정
불확실성을 정량화하는 방법에는 수백만 개의 매개변수가 포함된 기계 학습 모델에 잘 맞지 않는 복잡한 통계 계산이 필요한 경우가 많습니다. 또한 이러한 방법을 사용하려면 사용자가 모델과 모델을 훈련하는 데 사용되는 데이터에 대해 가정해야 합니다.
MIT 연구원들은 다른 접근 방식을 취했습니다. 그들은 다른 방법의 정확성을 방해할 수 있는 가정을 요구하지 않는 최소 설명 길이(MDL) 원칙을 사용합니다. 최소 설명 길이의 원칙은 모델이 표시하도록 요청한 테스트 지점과 관련된 불확실성을 더 잘 측정하고 보정하는 데 사용됩니다.
IF-COMP로 알려진 연구원들이 개발한 기술은 MDL을 많은 실제 환경에 배포된 대규모 딥 러닝 모델 유형과 함께 사용할 수 있을 만큼 빠르게 만듭니다.
MDL에는 모델이 테스트 포인트에 제공할 수 있는 모든 가능한 레이블을 고려하는 작업이 포함됩니다. 이 점에 대해 잘 맞는 대체 신호가 여러 개 있는 경우 선택한 신호에 대한 자신감이 그에 따라 감소해야 합니다.
Ng는 “모델이 얼마나 신뢰할 수 있는지 이해하는 한 가지 방법은 비현실적인 정보를 알려주고 모델이 당신을 믿을 가능성이 얼마나 되는지 확인하는 것입니다.”라고 말했습니다.
예를 들어, 의료 이미지에 흉막삼출이 보인다는 양식이 있다고 가정해 보겠습니다. 연구자가 모델에 이 이미지가 부종을 보여주고 있다고 말하고 모델이 믿음을 업데이트하려는 경우 모델은 원래 결정에 대한 신뢰도가 낮아집니다.
MDL을 사용하면 모델이 데이터 포인트의 이름을 지정할 때 자신이 있는 경우 매우 짧은 코드를 사용하여 해당 포인트를 설명해야 합니다. 점에 다른 마커가 많이 있을 수 있기 때문에 자신의 결정이 확실하지 않은 경우에는 더 긴 기호를 사용하여 이러한 가능성을 포착합니다.
데이터 포인트를 분류하는 데 사용되는 코드의 양을 무작위 데이터 복잡성이라고 합니다. 연구자가 반대 증거가 있는 경우 주어진 데이터 포인트에 대한 믿음을 얼마나 업데이트할 의향이 있는지 모델에 묻는 경우, 모델이 자신감을 갖고 있다면 무작위 데이터의 복잡성은 감소해야 합니다.
그러나 MDL을 사용하여 각 데이터 포인트를 테스트하려면 엄청난 양의 계산이 필요합니다.
프로세스 속도를 높이세요
연구원들은 IF-COMP를 사용하여 영향 함수라고 알려진 특수 함수를 사용하여 무작위 데이터의 복잡성을 정확하게 추정할 수 있는 근사 기법을 개발했습니다. 또한 그들은 모델 출력의 보정을 향상시키는 열 스케일링이라는 통계 기술을 사용했습니다. 강제력과 온도 구배 함수의 이러한 조합을 통해 확률론적 데이터의 복잡성에 대한 고품질 근사치를 얻을 수 있습니다.
궁극적으로 IF-COMP는 실제 모델 신뢰도를 반영하는 잘 보정된 불확실성 정량화를 효율적으로 생성할 수 있습니다. 또한 이 기술은 모델이 특정 데이터 포인트에 잘못 레이블을 지정했는지 확인하거나 이상값인 데이터 포인트를 감지할 수도 있습니다.
연구원들은 이 세 가지 작업에 대해 시스템을 테스트한 결과 다른 방법보다 더 빠르고 정확하다는 사실을 발견했습니다.
Ghasemi는 “모델이 잘 보정되었다는 확신을 갖는 것이 정말 중요하며 주어진 예측이 올바르지 않은 경우를 감지해야 하는 필요성이 점점 커지고 있습니다.”라고 Ghasemi는 말합니다. 인간이 직면한 문제에 적용될 모델을 만들기 위해 대량의 원시 데이터를 사용합니다.”
IF-COMP는 모델에 종속되지 않으므로 다양한 유형의 기계 학습 모델에 대해 정확한 불확실성 추정치를 제공할 수 있습니다. 이를 통해 더 넓은 범위의 실제 환경에 확산될 수 있으며 궁극적으로 더 많은 실무자가 더 나은 결정을 내리는 데 도움이 될 것입니다.
Ng는 “사람들은 이러한 시스템이 오류가 발생할 가능성이 매우 높으며 진행하면서 무언가를 발명할 수 있다는 점을 이해해야 합니다. 모델은 매우 자신감 있는 것처럼 보일 수 있지만 실제로 믿고 싶은 부분이 많이 있습니다. 반대 증거 존재”
앞으로 연구원들은 대규모 언어 모델에 접근 방식을 적용하고 최소 설명 길이 원칙에 대한 다른 잠재적인 사용 사례를 연구하는 데 관심이 있습니다.
“트위터를 통해 다양한 주제에 대한 생각을 나누는 아 동율은 정신적으로 깊이 있습니다. 그는 맥주를 사랑하지만, 때로는 그의 무관심함이 돋보입니다. 그러나 그의 음악에 대한 열정은 누구보다도 진실합니다.”