딥 러닝을 사용하여 통화를 스캔하는 최초의 무선 이어버드

COVID-19 잠금 기간 동안 회의가 온라인으로 전환됨에 따라 많은 사람들이 룸메이트, 쓰레기 트럭 및 기타 시끄러운 소음과의 험담이 중요한 대화를 방해한다는 것을 알게 되었습니다.

이 실험은 팬데믹 기간 동안 룸메이트였던 워싱턴 대학의 3명의 연구원에게 더 나은 이어버드를 개발하도록 영감을 주었습니다. 화자의 목소리를 높이거나 낮추려면 배경 소음ClearBuds는 새로운 마이크 시스템과 스마트폰에서 실행되는 최초의 실시간 기계 학습 시스템 중 하나를 사용합니다.

연구원들은 6월 30일 ACM International Conference on Mobile Systems, Applications, and Services에서 이 프로젝트를 발표했습니다.

“ClearBuds는 두 가지 주요 면에서 다른 무선 이어버드와 구별됩니다. “첫째, ClearBuds는 듀얼 마이크 어레이를 사용합니다. 각 이어버드의 마이크는 정보를 제공하고 더 높은 정밀도로 다른 방향에서 나오는 소리를 공간적으로 분리할 수 있는 두 개의 동시 오디오 스트림을 생성합니다. 두 번째, 가벼운 신경망은 화자의 음성을 향상시킵니다. .”

대부분의 상업용 이어버드에도 각 이어버드에 마이크가 있지만 한 번에 하나의 이어버드만 활성 사운드를 전화기로 보냅니다. ClearBuds를 사용하면 각 이어버드가 오디오 스트림을 전화기로 보냅니다. 연구원들은 이러한 스트림이 서로 70마이크로초 이내에 동기화될 수 있도록 블루투스 네트워킹 프로토콜을 설계했습니다.

팀의 신경망 알고리즘은 전화에서 실행되어 오디오 스트림을 처리합니다. 먼저 비 음향 사운드를 차단합니다. 그런 다음 양쪽 귀에서 동시에 발생하는 모든 소음(스피커의 소리)을 분리하고 강화합니다.

Allen School의 박사 과정 학생인 공동 저자 Ishan Chatterjee는 말했습니다. “이 방법은 귀가 작동하는 방식과 정확히 동일합니다. 시차 소리가 나오는 방향을 결정하기 위해 왼쪽 귀와 오른쪽 귀로 들어오는 소리 사이를 구분합니다.”

연구원들이 ClearBuds를 Apple AirPods Pro와 비교했을 때 ClearBuds가 더 나은 성능을 보여 모든 테스트에서 더 높은 신호 대 왜곡 비율을 달성했습니다.

“일반적으로 신경망에 전력을 공급하는 데 사용되는 대형 상용 그래픽 카드에 비해 컴퓨팅 성능이 아주 작은 iPhone에서 신경망을 20밀리초 미만으로 실행해야 한다는 사실을 고려할 때 이례적인 일입니다.” 그는 말했다. 공동 저자인 Vivek Jayaram은 Allen’s School의 박사 과정 학생입니다. “이것은 우리가 이 백서에서 해결해야 하는 과제의 일부입니다. 출력 품질을 유지하면서 기존 신경망을 사용하여 크기를 줄이는 방법은 무엇입니까?”

팀은 또한 커피숍이나 번화한 거리와 같은 시끄러운 환경에서 프로젝트 Gutenberg에서 읽는 8명을 녹음하여 “야생에서” ClearBuds를 테스트했습니다. 그런 다음 연구원들은 37명의 사람들에게 이 녹음의 평균 10초에서 60초 세그먼트를 주었습니다. 참가자들은 ClearBuds 신경망을 통해 처리된 클립이 최고의 소음 억제와 최고의 전반적인 청취 경험을 가진 것으로 평가했습니다.

연구자들은 ClearBuds의 한 가지 한계는 소음 억제 경험을 얻기 위해 양쪽 귀를 모두 착용해야 한다는 점이라고 말했습니다.

팀은 여기에서 개발된 실시간 통신 시스템이 스마트 홈 스피커, 로봇 위치 추적 또는 수색 및 구조 임무를 포함한 다른 다양한 응용 프로그램에 유용할 수 있다고 말했습니다.

팀은 현재 파일을 만드는 작업을 하고 있습니다. 신경망 더 효율적인 알고리즘으로 이어폰에서 실행할 수 있습니다.