복잡한 환경에서는 인간이 AI보다 말의 의미를 더 잘 이해할 수 있습니다. 왜냐하면 인간은 귀뿐만 아니라 눈도 사용하기 때문입니다.
예를 들어, 우리는 누군가의 입이 움직이는 것을 보고, 우리가 듣는 소리가 그 사람에게서 나온다는 것을 직감적으로 알 수 있습니다.
Meta AI는 새로운 AI 대화 시스템을 개발하고 있는데, 이는 AI가 대화에서 보고 듣는 것 사이의 미묘한 상관관계를 인식하도록 가르치는 것을 목표로 합니다.
VisualVoice는 사람이 새로운 기술을 익히는 방식과 비슷한 방식으로 학습하며, 레이블이 지정되지 않은 비디오에서 시각적, 청각적 단서를 학습하여 시청각적 음성을 분리할 수 있습니다.
이를 통해 기계는 더 나은 지각을 갖게 되고, 인간의 지각도 향상됩니다.
전 세계의 동료들과 함께 메타버스에서 그룹 회의에 참석하고, 가상 공간을 이동하면서 소규모 그룹 회의에 참여할 수 있다고 상상해보세요. 회의가 진행되는 동안 장면의 사운드 리버브와 음색이 환경에 따라 조정됩니다.
즉, 오디오, 비디오 및 텍스트 정보를 동시에 얻을 수 있으며, 더욱 풍부한 환경 이해 모델을 갖추고 있어 사용자에게 "매우 놀라운" 사운드 경험을 제공합니다.
게시 시간: 2022년 7월 20일
