Meta 연구진, 시각·문자·음성 자료를 똑같이 잘 학습하는 AI 개발
자기지도 학습 — 기계가 라벨이 붙은 이미지, 텍스트, 오디오 및 기타 데이터 소스로 명시적으로 가르침을 받는 대신 주변 환경을 직접 관찰하며 배우는 방식 — 은 최근 AI의 많은 주목할 만한 성과의 토대가 되었습니다.
그러나 사람은 시각이나 청각 등 정보를 어떻게 받아들이든 대체로 같은 방식으로 학습하는 것으로 보이는 반면, 현재 자기지도 학습 알고리즘은 이미지, 음성, 텍스트 및 기타 데이터로부터 학습하는 방식에 큰 차이가 있습니다.
이러한 불일치는 자기지도 학습의 발전이 더 폭넓게 적용되는 데 큰 걸림돌이었습니다. 예를 들어 이미지 이해를 위해 개발된 강력한 알고리즘을 텍스트 같은 다른 모달리티에 직접 적용할 수 없기 때문에, 여러 모달리티를 같은 속도로 발전시키기가 어렵습니다.
바로 이런 이유로 Meta AI는 개발했습니다. data2vec은 여러 모달리티에서 작동하는 최초의 고성능 자기지도 알고리즘입니다. Data2vec을 음성, 이미지, 텍스트에 각각 적용했더니 컴퓨터 비전과 음성 분야에서 기존 단일 목적 최고 알고리즘을 능가했고, NLP(자연어 처리) 과제에서도 경쟁력 있는 성능을 보였습니다.
이는 여러 모달리티를 동시에 개선하는 새로운 통합 자기지도 학습 패러다임을 나타냅니다. 또한 대조 학습이나 입력 예제의 재구성에 의존하지 않습니다.
Data2vec은 인공지능 발전을 가속하는 데 그치지 않고, 세상의 다양한 측면을 막힘없이 학습하는 기계를 만드는 데 한 걸음 더 다가가게 합니다. 이를 통해 연구진의 말처럼 현재 시스템의 능력을 넘어서는 과제를 수행할 수 있는 더 적응력 있는 AI를 개발할 수 있게 될 것입니다.
data2vec 작동 방식
오늘날 AI의 대부분은 여전히 라벨이 붙은 데이터만 다루는 지도 학습에 기반하고 있습니다. 하지만 기계가 수행하기를 바라는 모든 일에 대한 라벨 데이터를 모으는 것은 불가능합니다. 예를 들어 연구자들이 영어 음성과 텍스트에 대해서는 대규모 라벨 데이터셋을 만드는 데 큰 노력을 기울였지만, 지구상에서 사용되는 말 그대로 수천 개의 언어에 대해서는 이것이 불가능합니다.
자기지도 학습을 통해 컴퓨터는 단순히 세상을 관찰하고 이미지, 음성, 텍스트의 구조를 스스로 알아내는 방식으로 세상에 대해 배울 수 있습니다. 이미지를 분류하거나 대화 언어를 이해하도록 명시적으로 가르칠 필요가 없는 기계는 훨씬 확장성이 높습니다.
오늘날 자기지도 학습 연구는 거의 항상 한 가지 특정 모달리티에 집중되어 있습니다. 따라서 한 모달리티를 연구하는 연구자들은 다른 모달리티를 연구하는 사람들과 완전히 다른 접근법을 사용하는 경우가 많습니다. 텍스트의 경우 연구자들은 모델이 문장의 빈칸을 채우도록 훈련합니다.
반면 음성 모델은 누락된 소리를 예측하기 위해 음성의 기본 소리 목록을 학습해야 합니다. 컴퓨터 비전에서는 모델이 보통 컬러 이미지 속 소와 그 이미지를 거꾸로 뒤집은 것에 비슷한 표현을 부여하도록 훈련되며, 그래서 오리 이미지 같은 무관한 이미지보다 둘을 훨씬 더 밀접하게 연결합니다.
알고리즘은 모달리티마다 예측하는 단위도 다릅니다. 이미지에서는 픽셀이나 시각 토큰, 텍스트에서는 단어, 음성에서는 학습된 소리 집합을 예측합니다. 픽셀 집합은 음파나 텍스트 한 단락과 크게 다르기 때문에, 알고리즘 개발이 특정 모달리티에 묶이게 됩니다. 이는 알고리즘이 여전히 모달리티마다 다르게 작동한다는 뜻입니다.
Data2vec은 모델이 모달리티와 관계없이 입력 데이터의 자체 표현을 예측하도록 훈련함으로써 이 문제를 단순화합니다. 시각 기호, 단어, 소리를 예측하는 대신 이 표현들, 즉 신경망의 계층에 집중함으로써 하나의 알고리즘이 완전히 다른 유형의 입력 데이터를 다룰 수 있게 됩니다.
Meta 연구진의 방법은 먼저 교사 네트워크를 사용하여 이미지, 텍스트 조각, 또는 음성 발화로부터 목표 표현을 계산합니다. 그런 다음 입력 데이터의 일부를 가리고 학생 네트워크로 과정을 반복하며, 학생 네트워크는 교사의 숨겨진 표현을 예측합니다. 학생 모델은 정보의 일부만 가지고 있더라도 모든 입력 데이터의 표현을 예측해야 합니다.
연구진은 이 방법을 널리 쓰이는 컴퓨터 비전 벤치마크인 ImageNet에서 테스트했는데, 인기 있는 모델 크기에서 기존 방법보다 더 좋은 성능을 보였습니다. 음성의 경우 Meta AI의 기존 자기지도 음성 알고리즘 두 가지인 wav2vec 2.0이나 HuBERT보다 성능이 좋았습니다. 텍스트의 경우 널리 쓰이는 GLUE 벤치마크에서 테스트했고, BERT를 재구현한 RoBERTa와 같은 결과를 보였습니다.
컴퓨터 비전, 비디오 및 기타 개별 모달리티 분야에서 다양한 학습 목표를 활용한 자기지도 학습이 큰 성과를 거두고 있지만, 이 접근법의 핵심 아이디어는 보다 일반적인 학습에 있습니다. 즉, AI는 완전히 새로운 과제를 포함해 수많은 서로 다른 과제를 수행하는 법을 배울 수 있어야 한다는 것입니다.
연구자들은 기계가 학습 데이터에 나온 동물을 인식하는 데 그치지 않고, 새로운 생물이 어떻게 생겼는지 설명을 들으면 그것을 인식하도록 적응하기를 원합니다. Data2vec은 동일한 자기지도 알고리즘이 서로 다른 모달리티에서도 잘 작동할 수 있으며, 종종 기존 최고 알고리즘보다 더 나은 성능을 낸다는 것을 보여줍니다.
이는 보다 일반적인 자기지도 학습으로 가는 길을 열고, AI가 비디오, 기사, 오디오 녹음을 활용해 축구를 하거나 다양한 방식으로 빵을 굽는 법 같은 복잡한 것을 배울 수 있는 세상에 한 발짝 더 다가가게 합니다. 회사는 data2vec이 컴퓨터가 과제를 수행하는 데 매우 적은 레이블 데이터만 필요로 하는 세상으로 모두를 더 가까이 이끌기를 기대하고 있습니다.
주석이 달린 예시를 수집하는 것은 어렵고 때로는 불가능합니다. 예를 들어 수천 개 언어의 음성 인식 모델을 학습시키는 경우가 그렇습니다. 따라서 data2vec은 보다 일반적인 AI로 나아가는 중요한 단계입니다.
“사람은 시각, 청각, 언어의 조합을 통해 세상을 배우며, 이와 유사한 시스템은 언젠가 우리처럼 세상을 이해할 수 있게 될 것입니다.”
아직 초기 연구 단계이므로 전설적인 '범용 AI'가 갑자기 등장할 것이라고 기대하지는 마세요. 그러나 다양한 영역과 데이터 유형을 다룰 수 있는 일반화된 학습 구조를 갖춘 AI는, 오늘날 우리가 사용하는 분절된 '마이크로 지능' 모음보다 더 나은 우아한 해법으로 보입니다.
