Wired 기자, GPT-6 Sol로 가상 Microduck 로봇에 고양이 찾기를 가르쳐

16시간 전

Wired 기자가 Pollen Robotics와 Hugging Face가 만든 Microduck 로봇의 시뮬레이션 버전을 방 안을 걸어다니며 벵갈 고양이를 알아보도록 훈련시키는 데 OpenAI의 GPT-6 Sol 모델을 사용했다고 밝혔다. 뉴스레터에서 윌 나이트는 코딩과 훈련에 몇 시간밖에 걸리지 않았다고 말했다. 이 작업은 이전이라면 몇 주가 걸렸을 수도 있다고 덧붙였다.

나이트는 아직 실물 Microduck을 받지 못했다. 그는 시뮬레이션에서 익힌 동작이 비교적 단순해서 실제 로봇에도 그대로 옮겨갈 것이라고 말했다. 그는 이 로봇이 자신이 키우는 벵갈 고양이 레오나에게 간식을 주도록 할 계획이다. 로봇에 달린 3D 프린팅 보관함에서 간식을 꺼내기 위해 머리를 숙이는 방식이 가능하다고 한다.

훈련 과정

나이트는 GPT-6 Sol을 Nous Research의 에이전트 하네스 Hermes, 그리고 강력한 AI 칩을 탑재한 개인용 컴퓨터 Nvidia DGX Spark와 함께 사용했다. 나이트에 따르면 이 모델은 코드 작성에 그치지 않았다. Nvidia의 Isaac Sim 소프트웨어로 가상 로봇을 제어하는 모델에 명령을 보냈고, 결과 영상을 보며 진행 상황을 판단했으며 훈련 방식의 수정안도 제안했다.

이 과정을 거쳐 Microduck은 넘어지지 않고 걷는 법을 익혔다. 마이클 잭슨의 GIF를 이용해 문워크를 가르치려던 시도는 몇 시간의 노력 끝에 중단됐다. 나이트는 그 결과를 “매우 경쾌한 뒷걸음질”이라고 불렀다.

나이트는 로봇을 안정적으로 작동시키는 일이 여전히 매우 어렵고 상당한 공학 전문성이 필요하다고 경고했다. 그는 자신의 로봇에 탑재된 비전 시스템이 실제 제품으로 쓰기에는 충분하지 않다고 글에 적었다.

연구진, 활용 범위 확대에 주목

나이트는 캘리포니아대학교 버클리 캠퍼스의 켄 골드버그 교수의 연구를 언급했다. 골드버그 교수의 학생들은 9월 출시된 OpenAI의 Astra 모델을 써봤다. 연구실의 한 연구원은 Astra를 Nvidia 도구인 Newton에 연결하고, 실제 로봇이 작업하는 영상 클립을 제공한 뒤 그 장면의 시뮬레이션을 만들어 달라고 요청했다.

““우리 모두를 놀라게 한 건 한 시간 만에 카메라 위치, 조명, 배경, 모든 재질까지 전부 설정된 완전한 3D 시뮬레이션이 나왔다는 점이었다.”
켄 골드버그, 캘리포니아대학교 버클리 캠퍼스 교수

골드버그는 Astra가 실험을 돌리고 결과를 분석해 시뮬레이션 학습의 지루하고 번거로운 작업 상당 부분을 자동화할 수 있다고도 말했다. 나이트에 따르면 여러 산업용 로봇 및 자동화 기업들이 이 접근법에 관심을 보였다.

골드버그와 함께 연구해 온 Nvidia 연구원 짐 판은 AI 모델이 이제 소프트웨어 에이전트와 같은 방식으로 로봇을 제어할 수 있게 됐다고 말했다. 거대언어모델은 물리적 동작을 제어하도록 훈련된 시각-언어-행동 모델을 호출할 수 있는데, 이는 컴퓨터에서 여러 프로그램을 골라 쓰는 방식과 같다.

판, 골드버그 등은 이번 주 로봇이 새로운 기술을 스스로 찾아 쓸 수 있게 하는 오픈소스 에이전트 프레임워크 Aspire를 공개했다. 한 예시에서 GPT-6 Astra는 두 개의 로봇 팔을 이용해 루빅큐브를 푸는 방법을 찾아냈다. 판은 또 텍사스주 오스틴에서 열린 로봇 학습 학회(Conference on Robot Learning)에서 기조연설을 했으며, 이 자리에서 로봇 팔이 금문교를 그리도록 지시하는 Astra를 보여줬다.