AI 휴머노이드 로봇이 테니스를 친다 — LATENT, 포핸드 성공률 91%
칭화대 연구팀이 Unitree G1 휴머노이드 로봇에 테니스를 가르치는 AI 시스템 LATENT를 공개했습니다. 아마추어 동작 데이터만으로 포핸드 91%, 백핸드 78% 성공률을 달성한 강화학습 로봇의 새 이정표입니다.
AI 휴머노이드 로봇이 사람과 테니스 랠리를 합니다. 키 132cm, 몸무게 35kg의 Unitree G1 로봇이 테니스 라켓을 들고 코트에 섰습니다. 사람이 서브를 넣으면 로봇이 달려가서 공을 받아치고, 다시 사람이 받아치면 로봇이 또 받아칩니다. 시속 54~108km로 날아오는 공을 포핸드 90.9%, 백핸드 77.8% 확률로 성공적으로 되돌려 보냅니다. 공상과학 영화가 아니라, 칭화대학교 연구팀이 강화학습 기반 AI 시스템 LATENT로 이번 주 공개한 실제 연구 결과입니다.
AI 로봇 훈련법: 아마추어 5명의 동작 데이터만으로 학습
이 프로젝트의 이름은 LATENT(Learning Athletic humanoid TEnnis skills from imperfect human motioN daTa)입니다. 칭화대학교, 북경대학교, 로봇 스타트업 Galbot, 상하이 AI 연구소가 공동으로 만들었습니다.
가장 놀라운 점은 훈련 데이터의 품질이 낮아도 된다는 것입니다. 기존에는 프로 선수의 완벽한 경기 영상을 정밀하게 분석해야 했습니다. 하지만 LATENT는 아마추어 테니스 동호인 5명에게 포핸드, 백핸드, 사이드 스텝 같은 기본 동작만 따로따로 시연하게 했습니다. 실제 경기 영상이 아니라 '부분 동작 조각'만 모은 것입니다.
동작 촬영 공간도 가로 3m × 세로 5m에 불과했습니다. 실제 테니스 코트(약 260㎡)의 17분의 1 크기입니다. 총 5시간 분량의 동작 데이터를 수집했고, 별도의 편집이나 라벨링 작업 없이 그대로 사용했습니다. AI 기초부터 배우고 싶다면 무료 학습 가이드에서 강화학습의 기본 개념도 확인할 수 있습니다.
▲ LATENT 프로젝트에 사용된 Unitree G1 인간형 로봇. 키 132cm, 몸무게 35kg, 최대 43개 관절 모터를 갖추고 있습니다. (출처: Unitree 공식 페이지)
휴머노이드 로봇 테니스 성공률: 포핸드 91%, 백핸드 78%
연구팀은 이 로봇을 실제 테니스 코트에 세우고 사람과 20회 연속 랠리 실험을 진행했습니다. 결과가 인상적입니다.
실제 코트 테스트 성공률
• 포핸드 리턴: 90.9%
• 백핸드 리턴: 77.8%
• 앞쪽 코트(네트 근처) 리턴: 88.9%
• 뒤쪽 코트(베이스라인 근처) 리턴: 81.8%
날아오는 공의 속도는 초속 15~30m, 즉 시속 54~108km입니다. 아마추어 동호인의 일반적인 랠리 속도와 비슷한 수준입니다. 로봇은 공이 날아오는 위치에 따라 자동으로 발을 옮기고, 포핸드와 백핸드를 구분해서 스윙합니다.
시뮬레이션(컴퓨터 가상 환경)에서는 성공률이 더 높았습니다. 포핸드 96.5%, 백핸드 82.1%를 기록했고, 기존에 나온 다른 방법들(PPO, AMP, ASE, PULSE 등)을 모두 크게 앞질렀습니다.
LATENT 강화학습 3단계: 불완전한 데이터로 높은 성능을 내는 원리
LATENT의 학습 과정은 크게 세 단계로 나뉩니다. 비유하자면, 마치 테니스를 전혀 모르는 사람에게 기초 스윙 영상만 보여준 뒤, 가상 코트에서 수만 번 연습시키고, 마지막에 실제 코트에 내보내는 과정입니다.
1단계 동작 따라하기(Imitation Learning) — 아마추어 5명의 기본 동작(포핸드, 백핸드, 사이드 스텝 등)을 로봇이 모방합니다.
2단계 동작 압축 및 조합(Latent Space Encoding) — 개별 동작 조각들을 AI가 하나의 '기술 사전'으로 압축합니다. 이때 부정확한 손목 동작은 AI가 자동으로 보정합니다.
3단계 실전 전략 학습(Reinforcement Learning) — 가상 코트에서 날아오는 공의 위치와 속도에 따라 어떤 동작을 쓸지 스스로 결정하는 '고급 전략'을 익힙니다.
핵심 혁신은 Latent Action Barrier(동작 안전 울타리)라는 기술입니다. AI가 학습 중에 너무 엉뚱한 동작을 시도하지 않도록, '사람다운 동작 범위' 안에서만 탐색하게 제한을 겁니다. 덕분에 로봇이 어색한 자세 대신 자연스러운 사람의 스윙 동작을 유지하면서도 공을 정확히 받아칠 수 있게 되었습니다.
▲ Unitree G1의 전신. 가격 약 1,800만 원($13,500)부터 시작하며, 23~43개 관절 모터와 뎁스 카메라, 3D 라이다를 장착하고 있습니다. (출처: Unitree)
해커뉴스 반응: "테슬라 옵티머스(Tesla Optimus)보다 훨씬 낫다"
이 연구는 해커뉴스에서 149표를 받으며 활발한 토론이 벌어졌습니다.
한 사용자는 "테슬라 옵티머스는 초속 0.02m로 느릿느릿 움직이는데, 이 로봇은 테니스 랠리를 한다"며 놀라움을 표했습니다. 다만 전문가들은 한계도 지적했습니다. 로봇이 공의 위치를 파악하는 데 외부 모션 캡처 카메라(실험실에 설치된 고속 카메라 시스템)에 의존하고 있어, 아직 로봇 자체의 눈(카메라)만으로 공을 추적하는 것은 아니라는 점입니다.
연구팀도 이 한계를 인정하면서, 향후 로봇 자체 카메라로 공을 인식하는 기능을 개발할 계획이라고 밝혔습니다. 또한 이 기술을 테니스뿐 아니라 축구, 파쿠르(장애물 넘기) 등 다른 스포츠에도 확장할 수 있다고 전망했습니다.
AI 로봇 스포츠의 미래: 테니스를 넘어 축구, 파쿠르까지
LATENT가 보여주는 진짜 의미는 단순히 "로봇이 테니스를 친다"가 아닙니다. 완벽하지 않은 데이터로도 복잡한 신체 기술을 학습할 수 있다는 것이 핵심입니다. 프로 선수의 정밀 데이터 없이, 동호인 수준의 대략적인 동작만으로 이 정도 성능을 냈다는 건, 앞으로 로봇에게 다양한 신체 활동을 가르치는 비용이 크게 낮아질 수 있다는 뜻입니다.
실제로 최근 로봇 스포츠 연구는 급속히 발전하고 있습니다. 탁구, 배드민턴, 축구, 농구, 복싱 등 다양한 종목에서 인간형 로봇의 연구가 진행 중이며, LATENT는 그중에서도 가장 빠르고 역동적인 동작을 실제 로봇으로 구현한 사례 중 하나입니다.
데모 영상 보기
로봇이 실제로 사람과 랠리하는 모습은 LATENT 프로젝트 페이지에서 확인할 수 있습니다. 멀티 랠리, 풋워크, 다양한 상대와의 경기, 로봇끼리의 대전 영상이 모두 공개되어 있습니다.
소스 코드도 GitHub에서 공개되어 있어, 로봇공학 연구자라면 직접 재현해볼 수 있습니다.
AI와 바이브코딩에 대해 더 알고 싶다면 무료 학습 가이드를 확인해보시기 바랍니다.