[시사저널e=장민영 기자] NC AI가 게임 개발 과정에서 확보한 3차원(3D) 가상환경과 모션 제작 기술을 활용해 피지컬 인공지능(AI) 사업을 확대하고 있다. 로봇이 실제 공간에서 물체를 인식하고 움직이기 위해 필요한 학습 데이터를 가상환경과 인간 동작에서 확보하는 것이 핵심으로, 게임 콘텐츠 제작에 사용하던 기술을 국방과 휴머노이드 등 현실 산업으로 옮기는 전략이다. 피지컬 AI는 텍스트나 이미지를 생성하는 AI와 달리 실제 공간에서 움직이는 기계가 주변 환경을 인식하고 행동하도록 만드는 기술이다. 로봇이 물체를 집거나 이동하고 장애물을 피하려면 영상뿐 아니라 위치, 관절 움직임, 물체와의 접촉 등 현실의 행동 데이터를 함께 학습해야 한다. 이 때문에 피지컬 AI 경쟁에서는 AI 모델 성능뿐 아니라 로봇이 학습할 '경험'을 얼마나 확보할 수 있는지가 중요해지고 있다. 사람이 직접 로봇을 조작하거나 작업을 시연하는 방식이 대표적이지만, 실제 산업 현장에서 반복적으로 데이터를 수집하려면 시간과 비용이 들고 안전 문제도 발생할 수 있다. NC AI는 현실에서 확보하기 어려운 경험을 가상환경에서 만들어내는 방식에 주목하고 있다. 디지털 트윈과 월드모델을 활용해 공장이나 군사 환경을 가상공간에 구현하고, 로봇이 다양한 상황을 반복해서 학습하도록 만드는 방식이다. ◇현실에서 못 만드는 상황, 가상공간에서 학습 NC AI는 현대로템과 컨소시엄을 구성해 국방과학연구소(ADD)가 발주한 '피지컬 AI 기반 통합 시뮬레이터 및 모듈형 로봇 시스템' 연구개발 과제에 참여하고 있다. 사업의 핵심은 유·무인 복합 무기체계를 실제 현장에 투입하기 전에 다양한 상황을 가상환경에서 학습하고 검증할 수 있는 기반을 만드는 것이다. NC AI는 해당 사업에서 로봇 학습용 월드모델 개발을 맡는다. 월드모델은 AI가 현실 세계의 구조와 물리적 변화, 행동에 따른 결과를 학습하고 이후 상황을 예측하도록 하는 기술이다 릴게임다빈치불새 . 예를 들어 군사 장비가 특정 지형을 이동하거나 장애물을 만났을 때 어떤 변화가 발생하는지 가상환경에서 반복적으로 경험하게 하는 방식이다. 실제 군사 환경에서 모든 상황을 반복적으로 재현하기 어렵다는 。을 시뮬레이션으로 보완한다. 회사는 게임 개발 과정에서 활용해온 3차원 공간 제작과 캐릭터 움직임, 생성형 AI 기술을 활용해 국방 환경에 필요한 합성 데이터를 구축할 계획이다. 게임에서도 캐릭터가 지형과 충돌하고 물체를 움직이며 주변 환경에 반응하도록 가상의 물리 환경을 구축한다. 이러한 경험을 실제 로봇의 학습 환경을 만드는 데 활용할 수 있다는 판단이다. 다만 게임 기술을 그대로 로봇에 적용하는 것은 아니다. 게임에서는 이용자가 자연스럽다고 느끼는 표현이 중요하지만 로봇은 실제 물체의 무게나 마찰, 관절의 한계까지 반영해야 한다. 결국 게임에서 축적한 가상환경 구축 능력을 현실의 물리 조건에 맞게 다시 설계하는 과정이 필요하다. ◇사람 움직임도 데이터로···휴머노이드 학습까지 확대 NC AI가 확보하려는 또 다른 데이터는 사람의 움직임이다. 회사는 LG전자 등과 함께 진행하는 휴머노이드 국책과제에서 사람이 수행하는 동작을 로봇이 학습할 수 있는 형태로 변환하는 기술을 개발하고 있다. NC AI는 기존에 확보한 모션 데이터와 애니메이션 제작 기술을 활용해 범용 동작 추적(GMT)의 초기 학습 데이터를 구축하고, 사람의 움직임을 휴머노이드 구조에 맞게 변환하는 '인간-로봇 리타게팅' 체계를 담당한다. 사람과 휴머노이드는 팔과 다리가 있다는 .에서는 비슷하지만 관절의 움직임 범위와 신체 비율, 무게중심이 다르다. 사람이 할 수 있는 동작을 그대로 적용하면 로봇이 균형을 잃거나 관절 한계를 벗어날 수 있다. 야마토다운로드 이에 따라 사람의 움직임을 로봇 관절 구조에 맞게 다시 계산하고 발의 지지 위치와 무게중심을 함께 고려해야 한다. 사람이 물건을 집거나 이동하는 작업 경험을 로봇이 실제로 수행할 수 있는 행동 데이터로 바꾸는 과정이다. 게임 개발에서도 배우나 이용자의 움직임을 캐릭터에 맞게 변환하는 작업이 사용돼 왔다. NC AI는 이러한 모션 제작 경험을 휴머노이드 제어 데이터 구축으로 확장하고 있다. ◇피지컬 AI 경쟁, 모델보다 '경험 데이터' 확보가 관건 글로벌 로봇 업계에서도 학습 데이터 확보 방식은 다양해지고 있다. 가장 직접적인 방식은 사람이 원격으로 로봇을 움직이는 텔레오퍼레이션이다. 사람이 로봇 팔을 조작해 물건을 집고 옮기면 카메라 영상과 관절 각도, 위치, 자세 등이 함께 데이터로 쌓인다. 로봇이 직접 시행착오를 겪는 강화학습도 활용된다. 물건을 안정적으로 잡을 때까지 여러 행동을 반복하고 성공한 행동에 더 높은 보상을 주면서 적절한 움직임을 학습하는 방식이다. 그러나 현실에서 수천·수만번 반복 실험하는 데는 비용과 시간이 필요하다. 산업용 로봇이나 무인 장비의 경우 잘못된 행동이 사고로 이어질 가능성도 있어 실제 환경만으로 데이터를 확보하는 데 한계가 있다. 이에 따라 실제 공간을 가상으로 구현한 디지털 트윈과 시뮬레이션, 실제 인간의 동작 영상 등을 함께 사용하는 방식이 확대되고 있다. 인터넷에 공개된 사람의 행동 영상도 잠재적인 학습 데이터지만 한계가 있다. 일반 영상에서는 물체의 무게나 마찰력, 사람이 가한 힘 등을 알 수 없기 때문이다. 실제 로봇 행동 데이터와 인간 영상, 시뮬레이션 데이터를 함께 사용해 각각 부족한 정보를 보완하는 것이 주요 연구 방향으로 자리 잡고 있다. NC AI가 월드모델과 인간 동작 데이터에 동시에 접근하는 것도 이 같은 흐름과 연결된다. 바다이야기게임장 로봇이 현실에서 직접 경험할 수 있는 데이터만 기다리는 대신 가상환경에서 경험을 늘리고 사람이 가진 작업 경험까지 학습 자원으로 활용하려는 것이다. NC AI는 지난 3월 진행한 월드모델 관련 테스트에서 글로벌 고성능 모델 대비 약 25% 수준의 그래픽처리장치(GPU) 자원을 사용하면서 유사한 수준의 성능을 확인한 것으로 알려졌다. 영상 전체를 먼저 생성한 뒤 비전언어모델(VLM)이 상황을 판단하는 방식과 달리 영상 생성 전의 잠재 공간에서 행동을 도출하는 방식으로 연산량을 줄이는 접근이다. ◇게임 기술 사업화···제조·국방·로봇으로 영역 확대 NC AI의 피지컬 AI 사업은 게임용 AI 기술을 외부 산업으로 사업화하려는 전략과도 연결된다. 게임 개발에서는 가상 공간과 캐릭터를 만들고 수많은 행동과 상호작용을 구현한다. 이용자와 캐릭터의 움직임, 충돌, 위치 변화 등을 반복적으로 처리해야 하기 때문에 시뮬레이션과 모션 기술을 장기간 활용해온 산업이다. NC AI는 이를 게임 콘텐츠 제작 지원에 한정하지 않고 제조와 국방, 로보틱스 분야의 AI 전환(AX) 사업으로 넓히고 있다. VAETKI Twin 로봇이 움직임을 배우는 과정. / 이미지=NC AI 특히 피지컬 AI는 로봇 하드웨어 기업만으로 완성하기 어려운 분야다. 센서와 모터 성능이 높아져도 로봇이 어떤 상황에서 어떤 행동을 해야 하는지를 학습할 데이터가 부족하면 활용 범위가 제한된다. NC AI가 피지컬 AI 분야에서 맡으려는 역할도 로봇 자체를 제조하는 것보다 로봇의 학습 환경과 행동 데이터를 구축하는 쪽에 가깝다. 현대로템과의 국방 시뮬레이터에서는 현실에서 구현하기 어려운 환경을 학습 데이터로 만들고, 휴머노이드 과제에서는 사람이 가진 움직임을 로봇이 사용할 수 있는 데이터로 변환한다. 결국 피지컬 AI 경쟁은 로봇을 얼마나 정교하게 만드는지를 넘어 어떤 경험을 얼마나 빠르게 학습시킬 수 있느냐로 확대되고 있다. NC AI가 게임에서 확보한 가상환경과 움직임 기술을 실제 산업의 학습 데이터로 전환할 수 있을지가 피지컬 AI 사업 확대의 핵심이 될 전망이다. 경에서 모든 상황을