제미나이 로보틱스 2, 팔만 쓰던 로봇이 전신으로 움직이기까지

로봇에게 “탁자 위 물뿌리개를 맨 아래 선반의 초록색 통에 넣어 주세요”라고 부탁했다고 떠올려 보세요. 팔만 움직이는 로봇이라면 물건이 손에 닿도록 누군가 가져다줘야 하지만, 사람은 직접 걸어가 집은 뒤 몸을 낮추고 알맞은 칸에 내려놓습니다.

이 평범한 심부름에는 이동과 균형 잡기, 물체 인식, 집기, 몸 굽히기와 놓기가 한꺼번에 들어갑니다. 구글 딥마인드가 2026년 7월 공개한 제미나이 로보틱스 2에서 먼저 봐야 할 변화도 바로 이 연결이에요.

로봇의 팔 기술이 조금 좋아진 정도가 아니라, 발끝부터 손끝까지 이어지는 동작을 하나의 지능이 계획하고 제어하기 시작했습니다. 걷기와 앉기, 집기를 따로 배운 기능처럼 이어 붙이는 대신 한 작업의 흐름으로 다룬다는 뜻입니다.

팔만 움직이던 로봇과 전신을 쓰는 로봇의 차이

기존 산업용 로봇은 정해진 위치에서 같은 부품을 반복해 옮기는 일에는 매우 능숙하지만, 작업대가 달라지거나 물건의 위치가 조금만 바뀌어도 다시 설정해야 하는 경우가 많습니다. 휴머노이드 로봇용 AI도 이전에는 주로 상체를 제어해 탁자 위 물건을 다루는 데 초점을 맞췄습니다.

이 방식에서는 로봇의 몸과 주변 환경이 작업에 맞춰져야 합니다. 팔이 닿지 않는 물건을 집으려면 로봇 본체를 따로 이동시키거나, 이동 제어와 팔 제어를 여러 시스템이 순서대로 넘겨받아야 했죠.

제미나이 로보틱스 2는 카메라로 들어온 장면과 사람의 언어 지시를 실제 모터 신호로 바꾸는 시각-언어-행동 모델, 즉 VLA 모델입니다. 이번 세대에서는 이 제어 범위가 상체를 넘어 휴머노이드의 다리와 몸통, 팔과 손까지 넓어졌습니다.

전신 제어는 모든 관절을 무작정 동시에 움직인다는 말이 아닙니다. 물건에 다가갈 때는 보폭과 몸의 방향을 맞추고, 낮은 선반 앞에서는 균형을 유지한 채 무릎이나 허리를 굽히며, 팔을 뻗는 거리까지 함께 계산하는 방식입니다.

사람에게는 자연스러운 동작이지만 로봇에는 서로 얽힌 문제입니다. 한쪽 팔을 앞으로 뻗으면 무게중심이 달라지고, 바닥의 물건을 잡으려 몸을 숙이면 넘어지지 않도록 다리와 몸통이 곧바로 보정해야 해요.

구글이 공개한 아폴로 2 시연에서는 로봇이 물뿌리개가 놓인 곳까지 걸어가 물건을 집고, 선반으로 이동한 다음 낮은 위치에 내려놓았습니다. 전작이 탁자 앞에서 상체를 움직이는 수준이었다면, 이번에는 작업에 맞춰 몸 전체가 자리를 찾아가는 셈입니다.

걷기·앉기·집기를 한 흐름으로 잇는 모델

“한 모델이 걷기와 앉기, 집기를 처리한다”는 표현은 로봇 안의 모든 소프트웨어가 하나로 합쳐졌다는 뜻은 아닙니다. 핵심은 같은 제미나이 로보틱스 2 모델이 장면과 명령을 이해해 전신 움직임을 연속적인 행동으로 내보낸다는 데 있습니다.

예전 방식에서는 이동 모델이 목적지까지 로봇을 보낸 뒤 멈추고, 자세 제어기가 몸을 맞춘 다음, 팔 제어기가 물체를 집는 식으로 기능이 잘게 갈리기 쉬웠습니다. 각 단계의 경계에서 오차가 생기면 전체 작업도 자주 끊겼습니다.

제미나이 로보틱스 2는 “저 물건을 아래 칸에 넣는다”라는 하나의 목표 안에서 필요한 움직임을 함께 계획합니다. 걸어갈지, 몸을 굽힐지, 어느 손을 쓸지, 물건을 어떤 방향으로 놓을지가 같은 맥락에서 이어집니다.

여기에는 여러 종류의 로봇 몸을 다룬다는 의미도 담깁니다. 구글은 같은 모델 체크포인트를 사용해 서로 다른 손을 장착한 아폴로 2 휴머노이드와 두 개의 팔을 가진 프랑카 듀오에서 전신 제어와 물체 조작을 시험했습니다.

로봇마다 관절 수와 팔 길이, 손의 구조가 다른데도 공통 모델을 출발점으로 삼는다는 점이 눈에 띕니다. 특정 공장 설비 한 대에만 묶인 프로그램보다 여러 형태의 하드웨어로 기술을 옮기기 쉬운 방향이기 때문이에요.

물론 높은 수준의 계획과 실제 움직임은 역할이 나뉩니다. 제미나이 로보틱스 ER 2가 상황을 이해하고 여러 단계의 계획을 세우는 상위 두뇌라면, VLA 모델은 그 계획을 걷기와 집기 같은 구체적인 동작으로 옮깁니다.

ER 2는 실시간 영상으로 작업의 진행 상태를 살피며 다음 단계로 넘어갈 때를 판단하고, 문제가 생기면 실패한 부분을 다시 시도하도록 계획을 고칩니다. 로봇이 매 동작 전에 오래 멈추지 않도록 현재 행동과 다음 판단을 겹쳐 처리하는 구조도 적용됐습니다.

몇 시간 만에 새 몸을 익히는 온디바이스 모델

새로운 로봇을 개발할 때 큰 부담 중 하나는 하드웨어가 바뀔 때마다 데이터를 다시 모으고 제어 모델을 오래 학습시키는 일입니다. 팔의 길이나 관절 구조가 달라지면 같은 ‘컵 집기’도 필요한 움직임이 완전히 달라집니다.

제미나이 로보틱스 온-디바이스 2는 이 문제를 줄이기 위해 로봇 기기에서 직접 실행되도록 가볍게 만든 VLA 모델입니다. 클라우드 서버에 매 순간 영상을 보내 답을 기다리는 대신, 동작을 만드는 핵심 모델이 로봇 내부의 연산 장치에서 돌아갑니다.

현장에서는 반응 지연과 통신 상태가 로봇의 움직임에 바로 영향을 줍니다. 로봇이 물건을 잡는 순간 인터넷 연결이 흔들린다면 곤란한데, 로컬 실행은 이런 의존도를 낮추고 영상이 외부로 오가는 범위도 줄여 줍니다.

더 흥미로운 부분은 새로운 로봇 형태로 옮겨가는 속도입니다. 구글은 200개 미만의 사례 데이터, 즉 몇 시간 분량의 데이터로 온-디바이스 2가 처음 접한 로봇에도 몇 시간 안에 적응한다고 설명했습니다.

여기서 ‘적응’은 새 로봇이 사람처럼 몸을 완전히 이해한다는 뜻이라기보다, 이미 배운 시각·언어·행동의 연결을 새 관절과 말단 장치에 맞게 조정한다는 의미에 가깝습니다. 처음부터 모든 행동을 다시 학습하는 것보다 준비 시간이 크게 짧아지는 구조예요.

이 접근이 자리 잡으면 로봇 제조사는 작업마다 거대한 모델을 새로 만들기보다 공통 지능을 가져와 자기 하드웨어에 맞출 수 있습니다. 다만 몇 시간 만의 적응은 구글이 제시한 평가 환경에서 나온 결과이므로, 복잡한 공장이나 가정에서도 같은 속도와 신뢰성이 나오는지는 실제 도입 사례를 더 지켜봐야 합니다.

서로 다른 로봇을 한 팀으로 묶는 ER 2

모든 일을 휴머노이드 한 대에 맡길 이유는 없습니다. 계단과 복도를 오가는 데 능한 로봇, 무거운 물건을 드는 로봇, 탁자 위에서 정밀 작업을 하는 양팔 로봇은 몸의 구조와 장점이 서로 다릅니다.

제미나이 로보틱스 ER 2에는 여러 로봇을 하나의 작업 흐름으로 조율하는 다중 로봇 협업 기능이 들어갔습니다. 한 대가 모든 과정을 억지로 처리하는 대신, 각 로봇이 잘하는 이동과 운반, 조작을 나눠 맡도록 상위 계획을 세웁니다.

가령 이동 로봇이 창고에서 상자를 가져오고, 고정된 양팔 로봇이 상자를 열어 내용물을 분류하는 장면을 떠올리면 이해하기 쉽습니다. 앞 작업의 완료 상태와 물건의 위치를 다음 로봇이 이어받아야 하므로, 단순히 두 대를 동시에 켜 놓는 것과는 다릅니다.

ER 2는 연속 영상과 언어 지시를 바탕으로 현재 어느 단계까지 진행됐는지 추적하고, 필요한 제어 기능을 도구처럼 호출합니다. 내비게이션이나 팔 제어 API도 이런 도구가 되며, 작업에 문제가 생기면 전체를 처음부터 반복하지 않고 실패한 단계의 계획을 조정합니다.

로봇끼리 사람처럼 대화를 나눈다고 생각하면 조금 과합니다. 같은 상위 추론 체계가 여러 로봇의 상태와 역할을 파악해 순서를 맞추는 오케스트레이션에 가까워요.

협업의 가치는 로봇 수를 늘려 속도를 높이는 데만 있지 않습니다. 서로 다른 몸을 가진 로봇이 같은 목표와 작업 상태를 공유하면, 한 대의 범용 로봇에 모든 기능을 넣지 않고도 복잡한 공정을 구성할 여지가 생깁니다.

다만 실제 현장에서는 통신 지연과 충돌 방지, 책임 있는 작업 중단 같은 문제가 함께 따라옵니다. 여러 로봇이 같은 공간을 움직일수록 한 모델의 계획 능력뿐 아니라 각 기기의 안전장치와 현장 운영 규칙까지 검증돼야 합니다.

정리, 집안일 로봇까지 남은 손가락의 벽

제미나이 로보틱스 2의 핵심은 로봇이 팔만 뻗는 데서 벗어나 걷고, 앉고, 몸을 굽히고, 물건을 집는 동작을 하나의 목표 아래 이어 간다는 점입니다. 온-디바이스 2는 이 지능을 기기 안에서 실행하며 새 로봇 몸에 몇 시간 만에 맞추는 길을 열었고, ER 2는 서로 다른 로봇이 한 팀처럼 작업하도록 조율합니다.

여기까지만 보면 설거지와 빨래, 방 정리를 맡길 로봇이 금방 올 듯하지만 아직은 거리가 있습니다. 특히 공개 평가에서는 두 손가락처럼 물체를 단단히 잡는 그리퍼 기반 작업과 전신 제어가 높은 성공률을 보인 반면, 여러 손가락을 독립적으로 쓰는 정교한 조작은 작업에 따라 성능 차이가 컸습니다.

매듭을 묶거나 지퍼백을 닫는 시연이 나왔다는 사실과, 그런 동작을 낯선 물건에서도 매번 안정적으로 해낸다는 말은 구분해야 합니다. 사람 손은 얇은 천의 장력과 미끄러운 접시, 구겨진 비닐처럼 모양이 계속 달라지는 물체를 촉감에 맞춰 다루지만 로봇 손에는 여전히 까다로운 영역입니다.

집안일은 정돈된 실험대보다 변수가 훨씬 많습니다. 아이가 지나가거나 물건이 예상과 다른 곳에 놓일 수 있고, 유리컵을 너무 세게 잡지 않으면서 젖은 수건의 모서리를 찾아 펴는 판단도 필요하죠.

이 때문에 현재의 성과는 ‘가정용 로봇이 사람 일을 대체했다’기보다, 로봇의 몸 전체와 여러 기기를 공통 AI로 다루는 기반이 넓어졌다고 보는 편이 정확합니다. 그리퍼로 집고 옮기는 물류·제조 작업에는 가까워졌지만, 손가락 정밀 조작이 많은 집안일을 믿고 통째로 맡길 단계는 아직 멀었습니다.

그래도 변화의 방향은 선명합니다. 로봇이 정해진 자리에서 팔만 반복하던 기계에서 벗어나 자기 몸을 움직여 일을 찾아가고, 필요하면 동료 로봇과 역할까지 나누기 시작했다는 점부터 기억해 두시면 좋겠어요.