차세대 자율 시스템 생성형 피지컬 AI

피지컬 AI

피지컬 AI는 로봇, 자율 주행 자동차, 스마트 공간 같은 자율 시스템이 실제(물리적) 세계 안에서 복잡한 작업을 인식, 이해 및 수행할 수 있도록 하는 인공지능이다. 

한 통찰력과 행동을 생성하는 능력이 있어 "생성형 피지컬 AI"라고도 한다.

피지컬 AI의 작동

GPT와 Llama 같은 대규모 언어 모델인 생성형 AI 모델은 주로 인터넷에서 수집한 방대한 양의 텍스트 및 이미지 데이터에 의해 훈련된다. 

이러한 AI는 인간의 언어와 추상적 개념을 생성하는 놀라운 능력이 있지만 물리적 세계와 그 규칙을 이해하기에는 한계가 있다.

생성형 피지컬 AI는 우리 모두가 살고 있는 3D 세계의 공간적 관계와 물리적 행동에 대한 이해를 통해 현재의 생성형 A 능력을 확장한다. 

이는 AI 훈련 과정에서 현실 세계의 공간적 관계와 물리적 규칙에 대한 정보가 포함된 추가 데이터 제공으로 가능하다.

3D 훈련 데이터는 데이터 소스와 AI 훈련장 역할을 하는 매우 정확한 컴퓨터 시뮬레이션에서 생성된다.

물리 기반 데이터 생성은 공장과 같은 공간의 디지털 트윈에서 시작된다. 

이 가상 공간에는 센서와 로봇 등 자율적인 기계가 추가된다. 

실제 시나리오를 모방한 시뮬레이션이 수행되며, 센서는 움직임 및 충돌 같은 강체 역학 또는 환경에서 빛이 상호 작용하는 방식을 포함한 다양한 상호 작용을 캡처한다.

물리적 AI에서 강화 학습의 역할

강화 학습으로 자율 기계는 시뮬레이션 환경에서 실제 물리적 세계에서 수행할 수 있는 기술을 학습한다. 

이를 통해 자율 기계는 수많은 시행착오와 시물레이션을 통해 안전하고 빠르게 기술을 학습할 수 있다.

이 학습 기법은 시뮬레이션에서 원하는 동작을 성공적으로 완료할 때 물리적 AI 모델에 보상을 주기 때문에 모델이 지속적으로 적응하고 개선된다. 

반복적인 강화 학습을 통해 자율 기계는 결국 새로운 상황과 예상치 못한 도전에 적절하게 적응하여 실제 세계에서 작동할 수 있도록 준비한다. 

시간이 경과 됨에 따라 자율 기계는 상자를 깔끔하게 포장하거나, 차량을 만드는 데 도움을 주거나, 

도움 없이 환경을 탐색하는 일 등 실제 응용 분야에 필요한 정교한 미세 운동 기술을 개발할 수 있다.

피지컬 AI가 중요한 이유

이전에는 자율 머신이 주변 세계를 인식하고 감지할 수 없었다. 

그러나 생성형 피지컬 AI로 로봇을 통합하고 훈련하면 현실 세계에서 주변 환경과 원활하게 상호 작용하며 적응할 수 있다.

피지컬 AI를 구축하려면 자율 머신을 훈련하기 위한 안전하고 통제된 환경에서 시험할 수 있는 강력한 물리 기반 시뮬레이션이 필요하다. 

이렇게 하여 복잡한 작업을 수행하는 로봇의 효율성과 정확성 향상뿐 아니라, 

인간과 기계 간의 보다 자연스러운 상호 작용을 촉진하여 실 세계에서 사용할 수 있는 어플리케이션 접근성과 기능을 향상시킨다.

생성형 피지컬 AI는 모든 산업을 변화시킬 새로운 기능을 제공.

▶ 로봇: 피지컬 AI와의 결합으로 다양한 작업 환경에서 뛰어난 운영 능력을 보여주고 있다.

   • 창고의 자율 모바일 로봇(AMR): 내장된 센서에서 직접 피드백을 받아 복잡한 환경을 탐색하여 인간을 포함한 장애물을 피하며 작업과 동시에 이동할 수 있다.

   • 매니퓰레이터: 컨베이어 벨트에 놓여있는 물체의 형태에 따라 잡는 강도와 위치를 조정할 수 있으며, 물체의 유형에 맞게 소근 운동과 대근 운동을 적절히 수행한다.

   • 수술 로봇: 생성형 피지컬 AI의 정확성과 적응성을 이용하기 위해, 수술 후 나 상처 봉합 같은 복잡하고 특수한 의료작업을 교시하여 활용.

   • 휴머노이드 로봇(범용 로봇): 대근육 및 소근육 운동 기술뿐만 아니라 주어진 작업이 무엇이든 물리적인 세계를 인식하고, 이해하고, 탐색하고, 

     상호 작용할 수 있는 능력이 있다.

▶ 자율 주행 차량(AV): 

   AV는 센서를 사용하여 인식하고, 주변 환경을 이해하여 고속도로에서 도시도로에 이르기까지 다양한 도로 환경에서 주어지는 정보를 기반으로 판단을 내릴 수 있다. 

   피지컬 AI로 자율 주행 차량을 훈련하면 보행자를 보다 정확하게 탐지하며, 교통 상황이나 기상 조건을 반영하여, 차선 변경 등 자율적으로 탐색하며 예상치 못한 

   다양한 시나리오나 상황에 효과적으로 적응할 수 있다.

▶ 스마트 공간: 

   피지컬 AI는 사람, 차량 및 로봇과 지속적으로 상호작용하며 공장과 창고 같은 대규모 실내 및 실외 공간에서의 기능과 안전성을 향상시킨다. 

   고정형 카메라와 첨단 컴퓨터 비전 모델을 통하여 공간 내의 여러 개체와 그 활동을 추적하여 동적 경로 계획을 강화하고 운영 효율성을 최적화할 수 있다. 

   비디오 분석 AI 에이전트는 이상 징후를 자동으로 감지하고 실시간 경고 알림을 지원하여 안전과 효율성을 개선한다.

피지컬 AI를 어떻게 시작해야 하나?

피지컬 AI를 사용하여 차세대 자율 시스템을 구축하려면 복수의 특수 컴퓨터 간에 프로세스의 조정이 필요하다.

▶ 가상 3D 환경 구축: 

   실제 환경을 표현하고 피지컬 AI 훈련에 필요한 합성 데이터를 생성하기 위해서는 충실도가 높은 물리적 기반 가상 환경이 필요하다. 

   NVIDIA Omniverse™는 OpenUSD(Universal Scene Description) 및 NVIDIA RTX™ 렌더링 기술을 기존 소프트웨어 도구 및 시뮬레이션 워크플로우에 쉽게 통합하여 

   이러한 3D 환경을 구축할 수 있는 API, SDK 및 서비스 플랫폼이다. 이 환경은 NVIDIA OVX™ 시스템에 의해 지원된다. 

   이 단계에는 시뮬레이션 또는 모델 교육에 필요한 대규모 장면 또는 데이터 캡처도 포함된다. 

   풍부한 3D 데이터 세트를 통해 효율적인 AI 모델 훈련 및 추론을 가능하게 하는 혁신적인 핵심 기술인 fVDB는, 기능을 효율적으로 표현하고 PyTorch로 확장된다. 

   이를 통해 대규모 3D 데이터 딥 러닝 작업을 할 수 있다.

▶ 3D-to-real 합성 데이터 생성: 

   환경 및 개체 도메인 무작위화를 위해 Omniverse Replicator SDK를 사용한다. 무작위 장면을 이미지 또는 비디오로 렌더링한 다음 NVIDIA Cosmos™ 모델을 사용하여 

   3D에서 실제로, 사실적인 비디오 생성을 통해 데이터 세트를 더 늘릴 수 있다.

▶ 훈련 및 검증: 

   NVIDIA DGX™는 완전히 통합된 하드웨어 및 소프트웨어 AI 플랫폼이다. 

   NVIDIA NGC에서 사용할 수 있는 사전 훈련된 컴퓨터 비전 모델과 함께 TensorFlow, PyTorch 또는 NVIDIA TAO와 같은 프레임워크로 AI 모델을 훈련하거나 

   미세 조정하기 위해 물리 기반 데이터와 함께 사용할 수 있다. 

   훈련이 완료되면 NVIDIA Isaac Sim과 같은 참조 어플리케이션을 사용하여 시뮬레이션에서 모델과 소프트웨어 스택을 검증할 수 있다. 

   또한 Isaac Lab과 같은 오픈 소스 프레임워크를 사용하여 강화 학습을 통해 로봇의 기술을 개선할 수 있다.

▶ 전개: 

   마지막으로, 최적화된 기술 스택 및 정책 모델은 NVIDIA Jetson™ 또는 NVIDIA DRIVE AGX™의 NVIDIA Blueprints를 통해 배포되어 자율 주행 로봇, 차량 

   또는 스마트 공간에 내장되어 실행될 수 있다. 

   예를 들어, NVIDIA Omniverse 블루프린트인 Mega를 설치하여 공장 운영을 시뮬레이션하고, 비디오 검색 및 요약을 위한 Metropolis AI Blueprint로 비디오 분석 

   AI 에이전트를 구축하여 공장 능력과 안전을 감독할 수 있다.

참고 | https://www.nvidia.com/en-us/glossary/generative-physical-ai/​