OpenVLA: An Open-Source Vision-Language-Action Model

• Task
• 이미지 + 자연어 instruction을 받아서 로봇 제어 action을 직접 예측하는 VLA(Vision-Language-Action Model)
• 예: "Put eggplant in bowl" → 로봇의 다음 상대 이동/회전/그리퍼 action 출력

• 이 논문이 하려는 것
• 기존 VLM/LLM의 semantic generalization을 로봇 제어에 가져오기
• closed-source 위주였던 VLA를 오픈소스화
• 새 로봇/새 환경에 효율적으로 fine-tuning하는 방법까지 제시

왜 필요한가

• 기존 imitation learning policy의 약점
• 학습한 환경/물체/배치 밖으로 잘 못 나감
• distractor가 있으면 흔들림
• 새로운 instruction/generalization이 약함

• 저자들의 아이디어
• 인터넷 규모 데이터로 학습된 vision/language foundation model은
• 새로운 object
• 새로운 scene
• 새로운 instruction
에 대한 일반화 능력이 어느 정도 있음
• 그러면 이걸 로봇 제어에 직접 쓰면 더 robust한 generalist policy가 될 수 있음

• VLM을 로봇 action predictor로 fine-tune해서, 텍스트 대신 action token을 생성하게 만든 모델

모델 구조

• 입력
• 현재 이미지 1장
• 자연어 instruction

• 출력
• 7차원 robot action
• 예: Δx, Δθ, ΔGrip 같은 상대 제어량

• 전체 구조
• Vision Encoder
• SigLIP + DINOv2 feature를 같이 사용
• Projector
• vision feature를 language embedding space로 보냄
• LLM Backbone
• Llama 2 7B
• Action De-tokenizer
• 예측된 action token을 다시 연속 제어량으로 해석

Prismatic?

• OpenVLA가 베이스로 쓰는 VLM(backbone) 이름

• OpenVLA는 Prismatic-7B VLM 위에 로봇 action prediction을 얹은 구조

• Prismatic 자체는
• SigLIP + DINOv2 visual encoder
• 2-layer MLP projector
• Llama 2 7B language model
로 구성된 visually-conditioned language model

DINOv2?

• DINOv2는 ViT 기반 self-supervised vision foundation model

• 큰 규모의 curated image data에서 라벨 없이 범용 visual feature를 학습하도록 설계되었고, 큰 teacher 모델을 학습한 뒤 더 작은 모델로 distill한 버전들도 제공한다.

• 왜 이런 특성이 나오나
• teacher-student self-distillation 계열이라
• 같은 이미지의 다른 view/crop에서도 일관된 representation을 학습하도록 유도함
• 그래서 단순 class label 분류기보다 구조적/spatial feature가 잘 살아나는 편으로 해석

• OpenVLA에서의 역할
• semantic alignment용 SigLIP만 쓰지 않고
• spatial reasoning 보강용 DINOv2를 같이 씀
• 로봇은 “이게 가지다”뿐 아니라 “어디 있고 어떤 방향이고 어떻게 집어야 하는가”가 중요하기 때문

왜 SigLIP만 안 쓰고 DINOv2까지 붙이냐

• SigLIP 쪽이 잘하는 것
• 텍스트와 이미지의 semantic alignment
• “이 물체가 어떤 개념과 연결되는가”

• DINOv2 쪽이 보강하는 것
• spatial / structural detail
• 위치, 형태, 배치, orientation 쪽 해석 보강

• 논문 해석
• fused SigLIP-DINOv2 encoder가 spatial reasoning을 개선했고
• 그게 language grounding과 조작 성능 향상에 도움 됐다고 본다.

action을 어떻게 LLM 출력으로 바꾸나

• 원래 robot action은 연속값
• 예: Δx = 0.013, Δy = -0.021 같은 실수 벡터

• 그런데 LLM은 본질적으로 토큰 예측기
• 그래서 연속 action을 바로 회귀하지 않고
• 각 action 차원을 따로 256개 bin으로 discretize한다.

• 의미
• action 전체를 1차원 숫자로 만드는 게 아님
• 예를 들어 7차원 action이면
• Δx용 256 bin
• Δy용 256 bin
• ...
• grip용 256 bin
식으로 각 차원별로 따로 이산화함

• 예시
• Δx가 자주 나오는 범위가 -0.1 ~ 0.1이라면
• 그 구간을 256칸으로 자르고
• 현재 값이 어느 칸에 속하는지를 token ID로 바꿈
• 예: Δx token = 145, Δy token = 32, ... 같은 식

quantile로 잘랐다?

• 논문은 min-max 전체 구간을 쓰지 않고

• 훈련 데이터에서의 1st~99th quantile 사이를 균등분할한다.

• 즉
• bin 경계는 학습 데이터의 action 분포를 보고 정함
• 아주 드문 이상치(outlier)에 끌려가서 bin 해상도가 망가지는 걸 막으려는 것

• 직관
• 대부분 값이 -1~1인데 이상치 몇 개가 100 근처에 있으면
• min-max로 자르면 의미 없는 큰 구간이 생김
• quantile로 자르면 실제로 자주 나오는 범위에 해상도를 집중할 수 있음

inference는 어떻게 하냐

• 현재 이미지 + instruction을 넣고

• 다음 action 한 스텝을 예측

• 그 action을 적용한 뒤

• 다음 시점 이미지로 다시 예측

• 즉 closed-loop feedback control 방식

• 중요한 점
• 논문은 현재 모델 한계로 single-image observation only를 직접 언급함
• 즉 observation history, multi-view, proprioception history를 본격 지원하지 않음

• 따라서
• 직전 step의 결과는 현재 이미지에 간접 반영되지만
• 모델이 시계열 히스토리를 길게 직접 입력받는 구조는 아님

제어 주파수와 action의 관계

• 논문에 나온 setup
• 어떤 환경은 5Hz non-blocking controller
• 어떤 환경은 15Hz non-blocking controller

• 의미
• 5Hz면 약 200ms마다 action을 새로 내는 셈
• 15Hz면 약 67ms마다 새 action을 냄

• 그래서 action vector는 사실상
• 그 제어 주기 동안 적용될 상대 제어 명령처럼 해석됨
• 주파수가 바뀌면 같은 action이라도 실제 움직임이 달라질 수 있음

• 논문에서 왜 중요했나
• int8 quantization은 추론이 느려져서 control frequency가 무너졌고
• 그 결과 실제 rollout 성능이 크게 떨어졌다고 해석함

backbone 비교: 왜 Prismatic이 제일 나았나

• 저자들이 비교한 backbone
• IDEFICS-1
• LLaVA
• Prismatic

• 결과
• 단일 객체 task에서는 큰 차이가 덜했음
• 여러 객체가 있고 instruction으로 target을 골라야 하는 language grounding task에서 차이가 큼
• LLaVA가 IDEFICS-1보다 좋았고
• Prismatic이 LLaVA보다도 더 좋았음

• 논문이 제시한 수치
• LLaVA는 IDEFICS-1 대비 5개 grounding task 평균에서 절대 성공률 35%p 개선
• Prismatic은 LLaVA보다 대략 10%p 추가 개선

• 저자 해석
• fused SigLIP + DINOv2 덕분에 spatial reasoning이 좋아졌기 때문

vision encoder를 freeze하면 왜 안 좋았나

• VLM 쪽에선 vision encoder freeze가 종종 괜찮지만

• OpenVLA에서는 vision encoder fine-tune이 중요했다고 한다.

• 저자 해석
• 인터넷 사전학습 feature만으로는
• grasp point
• orientation
• 세밀한 위치 관계
같은 로봇 제어용 fine-grained spatial detail이 부족할 수 있음
• 그래서 로봇 데이터에 맞게 visual feature도 같이 적응시켜야 함

• parameter-efficient fine-tuning 결과도 같은 방향
• last layer only: 성능 낮음
• frozen vision: 성능 낮음
• sandwich FT: 중간
• LoRA: full FT에 가까운 성능으로 가장 좋은 trade-off

학습 데이터

• 기본 데이터
• Open X-Embodiment(OpenX)
• 다양한 로봇 embodiment와 task를 포함한 대규모 실세계 로봇 데이터셋

• OpenVLA 최종 학습량
• 970k real-world robot demonstrations

• 데이터 정제 방식
• manipulation dataset만 사용
• 3rd-person camera가 있는 데이터로 제한
• single-arm end-effector control로 정렬
• embodiment/task/scene diversity를 맞추도록 mixture weight 조정

학습 recipe

• VLM backbone
• Prismatic-7B 위에서 robot action prediction으로 fine-tune

• action objective
• next-token prediction
• loss는 action token 위치에 대해서만 cross-entropy 계산

• 중요한 실험적 선택
• 입력 해상도 224×224 선택
• 384×384보다 성능 차이는 없고 학습 시간은 3배 더 들었음
• vision encoder는 freeze하지 말고 같이 fine-tune
• lr = 2e-5가 가장 좋았고 warmup 이득은 크지 않았음
• 27 epoch까지 돌렸음

연산량 / 시스템

• pretraining
• 64개의 A100 GPU
• 14일
• 총 21,500 A100-hours

• inference
• bf16 기준 약 15GB VRAM
• RTX 4090에서 약 6Hz

• 실시간성
• 5Hz 수준 task는 어느 정도 가능
• 15Hz 이상, 특히 50Hz급 dexterous control에는 아직 부족
• 논문도 throughput을 한계로 직접 인정함

• 어디서 돌리나
• 로컬 GPU에서도 가능
• 원격 VLA inference server도 제공해서 서버에서 추론 후 action stream을 보내는 방식도 지원

실험 1: out-of-the-box generalist policy 성능

• 평가 플랫폼
• WidowX / BridgeData V2
• Google robot

• 비교 대상
• RT-1-X
• Octo
• RT-2-X
• OpenVLA

• 보는 축
• visual generalization
• motion generalization
• physical generalization
• semantic generalization
• language grounding

• 결과 요약
• BridgeData에서는 전체적으로 최고 성능
• Google robot에서는 RT-2-X와 비슷하거나 경쟁적
• 특히 7B인데 55B RT-2-X와 맞붙는 점이 강함

• 단, semantic generalization은 RT-2-X가 더 좋음
• 논문 해석:
• RT-2-X는 Internet 데이터와 robot 데이터를 같이 co-fine-tune해 웹 지식을 더 잘 보존
• OpenVLA는 robot data fine-tune 중심이라 semantic generalization은 상대적으로 약할 수 있음

실험 2: 새 로봇/새 환경에 적은 데이터로 적응되나

• setup
• Franka-Tabletop
• Franka-DROID
• task당 10~150 demonstration으로 fine-tuning

• 비교 대상
• Diffusion Policy
• Diffusion Policy (matched)
• Octo fine-tune
• OpenVLA fine-tune
• OpenVLA (scratch)

• 결과
• 좁고 단일 instruction인 task에서는 Diffusion Policy가 강함
• 여러 instruction / 여러 물체 / distractor가 있는 task에서는 OpenVLA가 더 강함
• 전체 평균은 OpenVLA가 최고

• 해석
• generalist pretraining + language grounding prior가 다양한 downstream task에서 이점
• 하지만 아주 정밀한 trajectory smoothness는 Diffusion Policy가 여전히 강함

Diffusion Policy가 뭐냐

• 로봇 action을 diffusion model로 생성하는 imitation learning 계열 정책

• 단순 next-action regression보다
• trajectory chunk
• multi-modal action distribution
• smooth trajectory
를 더 잘 다루는 장점이 있다.

• 이 논문 각주 기준으로 Diffusion Policy는
• observation history 사용
• proprioception 사용 가능
• 미래 T step action chunk를 예측하고
• 그중 일부를 open-loop로 실행하는 방식

• OpenVLA와의 차이
• Diffusion Policy: trajectory denoising/chunking에 강함
• OpenVLA: autoregressive action token prediction에 가까움

실험 3: parameter-efficient fine-tuning

• full fine-tuning
• 강하지만 비용 큼

• last layer only
• 성능 낮음

• frozen vision
• 성능 낮음

• sandwich fine-tuning
• 일부만 풀어서 학습, 중간 정도

• LoRA
• 가장 좋은 성능-메모리 trade-off

• 논문 Table 1 핵심
• full FT: 69.7%
• LoRA rank 32: 68.2%
• LoRA rank 64: 68.2%
• trainable parameter는 full FT 대비 크게 줄고 성능은 거의 유지

• 의미
• OpenVLA를 새 task에 현실적으로 적응시킬 때
• LoRA가 제일 실전적이라는 메시지

LoRA 할 때 Llama 자체는 안 건드리냐

• 일반 LoRA 원리
• pretrained weight는 freeze
• 각 linear layer에 저랭크 update를 추가해 학습
• 즉 “원본 weight를 직접 업데이트하는 것”은 아님 (arXiv)

• 하지만
• LoRA가 Llama의 linear layer에 붙으면
• Llama의 동작은 바뀐다
• 다만 base weight를 덮어쓰는 게 아니라 adapter를 통해 보정하는 방식 (arXiv)

• OpenVLA 논문 표현
• LoRA를 all linear layers of the model에 적용했다고 적음
• 따라서 Llama 쪽도 적응 대상일 가능성이 높음

quantization

• 목적
• inference memory 줄이기
• 더 작은 GPU에서도 돌리기

• 결과
• bf16: 71.3%, 16.8GB
• int8: 58.1%, 10.2GB
• int4: 71.9%, 7.0GB

• 핵심 포인트
• int8보다 int4가 더 좋게 나옴

왜 int8이 더 나쁠 수 있나

• quantization은 저장 비트 수를 줄여도

• 실제 추론 시
• scale 적용
• dequant/requant
• 형변환
• 특수 커널 호출
같은 추가 비용이 들어갈 수 있음

• 이게 quantization op overhead다.

왜 int4는 오히려 나을 수 있나

• int4는 메모리 전송량 감소 이득이 더 큼

• 그래서 quant overhead를 상쇄하고 throughput이 올라갈 수 있음

• OpenVLA에서는 이 효과 때문에 int4가 bf16 수준 성능을 유지함

robotics에서는 왜 더 중요하냐

• 그냥 offline token accuracy가 아니라

• 실제 control loop frequency가 맞아야 함

• int8은 너무 느려져서 5Hz 환경의 dynamics를 못 맞췄고

• 그래서 rollout success가 크게 떨어졌다고 논문은 본다.