UI-Venus Technical Report: Building High-performance UI Agents with RFT

 

개발자라면 누구나 한 번쯤은 상상해 봤을 겁니다.
"화면에 보이는 UI만으로 모든 작업을 자동화할 수 있다면 얼마나 좋을까?"

 

UI-Venus는 바로 그 상상을 연구 수준에서 현실로 끌어내린 프로젝트입니다. 기존의 UI 에이전트들이 대부분 복잡한 데이터 입력에 초점을 맞춘 것과는 달리, UI-Venus는 스크린샷만으로 작동하는 멀티모달 대형 언어 모델을 지향합니다.

 

이 논문이 흥미로운 이유는 단순히 "기술적 진보" 수준을 넘어서, 강화 학습 기반 미세 조정(RFT) 안에서 사용자의 UI 탐색 및 이해 능력에 반응할 수 있도록 설계되었다는 점입니다. 예를 들어, UI-Venus는 스크린샷을 입력으로 받아 UI를 이해하고 탐색할 수 있습니다. 이는 마치 '화면 속 비서'가 나타난 거죠.

 

✅ 어떻게 작동하나요? – UI-Venus의 핵심 아이디어

 

UI-Venus가 도입한 가장 눈에 띄는 개념은 바로 "강화 학습 기반 미세 조정(RFT)"입니다. 이는 Qwen2.5-VL을 기반으로 수백만 개의 고품질 학습 샘플을 통해 UI 이해 및 탐색 작업을 수행하는 방식입니다.

 

이러한 강화 학습 기반 미세 조정은 실제로 보상 함수 설계 및 효율적인 데이터 정리 전략으로 구현되며, 이를 통해 더 나은 계획 및 일반화를 달성하는 게 UI-Venus의 강점입니다.

 

이 모델은 총 여러 단계의 학습 과정을 거쳐 만들어졌습니다:

• 데이터 수집 – 고품질의 UI 스크린샷 및 상호작용 데이터 수집
• 보상 함수 설계 – UI 이해 및 탐색을 위한 보상 함수 설계
• 데이터 정리 – 효율적인 데이터 정리 및 전처리
• 모델 학습 – 강화 학습 기반의 모델 학습 및 미세 조정

 

✅ 주요 기술적 특징과 혁신점

 

UI-Venus의 핵심 기술적 특징은 크게 세 가지 측면에서 살펴볼 수 있습니다.

 

1. 강화 학습 기반 미세 조정
이는 Qwen2.5-VL을 기반으로 한 강화 학습을 통해 UI 이해 및 탐색 성능을 극대화하는 방식입니다. 기존의 단순한 지도 학습 방식과 달리, 강화 학습을 통해 더 복잡한 UI 상호작용을 학습할 수 있습니다. 특히 보상 함수 설계를 통해 성능 측면에서 큰 향상을 보였습니다.

 

2. 데이터 정리 및 전처리
데이터 정리의 핵심은 불필요한 데이터를 제거하고, 필요한 데이터를 효율적으로 정리하는 데 있습니다. 이를 위해 고품질의 데이터 정리 프로토콜을 도입했으며, 이는 데이터의 질을 높이고 학습 효율성을 극대화하는 데 기여했습니다.

 

3. 자가 진화 경로 정렬 및 희소 행동 강화
마지막으로 주목할 만한 점은 자가 진화 경로 정렬 및 희소 행동 강화를 통해 복잡한 UI 작업에서 더 일관된 계획 및 일반화를 달성했다는 점입니다. 이는 특히 복잡한 UI 환경에서 더 나은 성능을 제공합니다.

 

✅ 실험 결과와 성능 분석

 

UI-Venus의 성능은 다음과 같은 실험을 통해 검증되었습니다.

 

1. UI 그라운딩 성능
Screenspot-V2 / Pro 벤치마크에서 7B 및 72B 모델은 각각 94.1% / 50.8%와 95.3% / 61.9%의 성능을 달성했습니다. 이는 이전의 SOTA 모델을 능가하는 결과입니다.

 

2. UI 탐색 성능
AndroidWorld 온라인 UI 탐색 아레나에서 7B 및 72B 모델은 각각 49.1%와 65.9%의 성공률을 기록했습니다. 이는 기존 모델보다 뛰어난 성능을 보여줍니다.

 

3. 실제 응용 시나리오에서의 평가
실제 UI 환경에서 진행된 테스트에서는 UI-Venus가 다양한 UI 상호작용을 효과적으로 처리할 수 있음을 확인했습니다. 실용적 관점에서의 장점과 함께, 현실적인 제한사항이나 고려사항도 명확히 드러났습니다.

 

이러한 실험 결과들은 UI-Venus가 UI 이해 및 탐색 작업을 효과적으로 해결할 수 있음을 보여줍니다. 특히 이러한 성과는 향후 UI 에이전트 개발에 중요한 시사점을 제공합니다.

 

✅ 성능은 어떨까요?

 

UI-Venus는 Screenspot-V2와 AndroidWorld라는 첨단 벤치마크에서 각각 94.1%와 65.9%라는 점수를 기록했습니다. 이는 기존 SOTA 모델 수준의 성능입니다.

실제로 UI 탐색 및 이해 작업에서도 꽤 자연스러운 반응을 보입니다.
물론 아직 "복잡한 UI 상호작용" 영역에서 약간의 미흡함이 존재하긴 하지만, 현재 수준만으로도 다양한 서비스에 활용 가능성이 큽니다.

 

✅ 어디에 쓸 수 있을까요?

 

UI-Venus는 단지 새로운 모델이 아니라, "UI 에이전트의 새로운 가능성"이라는 흥미로운 방향성을 제시합니다.
앞으로는 더 많은 UI 상호작용, 예를 들면 자동화된 UI 테스트, 사용자 경험 개선까지 인식하게 될 가능성이 큽니다.

• UI 테스트 자동화: 스크린샷을 기반으로 UI 테스트를 자동화하여 시간과 비용을 절감할 수 있습니다.
• 사용자 경험 개선: UI 상호작용을 분석하여 사용자 경험을 개선하는 데 활용할 수 있습니다.
• 접근성 향상: 다양한 UI 환경에서의 접근성을 향상시키는 데 기여할 수 있습니다.

이러한 미래가 UI-Venus로 인해 조금 더 가까워졌습니다.

 

✅ 개발자가 지금 할 수 있는 일은?

 

UI-Venus에 입문하려면, 기본적인 강화 학습과 멀티모달 모델에 대한 이해가 필요합니다.
다행히도 GitHub 리포지토리에 예제 코드가 잘 정리되어 있어, 이를 통해 학습할 수 있습니다.

실무에 적용하고 싶다면?
필요한 데이터를 확보하고, 다양한 UI 환경을 테스트하면서 모델을 적용하는 것이 핵심입니다. 또한, 데이터 정리 및 전처리 작업도 병행되어야 합니다.

 

✅ 마치며

 

UI-Venus는 단순한 기술적 진보를 넘어, UI 에이전트의 새로운 가능성을 향한 중요한 이정표입니다. 이 기술이 제시하는 가능성은 기술 생태계의 미래를 재정의할 잠재력을 가지고 있습니다.

 

우리는 지금 기술 발전의 중요한 변곡점에 서 있으며, UI-Venus는 그 여정의 핵심 동력이 될 것입니다. 당신이 이 혁신적인 기술을 활용하여 미래를 선도하는 개발자가 되어보는 건 어떨까요?

 

⨠ 논문 원문 보러가기

 

✅ 같이 보면 좋은 참고 자료들

 

관련 논문을 찾을 수 없습니다.