팀네이버, AI 취약점 찾는 기술로 ICML 상위 2.2%…'서울 월드모델'도 공개

[경제일보] 네이버가 인공지능(AI) 모델을 공격자의 시각에서 검증하는 레드티밍 기술로 세계 3대 AI 학회에서 상위권 평가를 받았다. 여러 AI의 협업 순서를 자동 설계하는 기술부터 서울을 가상공간에 재현한 월드모델까지 공개하며 검색을 넘어 피지컬 AI로 연구 범위를 넓혔다.

팀네이버는 지난 6일부터 11일까지 서울 코엑스에서 열린 국제머신러닝학회 ‘ICML 2026’에 참가해 논문 6편과 실서비스 적용 사례를 발표했다고 13일 밝혔다.

ICML은 신경정보처리시스템학회(NeurIPS), 국제표현학습학회(ICLR)와 함께 세계 3대 AI·머신러닝 학회로 꼽힌다. 올해 처음 한국에서 개최됐다.

◆ AI가 위험한 답을 하도록 공격…배포 전 취약점 찾는다

가장 높은 평가를 받은 연구는 ‘스테이블 지플로우넷’이다. 대형언어모델(LLM)이 유해하거나 위험한 답변을 내놓도록 유도하는 공격 문장을 자동으로 생성해 취약점을 찾는 레드티밍 기술이다. 네이버에 따르면 해당 논문은 전체 채택 논문 중 상위 약 2.2%에 해당하는 ‘스포트라이트’에 선정됐다.

기존 생성흐름네트워크(GFlowNet) 기반 레드티밍은 학습이 불안정하거나 비슷한 공격 패턴만 반복하는 ‘모드 붕괴’ 문제가 있었다. 연구팀은 공격 문장끼리의 비교 학습과 불안정한 평가값을 걸러내는 방식을 적용해 공격 성공률과 다양성을 함께 높였다.

이 기술은 AI 서비스 출시 전 정상적인 성능만 시험하는 대신 악의적인 이용자가 안전장치를 우회하는 상황까지 점검하는 데 활용할 수 있다. 다만 실험에서 높은 공격 성능을 보였다는 사실이 모든 실제 서비스의 취약점을 찾아낼 수 있다는 의미는 아니다. 모델과 운영 환경에 따른 추가 검증이 필요하다.

AI 모델의 개발·운영 비용을 줄이기 위한 연구도 발표됐다. ‘시머지’는 서로 다른 업무에 특화된 모델을 하나로 합칠 때 전체 구조를 다시 학습하지 않고 단일 레이어만 조정하는 병합 기술이다. 연구진은 비전과 자연어처리 벤치마크에서 기존 모델 병합 방식보다 경쟁력 있는 성능을 확인했다고 설명했다.

‘플로우봇’은 여러 AI 에이전트가 문제를 해결할 때 필요한 작업 순서를 자동으로 탐색한다. 사람이 도구 호출 순서와 업무 흐름을 일일이 설계하는 부담을 줄여 에이전트 개발 속도와 운영 효율을 높이는 기술이다.

수백∼수천개 데이터셋을 특성별로 나눠 학습한 뒤 한 차례 병합하는 연구도 공개됐다. 성격이 다른 데이터를 한꺼번에 학습할 때 발생하는 성능 충돌을 줄이면서 LLM 후공정 비용을 낮추는 데 초점을 맞췄다.

◆ 서울을 로봇 훈련장으로…피지컬 AI 연결

현실 공간을 이해하는 연구도 주요 축이었다. 네이버는 흔들리거나 초점이 흐린 단일 카메라 영상에서 물체의 이동 궤적과 형태를 분리해 움직이는 3차원 장면을 복원하는 기술을 발표했다. 자율주행과 로봇이 동적인 환경을 파악하는 데 활용할 수 있다.

네이버·네이버랩스와 KAIST, 서울대가 공동 개발한 ‘서울 월드모델’도 소개했다. 서울 전역의 공간 데이터를 가상 환경으로 구현해 로봇이 실제 도시에 투입되기 전 이동 경로와 행동을 반복 학습하도록 하는 플랫폼이다.

팀네이버가 이번 학회에서 강조한 것은 개별 논문 수보다 연구의 연결 구조다. AI 모델을 개발한 뒤 안전성을 검증하고 여러 모델과 에이전트를 효율적으로 운영한 다음 로봇이 움직이는 현실 공간까지 적용하겠다는 것이다. 향후 연구 성과가 검색과 지도, 쇼핑, 로봇 등 실제 서비스의 성능과 비용 개선으로 이어지는지가 ‘AI 풀스택’ 전략을 평가할 기준이 될 전망이다.