2026.06.26 금요일
검색
'추론 최적화' 검색결과
기간검색
-
~
검색영역
검색어
-
AI 추론 최적화 수요 확대…노타, 상반기 수주 174억원 기록 [경제일보] 생성형 인공지능(AI) 시장이 '학습' 중심 경쟁에서 실제 서비스를 운영하는 '추론' 경쟁으로 빠르게 이동하면서 AI 모델을 효율적으로 구동하는 최적화 기술의 중요성이 커지고 있다. 이에 피지컬 AI와 온디바이스 AI 확산으로 제한된 연산 자원에서도 AI를 안정적으로 실행하려는 수요가 늘어나면서 AI 경량화 기술 기업인 노타의 사업 기회도 확대되는 모습이다. 26일 노타는 올해 2분기 수주액이 약 61억원을 기록했다고 밝혔다. 지난해 같은 기간 약 28억원과 비교하면 두 배 이상 증가한 규모다. 1분기 수주액 약 113억원을 포함한 상반기 누적 수주액은 약 174억원으로 집계됐다. 최근 AI 산업은 거대언어모델(LLM)의 성능 경쟁을 넘어 실제 서비스 환경에서 얼마나 빠르고 효율적으로 AI를 실행할 수 있는지가 핵심 경쟁력으로 떠오르고 있다. AI 모델 규모가 커질수록 연산량과 전력 소비가 증가하는 만큼, 반도체 성능을 최대한 활용하면서도 추론 속도를 높이는 최적화 기술이 기업들의 새로운 투자 분야로 부상하고 있는 것이다. 특히 제조 현장과 자율주행, 로봇, 스마트시티 등 피지컬 AI 분야가 확대되면서 클라우드 서버가 아닌 단말기에서 AI를 직접 구동하는 온디바이스 AI 시장도 빠르게 성장하고 있다. 산업 현장에서는 네트워크 연결 여부와 관계없이 실시간으로 AI를 실행해야 하는 사례가 늘어나면서 AI 모델을 경량화하고 하드웨어 환경에 맞게 최적화하는 기술 수요가 확대되고 있다. 이에 노타는 시장 변화에 맞춰 AI 최적화 플랫폼 '넷츠프레소'와 AI 비전 솔루션 'NVA(노타 비전 에이전트)'를 양축으로 사업을 확대하고 있다. 노타에 따르면 플랫폼 부문은 올해 2분기 전년 동기 대비 184% 성장했다. 최근 AI 반도체 기업 모빌린트와 넷츠프레소 라이선스 계약을 체결하면서 삼성전자, 퓨리오사AI, Arm 등에 이어 반도체 및 하드웨어 기업과의 협력 범위를 지속 확대하고 있다. 넷츠프레소는 AI 모델을 반도체와 하드웨어 환경에 맞춰 경량화·최적화하는 플랫폼이다. 제한된 연산 자원에서도 AI 모델을 안정적으로 구동할 수 있도록 지원하며, 피지컬 AI와 온디바이스 AI뿐 아니라 데이터센터 환경에서도 AI 추론 효율을 높이는 기술로 활용되고 있다. 노타는 AI 반도체 종류가 다양해질수록 각 칩 특성에 맞는 최적화 기술의 중요성도 함께 높아지고 있다고 설명했다. 산업 현장 중심의 AI 솔루션 사업도 성장세를 이어갔다. NVA 솔루션 부문은 지난해 같은 기간보다 약 1.8배 성장했다. 제조업과 건설, 플랜트, 산업안전 분야를 비롯해 영상 관제와 도시 안전, 교통 인프라 등 다양한 분야에서 적용 사례를 확대하며 사업 기반을 넓히고 있다. 최근에는 교통 영상 기반 비전언어모델(VLM) 분석과 다중 운집 분석 등 공공안전 분야 레퍼런스도 확보했다. 산업 현장과 도시 인프라에서 클라우드 의존도를 낮추고 현장 단말에서 AI를 즉시 실행하려는 수요가 늘면서 NVA의 적용 범위도 지속 확대되고 있다. IT 업계에서는 향후 AI 시장 경쟁이 모델 자체의 성능뿐 아니라 얼마나 다양한 반도체 환경에서 효율적으로 구동할 수 있는지가 중요 요인으로 작용할 것으로 전망하고 있다. AI 서비스가 제조와 모빌리티, 로봇, 공공안전 등 실제 산업 현장으로 확산될수록 추론 최적화와 경량화 기술은 AI 생태계의 핵심 기반 기술로 자리 잡을 것이라는 분석이다. 특히 노타는 플랫폼과 솔루션을 동시에 확대하며 AI 최적화 시장 공략에 속도를 낸다는 전략이다. 플랫폼 사업에서는 반도체 및 컴퓨팅 환경 전반으로 협력 범위를 넓히고, 솔루션 사업에서는 산업안전과 모빌리티, 교통, 공공안전 등 피지컬 AI 수요를 기반으로 레퍼런스를 확대해 AI 추론 최적화 시장에서 경쟁력을 강화한다는 계획이다. 채명수 노타 대표는 "AI가 다양한 디바이스와 산업 현장으로 확산될수록, 제한된 자원 안에서 AI를 빠르고 안정적으로 실행하는 추론 최적화 기술의 중요성은 더욱 커지고 있다"며 "올해 2분기 수주 성과는 넷츠프레소를 중심으로 한 반도체향 사업 확대와 NVA 기반 경량 AI 솔루션의 현장 적용성이 함께 입증된 결과"라고 말했다.2026-06-26 15:16:27
-
SKT, 日 NTT와 7600억 AI펀드…한일 AI동맹 판 키운다 [경제일보] SK텔레콤(대표이사 CEO 정재헌)이 일본 NTT, 대만 중화텔레콤과 손잡고 차세대 인공지능(AI) 생태계 확장에 나선다. AI 데이터센터, 반도체, 광통신, 산업용 AI 서비스 등 핵심 기술 기업에 공동 투자하는 5억 달러 규모 펀드를 조성해 국경을 넘는 기술 연대를 본격화한다는 구상이다. SK텔레콤은 10일 일본 도쿄 오테마치 NTT 본사에서 NTT, 중화텔레콤과 기자간담회를 열고 차세대 AI 기술에 투자하는 ‘아이온 AI 펀드(IOWN AI Fund)’를 공동 조성한다고 밝혔다. 펀드 규모는 5억 달러, 한화로 약 7600억원에 이를 전망이다. 3사는 실리콘밸리와 동아시아를 거점으로 하는 펀드 운영회사 카탈라이트 캐피털(Catalight Capital)을 설립해 글로벌 투자 체계를 구축하기로 했다. 조만간 1차 투자사 모집을 마감하고 펀드를 공식 출범할 계획이다. 이번 펀드는 AI 인프라 경쟁이 개별 기업의 기술 개발을 넘어 국가·지역 단위의 산업 연합으로 확산되는 흐름 속에서 추진됐다. 생성형 AI 확산 이후 데이터센터 전력 효율, 반도체 공급망, 초고속 네트워크, 추론 비용 절감 등이 핵심 경쟁력으로 떠오르면서 글로벌 ICT 기업 간 합종연횡도 빨라지고 있다. 투자 대상은 AI 전 영역에 걸쳐 있다. 구체적으로 전력 효율 최적화와 액체 냉각 등 AI 데이터센터 인프라, AI 가속기·GPU·NPU 등 AI 반도체, 의료·제조·금융 분야 AI 서비스 애플리케이션, 클라우드 분산 시스템, 추론 최적화 소프트웨어, 데이터 전송 성능과 전력 효율을 높이는 광통신 기술 기업 등이 포함된다. 투자 지역도 북미에만 머물지 않는다. 3사는 북미를 비롯해 아시아와 유럽의 혁신 스타트업을 발굴해 투자한다는 방침이다. 단순 재무적 투자에 그치지 않고 기술 검증, 서비스 고도화, 고객 발굴까지 지원해 실제 사업화로 이어지는 생태계를 만들겠다는 전략이다. NTT 측은 소니, 도시바 등 글로벌 기업 약 20개사가 펀드 출자 참여에 관심을 보였다고 설명했다. SK하이닉스도 펀드 참여를 준비 중이다. SK그룹 차원에서는 SK텔레콤의 AI 서비스·네트워크 역량과 SK하이닉스의 AI 반도체 공급망 경쟁력이 맞물릴 경우 펀드의 전략적 활용 폭이 커질 수 있다. SK텔레콤 입장에서는 이번 펀드가 단순한 해외 투자 확대를 넘어 AI 사업 전환의 외연을 넓히는 장치가 될 수 있다. 회사는 AI 데이터센터, B2B·B2C AI 서비스, 글로벌 AI 스타트업 투자 등을 통해 통신사에서 AI 인프라 기업으로 체질 전환을 추진해 왔다. NTT와 중화텔레콤의 참여는 이 같은 전략을 동아시아 단위 협력 모델로 확장하는 의미가 있다. 한일 기업 협력이라는 점도 주목된다. 한국은 메모리 반도체와 통신 인프라, 일본은 광통신·소재·장비·대형 ICT 서비스, 대만은 반도체 공급망과 통신 인프라에서 각각 강점을 갖고 있다. 이번 펀드가 실제 투자와 사업 협력으로 이어질 경우 동아시아 AI 생태계의 기술 분업과 공동 사업 모델이 구체화될 수 있다. 이날 간담회에는 정재헌 SK텔레콤 CEO, 시마다 아키라 NTT CEO, 린롱츠 중화텔레콤 사장 등 3사 주요 경영진이 참석했다. 시마다 아키라 NTT CEO는 “AI 네이티브 인프라 실현을 위해서는 전 세계 첨단 기술과 파트너의 힘을 결합하는 것이 필수적”이라며 “유망 스타트업과의 사업 제휴를 추진하고 새로운 산업 기반을 창출해 나갈 것”이라고 밝혔다. 린롱츠 중화텔레콤 사장은 “통신 전문성을 기반으로 국경을 넘는 사업 개발을 통해 글로벌 스타트업을 지원하겠다”며 “최고의 파트너들과 함께 첨단 기술 상용화를 가속화하고 차세대 AI 생태계를 구축할 것”이라고 말했다. 정재헌 SK텔레콤 CEO는 “SK텔레콤은 다수의 글로벌 AI 기업에 초기 투자했을 뿐만 아니라 국내외 유망 스타트업을 발굴·육성하며 AI 생태계를 구축해 왔다”며 “이러한 성공 경험과 SK그룹의 경쟁력을 바탕으로 AI 혁신 기업들과 협력 기회를 확대해 나갈 것”이라고 강조했다.2026-06-10 11:20:46
-
노타, GPU·NPU 역할 분담으로 온디바이스 AI 효율 높인다 [경제일보] AI PC 시장이 본격 확대되면서 인공지능(AI) 모델 자체의 성능 경쟁을 넘어 GPU와 NPU, CPU 등 다양한 연산 장치를 얼마나 효율적으로 활용하느냐가 새로운 경쟁력으로 떠오르고 있다. 이에 AI 경량화 및 최적화 기술 기업 노타는 AI PC 환경에서 GPU와 NPU를 함께 활용하는 이기종 컴퓨팅 기반 대규모 언어 모델(LLM) 추론 최적화 기술을 구현하며 온디바이스 AI 시장 공략에 나선 것으로 분석된다. 4일 노타는 '인텔 루나 레이크' 기반 AI PC에서 GPU와 NPU를 동시에 활용하는 이기종 컴퓨팅 기반 LLM 추론 최적화 기술을 구현했다고 밝혔다. 최근 AI PC 시장에서는 NPU 탑재 여부를 넘어 실제 AI 워크로드를 얼마나 효율적으로 처리할 수 있는지가 핵심 경쟁 요소로 부상하고 있다. AI PC 내부에는 CPU와 GPU, NPU 등 서로 다른 특성을 가진 연산 장치가 탑재되는데, 각 장치의 역할을 어떻게 분담하느냐에 따라 성능과 전력 효율이 크게 달라질 수 있기 때문으로 알려졌다. 노타는 해당 환경에 맞춰 LLM 추론 과정을 입력 처리 단계와 답변 생성 단계로 분리해 각각의 특성에 최적화된 연산 장치를 배치하는 '분리형 추론' 방식을 적용해 해결했다고 설명했다. 구체적으로 입력 데이터와 프롬프트를 처리하는 단계는 병렬 연산 성능이 뛰어난 GPU가 담당하고, 실제 답변을 생성하는 추론 단계는 전력 효율성이 높은 NPU가 수행하도록 설계했다. 단일 프로세서에 모든 연산을 집중시키는 기존 방식과 달리 작업 특성에 따라 하드웨어 자원을 분산 배치한 것이다. 노타에 따르면 해당 기술 적용 결과 단일 GPU 기반 추론 방식 대비 토큰당 에너지 소비량은 약 32% 감소했고 생성 처리량은 약 12% 향상됐다. 또한 단일 NPU 기반 추론 방식과 비교하면 첫 응답 지연 시간은 약 89% 단축된 것으로 나타났다. 이번 발표는 단순히 GPU와 NPU를 함께 사용하는 수준을 넘어 AI 모델의 연산 특성을 분석해 각 작업을 가장 적합한 프로세서에 배분한 것이 특징이다. 동일한 AI PC 환경에서도 하드웨어 자원을 어떻게 활용하느냐에 따라 실제 사용자 경험이 크게 달라질 수 있음을 보여준 것이다. 인텔과 엔비디아 등 주요 기업들이 CPU·GPU·NPU를 결합한 AI PC 전략을 공개했으며, 데이터센터 시장에서도 AI 추론 작업을 단계별로 분리해 서로 다른 연산 장치에 할당하는 방식이 확산되고 있다. 앞서 AI 모델 경량화와 압축 기술에 강점을 보여온 노타는 이번 기술을 통해 모델 최적화를 넘어 AI 실행 환경과 하드웨어 활용 방식까지 아우르는 통합 최적화 역량을 선보인 것으로 평가된다. 특히 AI PC와 온디바이스 AI 시장에서는 제한된 전력과 연산 자원 안에서 최대 성능을 구현해야 하는 만큼 하드웨어 자원 활용 효율이 사용자 경험을 좌우하는 핵심 요소로 꼽힌다. 향후 AI PC 보급이 확대될수록 이기종 컴퓨팅과 런타임 최적화 기술의 중요성이 더욱 커질 것으로 전망된다. 채명수 노타 대표는 "AI PC 시대에는 AI 모델을 기기 안에 올리는 것만으로는 충분하지 않으며 GPU, NPU 등 다양한 연산 장치를 모델 특성에 맞게 조합하는 최적화 역량이 실제 AI 경험을 좌우한다"며 "노타는 모델 경량화, 런타임 최적화, 하드웨어 최적화 기술을 결합해 AI PC 시대의 온디바이스 AI 실행 효율을 높여 나가겠다"고 말했다.2026-06-04 14:11:19
-
Arm, 직접 칩 생산 선언…르네 하스 Arm 대표 "세상을 바꿀 기회" [경제일보] Arm이 인공지능(AI) 데이터센터 시장을 겨냥한 자체 중앙처리장치(CPU)를 공개하며 반도체 사업 전략의 대대적인 전환에 나섰다. 설계 자산(IP) 중심 사업 모델에서 벗어나 양산형 실리콘 제품을 직접 공급하는 방식으로 확장하면서 AI 인프라 시장에서 영향력을 확대하려는 움직임으로 풀이된다. 24일(현지시간) Arm은 AI 데이터센터용 CPU인 'Arm AGI CPU'를 발표하고 창사 이래 처음으로 자체 설계한 양산형 실리콘 제품을 제공한다고 밝혔다. 이번 제품은 AI 에이전트 기반 워크로드 확대에 대응하기 위해 개발된 것으로 차세대 AI 인프라 구축을 위한 핵심 컴퓨팅 플랫폼으로 제시됐다. 이를 통해 Arm은 기존 IP 라이선스뿐 아니라 컴퓨팅 서브시스템(CSS), 그리고 완성형 실리콘 제품까지 제공하며 고객 선택지를 확대한다는 구상이다. 그동안 Arm은 반도체 설계 자산을 제공하고 로열티를 받는 사업 모델을 유지해 왔다. 애플, 엔비디아, 퀄컴 등 글로벌 빅테크 기업들이 Arm 설계를 기반으로 자체 칩을 개발하는 방식이었다. 다만 AI 확산으로 데이터센터 인프라 경쟁이 격화되면서 Arm이 직접 실리콘 제품을 공급하는 방향으로 전략을 전환한 것으로 분석된다. 르네 하스 Arm 대표는 "AI 가속기가 CPU를 대체하는 것이 아니라 오히려 CPU는 더 필수적인 파트너가 됐다"며 "AI 데이터센터 시장은 현재 약 30억 달러 규모지만 향후 1000억 달러 시장으로 확대될 것으로 본다"고 설명했다. 특히 AI 기술이 학습 중심에서 추론 및 실행 중심의 '에이전틱 AI'로 발전하면서 CPU 역할이 다시 중요해지고 있다. AI 에이전트는 모델 학습뿐 아니라 추론, 계획, 실행까지 지속적으로 수행하며 시스템 간 데이터를 조율해야 하기 때문에 대규모 CPU 자원이 필요하다. 이에 따라 데이터센터 내 CPU 수요 역시 크게 증가할 것으로 예상된다. Arm은 에이전틱 AI 환경에서 데이터센터의 CPU 요구량이 기존 대비 4배 이상 증가할 것으로 전망했다. 또한 AI 모델 간 상호작용과 실시간 의사결정이 늘어나면서 가속기를 조율하고 데이터 이동을 관리하는 CPU 역할이 핵심 인프라로 부상하고 있는 것으로 분석했다. 르네 하스 대표는 "AI는 빠르게 진화하고 있으며 앞으로 훨씬 더 빠른 속도로 성장할 것이고, AI 시스템이 복잡해질수록 CPU의 역할은 더욱 중요해질 것"이라며 "AI는 사용자부터 애플리케이션, 인프라까지 전체 기술 스택을 재정의하고 있으며 세계는 기존 데이터센터에서 AI 중심 데이터센터로 빠르게 전환되고 있다"고 강조했다. Arm AGI CPU는 이러한 AI 인프라 변화에 맞춰 설계됐다. 해당 CPU는 최대 136개의 Arm Neoverse V3 코어를 탑재하고 코어당 6GB/s 메모리 대역폭과 100ns 미만 지연 시간을 지원한다. Arm은 이번 신제품이 300W 전력 범위에서 동작하며 지속적인 고부하 환경에서도 안정적인 성능을 제공한다고 설명했다. 확장성 측면에서도 대규모 데이터센터 환경을 고려해 설계됐다. 공랭식 서버 기준 랙당 최대 8160개 코어를 지원하며 수랭식 환경에서는 4만5000개 이상의 코어 구성이 가능하고 이를 통해 기존 x86 CPU 대비 랙당 2배 이상의 성능을 제공할 수 있는 것으로 알려졌다. 또한 Arm은 AI 데이터센터 구축 비용 절감 효과도 강조했다. 1GW 규모 AI 데이터센터 기준 최대 100억 달러 수준의 설비 투자 비용 절감이 가능하다는 분석도 제시했다. 이는 전력 효율성과 고밀도 설계를 통한 인프라 비용 절감 효과를 반영한 것이다. 초기 파트너로는 메타가 참여했다. 메타는 Arm AGI CPU 공동 개발 파트너로 참여했으며 자체 AI 가속기인 MTIA와 결합해 AI 인프라 효율을 높일 계획이다. Arm은 향후 여러 세대에 걸쳐 메타와 협력을 이어갈 방침이다. 또한 OpenAI, 클라우드플레어, SAP, SK텔레콤 등 주요 기업들도 초기 파트너로 참여했다. 해당 기업들은 가속기 관리, API 처리, AI 애플리케이션 호스팅 등 다양한 AI 워크로드에 Arm AGI CPU를 활용할 예정으로 알려졌다. 정석근 SK텔레콤 최고기술책임자는 "SK텔레콤은 Arm AGI CPU와 리벨리온 AI 가속기 칩을 포함한 대규모 풀스택 AI 추론 데이터센터 인프라로 사업을 확장하고 있다"며 "자사의 소버린 AI 'A.X' 파운데이션 모델과 추론 최적화 AI 서버를 결합함으로써 이를 글로벌 시장에 제공하기 위한 준비를 완료함과 동시에 AI 데이터센터(AIDC) 경쟁력을 한층 강화하고 있다"고 평가했다. 하드웨어 제조 생태계도 빠르게 확대되고 있다. 레노버, 슈퍼마이크로, 콴타 컴퓨터, 애즈락랙 등이 시스템 구축 파트너로 참여하고 있으며 상용 시스템은 올해 하반기부터 본격 확대될 예정이다. AWS, 구글, 마이크로소프트, 엔비디아, 삼성전자, SK하이닉스, TSMC 등 50개 이상의 기업이 Arm 컴퓨팅 플랫폼 확장을 지원하는 것으로 알려졌다. 그동안 데이터센터 CPU 시장은 인텔과 AMD가 주도해 왔다. Arm 기반 아키텍처가 전력 효율성을 앞세워 클라우드 시장에서 점유율을 확대하고 있는 상황에서 Arm이 직접 CPU 공급에 나서면서 기존 경쟁 구도가 변화할 가능성이 높을 것으로 분석된다. 최근 엔비디아 역시 자체 CPU '베라'를 공개하며 CPU 시장 진입을 선언하는 등 AI 인프라 경쟁이 확대되고 있다. AI 인프라 시장이 빠르게 성장하면서 칩 설계 기업들이 직접 하드웨어 시장으로 진출하는 흐름이 본격화될 전망이다. Arm은 이번 Arm AGI CPU를 시작으로 데이터센터용 실리콘 제품군을 확대할 계획이다. 향후 제품들은 성능, 확장성, 전력 효율성을 중심으로 발전하며 AI 네이티브 데이터센터 아키텍처 구축을 목표로 구성될 예정이다. AI 인프라 경쟁이 본격화되는 가운데 Arm이 설계 기업에서 플랫폼 사업자로 변신을 시도하면서 글로벌 반도체 생태계에도 변화가 가속화될 전망이다.2026-03-25 10:55:20
-
AI 경쟁 '모델 규모'에서 '효율'로…노타, LLM 경량화 기술 개발 [경제일보] 수천억개의 파라미터를 갖춘 인공지능 모델을 구동하기 위해 필요한 대규모 GPU 인프라와 막대한 메모리가 기업의 AI 도입 장벽으로 작용하면서 대형 언어모델(LLM)의 운영 비용이 인공지능 산업의 새로운 과제로 떠오르고 있다. 이에 글로벌 AI 기업들이 모델 성능을 유지하면서도 비용을 낮추기 위한 경량화·최적화 기술 경쟁에 속도를 내는 가운데 국내 기업들도 관련 기술 개발에 나서고 있다. 5일 AI 경량화 및 최적화 전문 기업 노타는 업스테이지의 대형 언어모델 '솔라'의 모델 크기를 대폭 압축해 추론 비용을 줄이고 처리 속도를 높이면서도 높은 정확도를 유지하는 차세대 양자화 기술을 개발했다고 밝혔다. 이번 개발은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델 프로젝트'의 일환으로 진행됐다. 노타는 업스테이지의 '솔라 오픈 100B' 모델에 자체 경량화·최적화 기술을 적용해 성능은 유지하면서 메모리 효율을 크게 개선했다고 설명했다. 해당 프로젝트는 국내 독자 AI 모델 생태계 구축을 목표로 추진되는 사업으로 모델 개발뿐 아니라 학습·추론 효율을 높이기 위한 핵심 기술 확보도 중요한 과제로 꼽힌다. 특히 이번 기술은 최근 차세대 LLM 구조로 확산되고 있는 'MoE(전문가 혼합 구조)' 모델의 기술적 난제를 해결하는 데 초점을 맞췄다. MoE는 입력에 따라 일부 전문가 모델만 선택적으로 작동하는 방식으로 구글과 메타 등 글로벌 빅테크들이 차세대 LLM 구조로 채택하고 있는 기술로 알려졌다. 모델 전체가 동시에 작동하는 기존 방식보다 연산 효율을 높일 수 있어 초대형 모델 설계에 유리하지만, 구조 특성상 기존 양자화 방식으로는 성능 저하가 발생하기 쉽다는 한계가 있었다. 노타는 MoE 구조에 최적화된 독자 알고리즘 '노타 MoE 양자화' 방법론을 개발해 해당 문제를 해결했다고 설명했다. 모델 전체를 일괄적으로 압축하는 기존 방식과 달리 연산 중요도에 따라 정밀도를 차등 적용해 양자화 과정에서 발생하는 성능 저하를 최소화했다. 즉, 성능에 영향을 크게 미치는 연산은 정밀도를 유지하고 상대적으로 영향이 작은 부분만 압축해 효율성과 정확도를 동시에 확보하는 방식이다. 노타에 따르면 100B(1000억개) 파라미터 규모의 솔라 모델에 해당 기술을 적용해 기존 약 191.2GB(기가바이트) 수준이던 메모리 사용량을 약 72.8% 감소한 51.9GB까지 줄인 것으로 나타났다. 성능 지표인 PPL은 6.81을 기록해 원본 모델의 6.06과 큰 차이를 보이지 않는 수준을 유지했다. 일부 범용 양자화 기법이 적용될 경우 성능이 크게 저하되는 것과 비교하면 메모리 효율과 정확도를 동시에 확보한 결과라는 설명이다. 이 같은 경량화 기술은 향후 온디바이스 AI와 피지컬 AI 확산에도 중요한 기반이 될 전망이다. 그동안 초대형 LLM은 막대한 GPU 자원을 요구해 데이터센터 중심으로 운영될 수밖에 없었다. 그러나 모델을 경량화하면 로봇, 자율주행차, 스마트 디바이스 등 다양한 엣지 환경에서도 고성능 AI를 구현할 수 있는 가능성이 커진다. 스탠퍼드대학교 인간중심 AI 연구소가 발간한 'AI 인덱스 리포트'에 따르면 최근 인공지능 산업에서는 모델 성능 경쟁과 함께 추론 비용과 연산 효율성이 주요 경쟁 지표로 부상하고 있다. 보고서는 초대형 모델 규모가 빠르게 커지면서 이를 운영하기 위한 GPU 인프라와 전력 비용이 급증하고 있으며 이에 글로벌 AI 기업들이 모델 압축, 양자화, 추론 최적화 등 효율성 기술 확보에 투자를 확대하고 있다고 분석했다. 앞으로는 LLM 경쟁이 단순한 모델 성능 경쟁을 넘어 효율성 경쟁으로 확장될 전망이다. 미국과 중국을 중심으로 모델 경량화와 엣지 AI 기술 연구가 활발하게 진행되는 가운데 국내에서도 파운데이션 모델 개발과 함께 최적화 기술 확보가 중요한 과제로 떠오르고 있다. 채명수 노타 대표는 "이번 성과는 한국형 AI 파운데이션 모델인 솔라 100B에 노타만의 양자화 기법을 적용해 메모리를 대폭 줄이면서도 성능을 유지했다는 점에서 의미가 크다"며 "디바이스에 대규모 모델을 구현해야 하는 수요가 커질수록 노타의 경량화·최적화 기술이 고성능 AI를 실현하는 핵심적인 역할을 해나갈 것"이라고 말했다.2026-03-05 09:54:56
많이 본 뉴스
영상
Youtube 바로가기
![[사설] 휴머노이드 전쟁, 대한민국의 미래를 결정할 골든타임이다](https://image.ajunews.com/content/image/2026/06/26/20260626103810596850_518_323.jpg)