검색결과 총 8건
-
-
AI 성능 넘어 '안전' 경쟁...KT 클라우드·카카오 AI 세이프티 맞손
[경제일보] 생성형 인공지능(AI)이 기업 업무 전반으로 확산되면서 AI 성능뿐 아니라 안전성과 신뢰성을 확보하기 위한 경쟁도 본격화되고 있다. 유해 콘텐츠 생성과 개인정보 유출, 프롬프트 공격 등 새로운 보안 위협이 부상하면서 AI를 실제 서비스에 적용하기 위해서는 'AI 세이프티'가 핵심 경쟁력으로 떠오른 것으로 분석된다. 26일 KT 클라우드와 카카오는 안전한 생성형 AI 서비스 구현을 위한 AI 세이프티 협력 체계를 구축했다고 밝혔다. 양사는 KT 클라우드의 AI 인프라 플랫폼과 카카오의 AI 세이프티 기술을 결합해 공공과 민간 분야에서 신뢰할 수 있는 AI 활용 환경을 구축한다는 계획이다. 최근 생성형 AI 도입이 빠르게 늘면서 AI 서비스의 안전성 확보가 기업들의 새로운 과제로 떠오르고 있다. AI가 허위 정보를 생성하는 '환각' 현상은 물론 '프롬프트 인젝션'을 통한 악성 명령 실행, 개인정보 유출, 유해 콘텐츠 생성 등의 위험성이 실제 서비스 운영 과정에서 잇따라 제기되고 있기 때문이다. 특히 공공기관과 금융권, 대기업을 중심으로 AI 도입이 확대되면서 모델 성능만큼 보안성과 신뢰성, 규제 대응 능력을 함께 검증하려는 움직임도 강화되고 있다. AI를 업무 시스템과 연계하는 기업이 늘어날수록 안전성을 확보할 수 있는 운영 체계가 필수 요소로 자리 잡고 있는 것이다. 이에 양사는 AI 서비스 개발부터 운영까지 전 과정에서 활용할 수 있는 AI 세이프티 기술 고도화에 나선다. 협력의 첫 단계로 KT 클라우드는 지난 4월 공개한 공공기관 대상 생성형 AI 플랫폼 'RAG Suite 2.0'에 카카오의 AI 가드레일 모델인 '카나나 세이프가드'를 적용할 예정이다. 카나나 세이프가드는 한국어와 국내 문화·법률 환경을 반영해 개발된 AI 세이프티 모델이다. 생성형 AI가 부적절하거나 유해한 답변을 생성하는 것을 방지하고 프롬프트 공격이나 정책 위반 가능성을 탐지하는 역할을 수행한다. 현재 카카오의 주요 AI 서비스에도 적용되고 있다. 양사는 가드레일 기술 적용을 시작으로 AI 모델 안전성 평가 시스템과 다양한 공격 시나리오를 기반으로 취약점을 점검하는 '레드티밍' 시스템도 단계적으로 제공할 계획이다. AI 모델이 실제 서비스 환경에서 예상하지 못한 공격이나 악용 시도에 얼마나 안정적으로 대응하는지를 검증하는 체계까지 함께 구축한다는 구상이다. 향후에는 AI 세이프티 도구를 통합 관리하는 운영 플랫폼 구축으로 협력을 확대한다. KT 클라우드 환경에서 축적되는 운영 데이터와 고객 피드백을 기반으로 AI 안전성 관리 기능을 고도화하고, 생성형 AI 서비스의 개발과 배포, 운영, 모니터링까지 아우르는 통합 운영 체계를 마련할 계획이다. IT 업계에서는 AI 시장 경쟁이 모델 성능 중심에서 안전성과 신뢰성을 확보하는 방향으로 빠르게 이동하고 있는 것으로 전망한다. 생성형 AI 기술이 기업 핵심 업무에 적용될수록 모델의 정확도뿐 아니라 보안과 컴플라이언스, 운영 안정성 확보 여부가 AI 도입을 결정하는 핵심 요소로 자리 잡고 있기 때문이다. 이에 AI 가드레일과 레드티밍, 모델 평가 체계 등 AI 세이프티 기술도 AI 인프라의 필수 요소로 부상하고 있는 것으로 평가된다. KT 클라우드와 카카오는 이번 협력을 계기로 공공기관과 금융권을 비롯한 다양한 산업 분야에서 신뢰할 수 있는 생성형 AI 서비스 구축을 지원하는 한편, 국내 AI 생태계 전반의 안전성 확보에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "생성형 AI가 본격적으로 확산되면서 성능뿐 아니라 책임 있는 AI 활용 기반을 마련하는 것이 중요한 과제가 되고 있다"며 "카카오와의 협력을 통해 AI 인프라와 안전성 기술을 결합하고, 공공과 민간 고객이 보다 신뢰할 수 있는 환경에서 AI 서비스를 개발·운영할 수 있도록 지원하겠다"고 말했다. 김세웅 카카오 AI 시너지 성과리더는 "카카오의 AI 세이프티 기술과 KT 클라우드의 인프라 역량이 만나는 이번 협력이 국내 AI 생태계의 안전성을 한 단계 높이는 계기가 되길 바란다"며 "앞으로도 이용자가 안심하고 사용할 수 있는 AI 환경을 만들기 위해 지속적으로 노력하겠다"고 말했다.
2026-06-26 10:15:27
-
-
AI도 한국 문화 맞춤 검증…KT, AI 안전성 벤치마크 'KSAFE-MM' 공개
[경제일보] KT가 한국 사회와 문화적 특성을 반영한 멀티모달 인공지능(AI) 안전성 평가 체계를 공개했다. 생성형 AI 확산으로 텍스트를 넘어 이미지와 음성까지 동시에 이해하는 멀티모달 AI 활용이 늘어나는 가운데 국내 환경에 맞는 안전성 검증 기준을 마련해 AI 신뢰성 확보에 나서겠다는 전략으로 풀이된다. 16일 KT는 고려대학교와 공동으로 개발한 멀티모달 대형언어모델(MLLM) 안전성 벤치마크 'KSAFE-MM'을 공개했다고 밝혔다. 최근 생성형 AI 시장은 텍스트 중심 서비스에서 이미지와 음성, 영상까지 통합적으로 처리하는 멀티모달 AI 중심으로 빠르게 진화하고 있다. 다만 AI 모델의 활용 범위가 확대될수록 허위정보 생성, 편향성, 유해 콘텐츠 노출, 개인정보 침해 등 안전성 이슈 역시 함께 커지고 있는 것으로 알려졌다. 특히 글로벌 AI 기업들이 개발한 안전성 평가 기준은 영어권 문화와 사회 환경을 중심으로 설계돼 국내 이용 환경과 문화적 특수성을 충분히 반영하지 못한다는 한계도 제기돼 왔다. 이에 KT와 고려대는 해당 문제를 해결하기 위해 'KSAFE-MM'을 공동 개발했다고 설명했다. 'KSAFE-MM'은 한국 사회의 문화적·사회적 맥락을 반영한 멀티모달 AI 안전성 평가 체계로, 글로벌 공통 위험 요소를 한국 문화 환경에 맞게 재구성한 'KSAFE-MM-G'와 전세 사기, 독도 분쟁 등 국내 특수 이슈를 반영한 'KSAFE-MM-C'로 구성된다. 전체 평가 데이터는 총 1만4135개 샘플 규모다. 연구진은 해당 벤치마크를 활용해 구글의 '젬마'와 네이버의 '하이퍼클로바 X'를 비롯한 12개 글로벌 멀티모달 AI 모델의 안전성을 검증했다. 이번 연구의 가장 큰 특징은 벤치마크 구축 과정을 자동화한 것이다. 기존 AI 안전성 벤치마크는 전문가가 데이터를 수집하고 검수하는 방식이 대부분으로 많은 비용과 시간이 필요했다. 반면 KSAFE-MM은 현지 커뮤니티 기반 민감 주제 수집, 템플릿 기반 질의 생성, 합성 이미지 제작, 탈옥 질의 생성까지 전 과정을 자동화한 4단계 파이프라인을 구축했다. KT와 고려대 연구진은 동일한 파이프라인을 일본어 환경에 적용한 파일럿 프로젝트 'JSAFE-MM-C'도 진행했다. 연구진은 이를 통해 해당 프레임워크가 한국뿐 아니라 다양한 국가와 문화권에서도 활용 가능한 범용 안전성 평가 체계임을 확인했다고 설명했다. 업계에서는 생성형 AI 규제 논의가 본격화되는 가운데 AI 안전성 평가 체계의 중요성이 더욱 커질 것으로 전망하고 있다. 특히 기업들은 AI 서비스 출시 전 위험 요소를 점검하는 레드팀 테스트와 가드레일 모델 검증 수요가 늘어나고 있어 실질적인 활용도가 높을 것으로 분석된다. KT는 이번 연구 결과를 실제 AI 서비스 안전성 검증과 모델 평가, 위험 분석 등에 활용할 계획이다. 연구 결과와 벤치마크 데이터는 '아카이브'와 '허깅페이스'를 통해 공개돼 학계와 산업계가 자유롭게 활용할 수 있다. KT는 최근 다국어 AI 안전성 벤치마크 'XL-세이프티벤치'를 공개한 데 이어 KSAFE-MM을 선보이며 한국형 AI 안전성 평가 체계 구축을 확대하고 있다. KT는 책임 있는 AI 전담 조직을 중심으로 안전성 분류 체계와 평가 로직 개발 등 관련 연구를 지속 추진한다는 방침이다. 박재형 KT AX미래기술원 프론티어 AI Lab장 상무는 "안전성 벤치마크의 공개는 단순한 데이터 배포를 넘어 AI 안전성 연구 생태계 전반이 함께 발전할 수 있는 기반을 만드는 일"이라며 "KSAFE-MM이 학계와 산업계에서 한국어·한국 문화 맥락의 AI 안전성을 검증하는 공통 기준으로 자리잡길 기대한다"고 말했다.
2026-06-16 14:07:30
-
-
-
-