토픽

맨위로 가기
  • 공유 공유
  • 댓글 댓글
  • 추천 추천
  • 스크랩 스크랩
  • 인쇄 인쇄
  • 글자크기 글자크기
링크 복사 완료 링크가 복사되었습니다.

데이터 공유 없이 AI 훈련…美 앨런연구소, 'FlexOlmo'로 분산 학습 혁신

프로필
김민준 기자
댓글 0
좋아요 비화설화 0

앨런 인공지능 연구소가 공개한 FlexOlmo는 민감 데이터를 외부에 공개하지 않고도 고성능 AI 모델 공동 훈련을 가능하게 한다. 데이터 프라이버시와 성능 문제를 모두 해결할 수 있는 기술로 주목받고 있다.

 데이터 공유 없이 AI 훈련…美 앨런연구소, 'FlexOlmo'로 분산 학습 혁신 / TokenPost Ai

데이터 공유 없이 AI 훈련…美 앨런연구소, 'FlexOlmo'로 분산 학습 혁신 / TokenPost Ai

훈련 데이터를 외부에 공유하지 않고도 인공지능 모델을 공동 개발할 수 있는 방안이 제시됐다. 인공지능 연구기관인 앨런 인공지능 연구소(Allen Institute for Artificial Intelligence)가 공개한 ‘FlexOlmo’는 복수의 조직이 각자의 데이터를 보호한 채로 언어 모델을 공동 학습할 수 있도록 설계됐다. 이는 규제나 보안상의 이유로 데이터를 외부로 전달하기 어려운 기업들에게 실질적 대안을 제공할 수 있는 기술로 평가된다.

기존 인공지능 훈련 방식은 고품질의 대용량 데이터 확보가 핵심이다. 이를 위해 기관 간 데이터 공유가 이뤄지기도 하지만, 개인정보 보호법이나 사이버 보안 문제로 인해 현실적으로는 쉽지 않다. FlexOlmo는 이 같은 한계를 극복하는 데 초점을 맞췄다. 이 모델은 각 조직이 '앵커 모델'이라는 공통 기반 모델을 자체적으로 복제하고, 그 위에 자사의 데이터를 활용해 독립적으로 학습을 진행한 후, 결과 모델들을 병합하는 방식으로 작동한다. 병합된 최종 모델은 각 기관의 원본 데이터를 공유받지 않아도 높은 수준의 성능을 달성할 수 있도록 설계됐다.

FlexOlmo는 '복수 전문가(mixture of experts)' 구조를 채택하고 있다. 사용자 입력이 들어오면 라우터라 불리는 모듈이 가장 적합한 전문가 모델을 지정해 응답을 생성하는 방식이다. FlexOlmo의 독창성은 이 라우터를 각 네트워크에 독립적으로 할당한 뒤, 통합 모델 구성 시 각기 다른 라우터들을 결합하는 방식으로 성능 저하 문제를 방지한 데 있다. 이로 인해 모듈 간 역할 충돌이나 데이터 정합성 문제가 최소화됐다.

보안성 측면에서도 효과가 입증됐다. 해당 연구팀은 해커가 FlexOlmo 모델에서 훈련 데이터를 역추적해 추출할 가능성을 시뮬레이션했으며, 그 결과 데이터 추출률이 0.7%에 불과한 것으로 나타났다. 이는 소규모 수학 데이터셋을 과적합 처리한 모델의 60% 추출률과 비교해 현격히 낮은 수치다.

실제 성능 평가도 긍정적이다. 연구진은 최대 370억 개의 매개변수를 가진 FlexOlmo 기반 모델을 실험했고, 기존 모델 병합 방식에 비해 평균 10.1%의 성능 향상을 기록했다. 이 같은 결과는 다양한 산업 분야에서 기업 간 데이터 협업을 통한 AI 보편화 가능성을 한층 확대할 수 있는 잠재력을 시사한다.

AI 산업 전반에서 데이터 프라이버시와 성능 간 균형은 오랜 과제로 남아 있다. 이번 FlexOlmo의 등장은 중앙 집중형 훈련 체계에서 벗어나 분산형 AI 개발의 실용성과 보안성을 함께 확보할 수 있는 유의미한 진전으로 평가된다. 특히 의료, 금융, 공공기관 등 민감 데이터를 보유한 조직 간 협업에 있어서 새로운 이정표가 될 가능성이 높다.

<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>

광고문의 기사제보 보도자료

많이 본 기사

관련된 다른 기사

댓글

댓글

0

추천

0

스크랩

스크랩

데일리 스탬프

0

말풍선 꼬리

매일 스탬프를 찍을 수 있어요!

데일리 스탬프를 찍은 회원이 없습니다.
첫 스탬프를 찍어 보세요!

댓글 0

댓글 문구 추천

좋은기사 감사해요 후속기사 원해요 탁월한 분석이에요

0/1000

댓글 문구 추천

좋은기사 감사해요 후속기사 원해요 탁월한 분석이에요
1