구글에서 선호하는 출처로 추가

20GB 잉클링 2 미니, 애플 실리콘 로컬 AI 겨냥

씽킹머신스랩이 약 20GB 규모의 잉클링 2 미니를 공개했다. 메모리 32GB 이상 애플 실리콘 기기에서 로컬 실행을 지원한다.

외장 SSD를 연결한 로컬 AI용 애플 실리콘 노트북 / TokenPost.ai

씽킹머신스랩(Thinking Machines Lab)이 약 20GB 용량의 인공지능 모델 잉클링 2 미니(Inkling 2 Mini)를 공개했다. 애플 실리콘 기기에서 직접 실행하는 로컬 AI용 모델이다.

씽킹머신스랩은 공개 모델 카드에서 메모리 32GB 이상을 갖춘 애플 실리콘 기기를 지원 대상으로 제시했다. 모델 파일 크기는 약 20GB로 안내했다.

◇ 로컬 실행 조건

로컬 실행에서는 저장 공간과 메모리가 서로 다른 역할을 한다. 모델 파일은 저장장치에 보관하고, 실행 과정에서는 메모리가 사용된다.

따라서 애플 실리콘을 탑재했더라도 메모리가 32GB에 못 미치는 기기는 공개 자료가 제시한 지원 조건에 포함되지 않는다. 모델 파일 용량과 메모리 조건은 서로 대체되지 않는다.

로컬 AI는 외부 서버 대신 사용자 기기에서 모델을 실행하는 방식이다. 사용자는 서비스 제공자의 API를 호출하는 대신 모델 파일과 실행 도구를 자신의 하드웨어에 마련해야 한다.

이 방식에서는 모델 요청을 처리하는 위치와 사용 환경이 서버 중심 서비스와 달라진다. 대신 사용자가 기기의 연산 성능과 저장 공간을 직접 확보해야 한다.

◇ 라이선스와 사용정책

모델 페이지에는 Apache 2.0 라이선스가 표기됐다. 동시에 별도의 Acceptable Use Policy(허용 가능한 사용 정책)도 제공됐다.

Apache 2.0은 모델의 수정과 배포에 활용되는 오픈 라이선스 가운데 하나다. 별도 사용정책은 모델을 사용할 때 적용되는 조건을 확인하는 문서다.

개발자가 잉클링 2 미니를 제품이나 서비스에 통합할 때는 Apache 2.0 문구만으로 사용 범위를 판단하기 어렵다. 라이선스와 별도 사용정책의 내용을 함께 검토해야 한다.

◇ 잉클링 제품군 안의 위치

씽킹머신스랩은 이달 5일 앞서 잉클링 2 스몰 모델을 공개했다. 잉클링 2 스몰은 전체 5940억개 파라미터 가운데 추론 시 170억개를 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 모델이다.

잉클링 2 스몰은 이미지 입력과 추론량 조절을 지원했다. 당시에는 씽킹머신스랩의 Tinker에서 이용할 수 있었지만 가중치를 내려받을 수는 없었다.

씽킹머신스랩은 지난 7월에도 잉클링(Inkling)과 잉클링-스몰(Inkling-Small)을 선보였다. 잉클링은 전체 9750억개 중 410억개, 잉클링-스몰은 2760억개 중 120억개의 파라미터를 추론 과정에서 활성화하는 구조로 소개됐다.

MoE는 입력 처리에 필요한 일부 전문가만 활성화해 전체 파라미터 규모와 실제 계산량을 나누는 방식이다. 전체 파라미터 수가 크더라도 매번 모든 부분을 동시에 사용하는 구조는 아니다.

잉클링 2 미니는 공개 자료에 애플 실리콘 기기와 메모리 32GB 이상이라는 로컬 실행 조건을 명시한 모델이다. 공개 범위와 실행 환경을 함께 제시했다.

사용자는 실행 전에 메모리 32GB 이상 여부와 약 20GB 모델 파일을 저장할 공간을 확인해야 한다. Apache 2.0과 별도 사용정책도 함께 검토해야 한다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기