출처: PANews
테더 AI 연구팀이 최신 QVAC SDK에 메모리 압축 기술 터보퀀트를 통합했다.
터보퀀트는 구글 리서치가 개발한 메모리 압축 기술의 상용 버전으로, AI를 로컬에서 실행할 때 병목으로 꼽히는 키-값 캐싱 문제를 줄이는 데 초점을 맞췄다.
테더 측은 이 기술이 출력 품질 저하 없이 캐시를 최대 5배 압축해 노트북이나 휴대폰에서도 장시간 대화, 대용량 문서 처리 등을 수행할 수 있도록 지원한다고 설명했다.
테더 CEO는 중앙화 시스템 대신 개인 기기와 로컬 네트워크에서 AI를 실행할 수 있게 하는 것이 이번 출시의 목표라고 밝혔다.


