미국 기술 스타트업 티니AI가 세계에서 가장 작은 개인용 인공지능(AI) 슈퍼컴퓨터를 공개했다고 과학 매체 인터레스팅엔지니어링이 최근 보도했다.

주머니에 들어갈 정도로 작은 보조 배터리처럼 생긴 이 AI 슈퍼컴퓨터의 이름은 ‘티니 AI 포켓 랩’이다. 이 컴퓨터는 클라우드 연결이나 서버 또는 고성능 그래픽처리장치(GPU)에 의존하지 않고 최대 1천200억 개 매개변수를 가진 대형언어모델(LLM)을 로컬 환경에서 실행할 수 있다.회사 측은 슈퍼컴퓨터의 클라우드 및 GPU 의존도를 낮추고, 일반 사용자도 데이터센터 수준의 AI성능을 활용할 수 있도록 하기 위해 이 제품을 개발했다고 설명했다.

티니AI는 "클라우드AI는 놀라운 발전을 이뤘지만, 동시에 의존성, 취약성, 지속 가능성 문제도 야기했다"며, "티니AI 포켓 랩을 통해 AI가 데이터 센터에 속한 것이 아니라 사람들의 것이 되어야 한다는 철학을 실현하고자 한다”고 밝혔다.

AI 포켓 랩은 크리에이터, 개발자, 연구원, 학생 등 다양한 전문가와 일반 사용자의 AI 활용을 지원하도록 개발됐다. 사용자는 인터넷 연결 없이도 다단계 추론, 심층적인 맥락 이해, 에이전트 워크플로, 콘텐츠 생성은 물론 민감한 정보의 안전한 처리가 가능하다.

이 제품은 은행 수준 암호화 기술을 적용했으며, 사용자 데이터와 환경 설정, 문서를 모두 로컬에 저장해 클라우드 기반 AI 시스템보다 한층 강화된 개인 정보 보호 기능을 제공한다.

ARMv9.2 12코어 중앙처리장치(CPU)를 탑재한 이 슈퍼컴퓨터는 소비전략 65W로 작동해 GPU에 의존하는 기존 시스템 대비 에너지 사용량과 탄소 배출을 크게 줄였다.

티니AI 포켓 랩은 소형 기기에서 대규모 AI 모델을 실행할 수 있도록 두 가지 핵심 기술을 활용한다. 하나는 모델 지능 저하 없이 필요한 뉴런만 활성화하여 효율을 높이는 ‘터보스파스(TurboSparse)’ 기술이고 또 하나는 깃허브에서 8,000개 이상의 별점을 받은 오픈소스 엔진 ‘파워인퍼(Powerinfer)’다. 파워인퍼는 AI 워크로드를 CPU와 NPU에 분산 처리해 훨씬 적은 전력으로 성능을 향상시킨다.