Maker packs an opinionated, googly-eyed AI chatbot into a mobile suitcase, powered by an Nvidia Jetson — entirely local machine entity runs Gemma 4 E4B and can respond in 200ms

출처: Tom’s Hardware

빠르고, 능력 있으며, 의견이 뚜렷한 로봇 동반자를 어디서든, 심지어 셀룰러나 Wi‑Fi 연결 없이도 대화하고 싶다면, Reddit 사용자 CreativelyBankrupt가 보여줄 것이 있습니다. 이 LLM 매니아는 Jetson Orin NS Super 16GB를 기반으로 한 완전 오프라인 수트케이스 로봇 “Sparky”를 설계했습니다. 로컬에서 Gemma 4 E4B를 실행하고, 30개가 넘는 센서를 탑재해 상황 인식을 제공하며, “그는 의견이 있다”는 점이 특징입니다. 아래 삽입된 영상을 보면 그 의미를 확인할 수 있고, 수트케이스 안팎에서 Sparky의 구글리 아이를 직접 볼 수 있습니다.

Jetson Orin NX SUPER 16GB를 기반으로 완전 오프라인 수트케이스 로봇을 만들었습니다. Gemma 4 E4B, ~200 ms 캐시된 TTFT, 30개 이상 센서, Wi‑Fi/BT/셀룰러 없음. 그는 의견이 있습니다. – 출처: r/LocalLLaMA

r/LocalLLaMA 서브레딧에서 CreativelyBankrupt는 이 개성 넘치는 디지털 동반자를 위한 ‘레시피’를 공개했습니다. “Sparky는 전적으로 Jetson 위에서 동작합니다. Gemma 4 E4B를 Q4_K_M 설정으로 llama.cpp와 q8_0 KV 캐시, 플래시 어텐션을 사용해 실행합니다. 12 K 컨텍스트[대화 메모리]와 네이티브 시스템 역할을 갖추고 있습니다.”라고 CreativelyBankrupt는 설명합니다. 또한 30개가 넘는 다양한 센서 덕분에 Sparky는 언제 어디서든 현실 세계를 파악할 수 있습니다.

수트케이스에 얽힌 로봇은 성능도 꽤 뛰어납니다. 약 200 ms의 Time To First Token (TTFT) 덕분에 Sparky는 매우 빠르게 응답을 만들기 시작하고, 이후 초당 14~15 토큰 정도의 속도로 진행된다고 LLM 매니아는 전합니다. 게다가 응답은 로봇답지만 자연스럽습니다. SenseVoiceSmall를 이용한 음성‑텍스트 변환과 Piper를 이용한 텍스트‑음성 변환이 적용되었습니다. Piper는 PixiJS 얼굴과 동기화되어 있으며, 입 움직임 애니메이션은 43 Hz로 업데이트됩니다. CreativelyBankrupt는 “Vision과 OCR이 이제 Gemma 4에 기본 탑재되었습니다.”라고 덧붙였습니다. 또한 버튼 행, 조이스틱, 아날로그 엔코더 노브를 통해 Sparky를 설정하고 조작할 수 있습니다.

CreativelyBankrupt는 Reddit에 Sparky의 탄생 배경을 공유했으며, 이는 Gemma 4 E4B를 Orin‑계열 하드웨어에서 최적화하는 팁과 힌트를 얻기 위한 목적도 있었습니다. 그러나 대부분의 댓글은 이 “멋지고… 귀엽고… 사랑스럽고… 키치한…” 프로젝트에 감탄을 금치 못했습니다.

팔로우* Google 뉴스에서 Tom’s Hardware*, 혹은* 선호 소스로 추가*하면 최신 뉴스, 분석, 리뷰를 피드에서 받아볼 수 있습니다.

Tom’s Hardware의 최고의 뉴스와 심층 리뷰를 바로 이메일함으로 받아보세요.