모델에서 의미로: Gemma 4로 NeuroSense AI를 구축하며 로컬 AI에 대한 시각이 바뀌다

출처: Dev.to

AI를 배우고 구축하면서 내가 눈치챈 이상한 점이 있다.
새 모델이 등장할 때마다 처음 나오는 대화는 보통 매우 비슷하게 들린다.
사람들은 묻는다:

• 파라미터가 얼마나 될까?
• 속도는 어떨까?
• 어떤 벤치마크를 넘어섰나?
• 다른 모델과는 어떻게 비교될까?

왜 이런 질문이 중요한지 나는 이해한다.
벤치마크가 중요하고, 성능이 중요하고, 추론 능력이 중요하다.
하지만 ‘NeuroSense AI’라는 프로젝트 아이디어에 대해 고민하면서 나는 점점 다른 질문에 관심이 생기고 있음을 깨달았다.

“이 모델이 얼마나 강력한가?” 가 아니라,
“이 모델이 사람들에게 어떤 경험을 만들어 줄 수 있을까?” 라는 질문이다.
그 질문은 내 머릿속에 계속 남아 있었다.
그리고 뜻밖에도 그 시작은 아주 평범한 일에서 비롯되었다.
연구 논문도, 벤치마크 차트도, 기술 컨퍼런스도 아니다.
학생 생활에서 시작된 것이다.

학생이라면 누구나 이상하게 익숙한 순간을 겪는다.
공부하려고 자리에 앉는다.
노트북을 연다.
계획을 세운다.
예를 들어:

• 과제 마무리
• 시험 준비
• 프로젝트 완성
• 노트 정리
  모든 것이 감당할 수 있을 것처럼 보인다.
  그런데 뭔가가 변한다.
  알림 하나를 확인한다.
  또 다른 마감일을 떠올린다.
  또 다른 일을 깜빡했다는 걸 깨닫는다.
  갑자기 머리가 시끄러워진다.
  생각이 떠오른다:
• “뒤처지고 있어.”
• “시간이 부족해.”
• “왜 집중이 안 될까?”
• “왜 이렇게 압도당하고 있지?”
  많은 사람들이 이런 버전을 경험했을 것이다.

이제 AI 비서를 열고 이렇게 써 본다고 상상해 보라:
“내일 시험이 있는데 너무 지쳐요.”
대부분의 시스템은 아마도 이런 식으로 답할 것이다:
“잠시 쉬고 긍정적인 마인드를 유지하세요.”
기술적으로 틀린 말은 아니다.
하지만 뭔가 부족하게 느껴졌다.
인간 대화는 우리가 타이핑하는 단어만으로 이루어지지 않는다.
인간 대화에는 보이지 않는 요소가 있다:

• 감정
• 맥락
• 불확실성
• 스트레스
• 좌절
• 두려움
• 압박감
  문장은 짧을 수 있지만, 그 뒤에 숨은 것은 훨씬 클 수 있다.

그래서 나는 NeuroSense AI라는 아이디어를 떠올렸다.
NeuroSense AI는 감정적 맥락과 스트레스 인사이트에 초점을 맞춘 프라이버시 중심 AI 비서 개념이다.
나는 ‘진단(diagnosis)’보다 ‘인사이트(insight)’라는 단어를 의도적으로 사용한다.
목적은 전문가를 대체하는 것이 아니다.
의료 시스템이 되는 것이 아니다.
목표는 훨씬 단순하다:
더 똑똑하게 듣는 시스템을 만든다.

나는 다음과 같은 상호작용을 상상해 보았다:
사용자: “3일째 제대로 못 자고 집중이 안 돼요.”
전통적인 해석: 하나의 문장.
가능한 맥락 해석:

• 스트레스 지표
• 피로 패턴
• 감정적 부담
• 반복되는 부정적 감정

그때 나는 스스로에게 물었다:
AI 시스템이 인간과 더 가까운 방식으로 대화를 이해할 수 있을까?
완벽한 이해가 아니라, 마법 같은 이해가 아니라, 더 나은 이해가 필요하다.

감정 대화를 다루는 시스템을 생각하자마자 또 다른 문제가 떠올랐다. 프라이버시다.
정신 건강 대화는 일반적인 프롬프트와 다르다.
사람들은 다음과 같은 이야기를 할 수 있다:

• 스트레스
• 감정적 고충
• 개인적인 생각
• 교육적 압박
• 사적인 경험
  이것은 흥미로운 질문을 낳는다:
  그 정보는 어디에 저장돼야 할까?
  오늘날 많은 AI 시스템에서 정보는 보통 다른 곳으로 이동한다.
  사용자 입력은 원격 인프라로 전송되고, 처리는 원격에서 이루어지며, 응답이 다시 돌아온다.
  그 과정은 작동한다.
  하지만 나는 생각했다:
  AI가 사용자에게 더 가까이 머물 수 있다면 어떨까?
  여기서 Gemma 4가 흥미로워졌다.
  개발 과정에서 계속 배우는 교훈 중 하나는:
  모델을 고르는 것은 가장 큰 옵션을 고르는 것이 아니다.
  좋은 모델 선택은 문제를 해결해야 한다.
  NeuroSense AI를 위해 나는 다음이 필요했다:
• 대화 맥락 이해
• 긴 상호작용 지원
• 미래 환경에 대한 유연성
• 강력한 추론 능력
• 보다 프라이빗한 경험을 위한 기회
  Gemma 4가 흥미로웠던 이유는 하나의 모델이라기보다 생태계처럼 느껴졌기 때문이다.
  “어떤 모델이 가장 강력한가?” 대신에
  “어떤 모델이 어떤 문제에 맞는가?” 라고 묻기 시작했다.
  작은 모델들이 즉시 눈에 띄었다.
  과거에는 작은 모델이 곧 능력의 희생을 의미했지만, 효율적인 모델은 새로운 기회를 만든다.
  상상해 보라:
• 전화기에 AI 학습 비서를 탑재한 학생
• 저자원 환경에서 동작하는 교육용 애플리케이션
• 사용자와 가까운 디바이스에서 실행되는 AI 시스템
  이는 접근성을 바꾼다.
  모든 개발자가 비싼 하드웨어를 갖고 있는 것은 아니고, 모든 학생이 강력한 시스템을 가지고 있는 것도 아니다.
  작은 모델은 장벽을 낮춘다.
  반면 대형 밀집 모델은 다음에 유용하다:
• 깊은 대화 흐름
• 연구 보조
• 문서 이해
• 고급 추론 작업
  이 아키텍처는 계산 방식을 다르게 접근한다는 점에서 매력적이다.
  모든 것을 항상 활성화하는 대신, 작업에 따라 특정 전문가가 활성화된다.
  이 아이디어 자체가 흥미로운데, 인간이 자주 하는 방식과 닮았기 때문이다.
  인간은 모든 스킬을 동시에 쓰지 않는다. 상황에 따라 다른 능력을 활용한다.
  처음에 나는 128K 컨텍스트 윈도우를 보고 많은 사람들이 하는 듯이 “인상적이다”라고 반응했다.
  그 뒤에 숫자를 보지 않고 가능성을 바라보기 시작했다.
  시스템이 더 많이 기억할 때 무엇이 가능해질까?
  상상해 보라:
• 한 학기 동안 학생을 돕는 비서
• 동시에 여러 논문을 읽는 연구 보조
• 대화 전반에 걸쳐 패턴을 인식하는 감정 지원 시스템
  맥락이 없을 때: AI는 답변만 제공한다.
  맥락이 있을 때: AI는 상황을 이해하기 시작한다.
  그 차이는 내가 처음 생각했던 것보다 훨씬 중요했다.
  가장 놀라운 교훈은 기술적인 것이 아니라 인간적인 것이었다.
  개발자는 흔히 속도, 아키텍처, 메모리, 벤치마크, 파라미터 등에 최적화한다.
  하지만 사용자는 다르게 생각한다.
  사용자는 보통 묻는다:
• “이게 나에게 도움이 될까?”
• “믿을 수 있을까?”
• “이게 나를 이해하고 있나?”
  모든 프롬프트 뒤에는 보통 한 사람이 있다.
  모든 메시지 뒤에는