AI-Radar.it

Source: Dev.to

개요

안녕하세요, 커뮤니티에 합류하게 되어 기쁩니다.

AI에 열정을 가지고 대형 언어 모델(LLM)의 작동 방식을 공부하고, 여러 책을 읽으며, Google Colab, Hugging Face, Kaggle을 실험해 왔습니다. VS Code와 Google Antigravity를 사용해 여러 AI 관련 애플리케이션을 만들었습니다. 이번 포스트에서는 제가 만든 작은 프로젝트 ai‑radar.it를 소개합니다. 이 뉴스 집계기는 전적으로 VS Code와 Antigravity만으로 구축되었습니다.

주요 기능

• Python 중심 콘텐츠 – 대부분의 기사가 Python과 관련되어 있으며 Hugging Face 라이브러리를 광범위하게 사용합니다.
• 로컬 LLM 지원 – 특정 작업에 대해 로컬에 호스팅된 Ollama 3B 모델을 실행합니다.
• GenAI 통합 – 기타 AI 관련 작업은 생성형 AI 서비스로 처리합니다.
• Chromadb 기반 RAG – Ask Observatory라는 내부 챗봇을 통해 컨텍스트 기반 답변을 제공합니다.
• LLM 계산기 – 현재는 RAM만 고려하여, 사용자의 하드웨어가 온프레미스 LLM 실행에 적합한지 평가하고 알맞은 모델을 제안합니다.

기술 세부 사항

• 개발 환경: VS Code + Google Antigravity.
• 모델 서빙: 로컬에서 실행되는 Ollama 3B 모델.
• 벡터 스토어: Retrieval‑Augmented Generation(RAG)을 위한 Chromadb.
• 챗봇: Ask Observatory라는 이름으로, 로컬 모델과 벡터 스토어를 활용해 질의에 답변합니다.
• 하드웨어 체크: 사용 가능한 RAM을 기반으로 온프레미스 LLM 배포 가능성을 판단하는 간단한 계산기.

스크린샷

시작하기

프로젝트에 관심이 있다면 자유롭게 탐색해 보세요.
— Davide