Flask로 개인 로컬‑퍼스트 AI 어시스턴트를 만들었다

Source: Dev.to

Goal

저는 로그를 클라우드에 저장하지 않고 제 하드웨어를 활용하는 AI 어시스턴트를 원했습니다. 현재는 다소 느리지만, 추가 최적화와 로컬 실리콘의 발전으로 엣지 AI가 곧 다음 큰 흐름이 될 것이라 믿습니다.

Technology

• Framework: Flask → 프레임워크: Flask
• Model: TinyLlama 1.1B → 모델: TinyLlama 1.1B
• Security: python‑dotenv for environment variables → 보안: 환경 변수용 python‑dotenv
• Assistance: Claude and GitHub Copilot were used for repetitive code and advanced Python concepts. → 지원: 반복 코드와 고급 파이썬 개념을 위해 Claude와 GitHub Copilot을 사용했습니다.

Repository

Web-Based-Edge-AI- on GitHub

Y Assistant

프라이버시 중심의 로컬 AI 챗봇으로 TinyLlama가 구동됩니다. Y는 완전히 사용자의 머신에서 실행되는 가벼운 웹 기반 AI 어시스턴트입니다. 커스텀 아키텍처 데모, 보안 로그인 시스템, 세션당 메모리를 포함하여 대화가 사적이고 맥락을 유지하도록 합니다. S(필명)가 만들었습니다.

Features

• No data leaves your machine – runs locally on TinyLlama 1.1B. → 데이터가 머신을 떠나지 않음 – TinyLlama 1.1B 로 로컬에서 실행됩니다.
• Contextual Memory: Remembers the last 10 messages for natural conversation flow. → 맥락 메모리: 자연스러운 대화 흐름을 위해 최근 10개의 메시지를 기억합니다.
• Secure Access: Protected by a customizable password system. → 보안 접근: 사용자 정의 가능한 비밀번호 시스템으로 보호됩니다.
• Privacy‑First: No permanent logs are stored; session data can be cleared on request. → 프라이버시 우선: 영구 로그가 저장되지 않으며, 세션 데이터는 요청 시 삭제할 수 있습니다.
• Architecture Demo: Includes a raw GPT‑2 initialization script to illustrate LLM structure. → 아키텍처 데모: LLM 구조를 보여주기 위해 순수 GPT‑2 초기화 스크립트를 포함합니다.

Installation

# Clone the repository
git clone https://github.com/sounak1410/Web-Based-Edge-AI-.git

# Enter the directory
cd Web-Based-Edge-AI-

# Install Python dependencies
pip install -r requirements.txt

# Run the application
python Edge.py

Running the Assistant

1. Open your browser and navigate to http://127.0.0.1:5000. → 브라우저를 열고 http://127.0.0.1:5000 로 이동합니다.
2. Log in using the password you set in the environment variables. → 환경 변수에 설정한 비밀번호로 로그인합니다.
3. Start chatting—conversations are kept in‑memory only for the current session. → 채팅을 시작합니다—대화는 현재 세션의 메모리 내에만 보관됩니다.