我用 Flask 构建了一个私有、本地优先的 AI 助手

Source: Dev.to

目标

我想要一个不会把日志保存到云端、并且使用我自己的硬件的 AI 助手。虽然目前速度相当慢，但我相信随着进一步的优化以及本地芯片的进步，边缘 AI 很快会成为下一个大趋势。

技术栈

• 框架： Flask
• 模型： TinyLlama 1.1B
• 安全性： 使用 python‑dotenv 管理环境变量
• 辅助工具： Claude 与 GitHub Copilot 用于生成重复代码和高级 Python 概念。

仓库

Web-Based-Edge-AI- on GitHub

Y Assistant

一个以隐私为中心、基于 TinyLlama 的本地 AI 聊天机器人。Y 是一个轻量级的网页 AI 助手，完全在你的机器上运行。它包含自定义架构演示、安全登录系统以及每会话的记忆功能，确保对话保持私密且具上下文。作者：S（化名）。

特性

• 数据不离开你的机器 – 在本地运行 TinyLlama 1.1B。
• 上下文记忆： 记住最近的 10 条消息，以实现自然的对话流。
• 安全访问： 通过可自定义的密码系统进行保护。
• 隐私优先： 不存储永久日志；会话数据可根据请求清除。
• 架构演示： 包含原始 GPT‑2 初始化脚本，用于展示 LLM 结构。

安装

# Clone the repository
git clone https://github.com/sounak1410/Web-Based-Edge-AI-.git

# Enter the directory
cd Web-Based-Edge-AI-

# Install Python dependencies
pip install -r requirements.txt

# Run the application
python Edge.py

运行助手

1. 打开浏览器并访问 http://127.0.0.1:5000。
2. 使用在环境变量中设置的密码登录。
3. 开始聊天——对话仅在当前会话的内存中保存。