Rememberly：帮助痴呆症患者重新连接珍贵时光

Source: Dev.to

概览

Rememberly 是一款基于 AI 的记忆伴侣，专为照顾患有痴呆症和记忆力减退的亲人而设计。它将零散的照片、视频、语音笔记和文字故事转化为交互式记忆库，提供两种不同的界面：

• 面向家庭和护理者 – 简单的仪表盘，用于在共享库中上传、标记和组织数字记忆。
• 面向患者 – 温和的对话式界面，让他们可以提问、浏览记忆，并收到 AI 生成的“电影式展示”，呈现其生活中的相关时刻。

两部分均由 Mistral（用于推理和内容生成）和 Vectara（用于安全的检索增强生成）提供动力。

工作原理

护理者工作流

1. 上传媒体（图片、视频、文字、语音笔记）。
2. 系统使用 Mistral 提取标签并生成描述。
3. 带标签的文档被写入 Vectara 中针对患者的专属知识库。
4. 媒体及元数据安全存储在 Convex 中。

患者工作流

1. 通过自然语言（文本或语音）进行交互。
2. AI 代理从患者的独立语料库中检索相关记忆。
3. 响应可以是纯文本，也可以是结合图片、音频和生成旁白的沉浸式电影展示。

技术架构

时序图

sequenceDiagram
    participant Caregiver
    participant Patient
    participant Convex
    participant Mistral
    participant Vectara
    participant Deepgram

    Note over Caregiver,Vectara: Media Upload Flow
    Caregiver->>Convex: Upload media (images/videos/text)
    Convex->>Mistral: Extract tags & generate description
    Mistral-->>Convex: Return tags & description
    Convex->>Vectara: Ingest document to patient corpus
    Convex->>Convex: Store media with tags

    Note over Patient,Deepgram: Retrieval & Interaction Flow
    Patient->>Convex: Query memory (text or voice)
    Convex->>Deepgram: Speech‑to‑text (if voice)
    Convex->>Vectara: Retrieve relevant documents
    Vectara-->>Convex: Return matched memories
    Convex->>Mistral: Generate response / cinematic show
    Mistral-->>Patient: Return answer (text or multimedia)

核心组件

所有患者数据均保持私密和隔离；每位患者在 Vectara 中拥有专属的知识库。

测试说明

选项 1 – 新患者入职

1. 创建一个新的患者账户。
2. 上传图片、视频或文字，构建个人记忆库。
3. 使用患者界面进行交互，测试完整工作流（上传 → 检索 → 电影式展示）。

选项 2 – 预配置测试账户

• 电子邮件: james5@gmail.com
• 密码: qahket-pumde6-Rosdub

使用这些凭证即可在无需新建账户的情况下体验护理者和患者两种体验。

实时项目

Live Project Link

源代码

View on GitHub