Rememberly: 치매 환자들이 소중한 순간과 다시 연결하도록 돕습니다.

Source: Dev.to

개요

Rememberly는 치매 및 기억 상실을 겪는 사랑하는 사람을 돌보는 가족을 위해 설계된 AI 기반 기억 동반자입니다. 흩어져 있는 사진, 동영상, 음성 메모, 서면 이야기를 인터랙티브한 기억 라이브러리로 변환하며 두 가지 별도 인터페이스를 제공합니다:

• 가족 및 돌보미용 – 디지털 기억을 업로드하고, 태그를 지정하며, 공유 라이브러리에서 정리할 수 있는 간단한 대시보드.
• 환자용 – 부드럽고 대화형 인터페이스로, 질문을 하고, 기억을 탐색하며, 삶의 관련 순간을 보여주는 AI‑생성 “시네마틱 쇼”를 받을 수 있습니다.

두 부분 모두 Mistral(추론 및 콘텐츠 생성)과 Vectara(보안 검색‑보강 생성)로 구동됩니다.

작동 방식

돌보미 워크플로우

1. 미디어(이미지, 동영상, 텍스트, 음성 메모)를 업로드합니다.
2. 시스템이 Mistral을 사용해 태그를 추출하고 설명을 생성합니다.
3. 태그가 지정된 문서는 Vectara의 환자별 지식 상자에 삽입됩니다.
4. 미디어와 메타데이터는 Convex에 안전하게 저장됩니다.

환자 워크플로우

1. 자연어(텍스트 또는 음성)로 상호작용합니다.
2. AI 에이전트가 환자 전용 코퍼스에서 관련 기억을 검색합니다.
3. 응답은 일반 텍스트이거나 이미지, 오디오, 생성된 내레이션을 결합한 몰입형 시네마틱 프레젠테이션일 수 있습니다.

기술 아키텍처

시퀀스 다이어그램

sequenceDiagram
    participant Caregiver
    participant Patient
    participant Convex
    participant Mistral
    participant Vectara
    participant Deepgram

    Note over Caregiver,Vectara: Media Upload Flow
    Caregiver->>Convex: Upload media (images/videos/text)
    Convex->>Mistral: Extract tags & generate description
    Mistral-->>Convex: Return tags & description
    Convex->>Vectara: Ingest document to patient corpus
    Convex->>Convex: Store media with tags

    Note over Patient,Deepgram: Retrieval & Interaction Flow
    Patient->>Convex: Query memory (text or voice)
    Convex->>Deepgram: Speech‑to‑text (if voice)
    Convex->>Vectara: Retrieve relevant documents
    Vectara-->>Convex: Return matched memories
    Convex->>Mistral: Generate response / cinematic show
    Mistral-->>Patient: Return answer (text or multimedia)

핵심 구성 요소

모든 환자 데이터는 개인적으로 격리되어 보관되며, 각 환자는 Vectara에 전용 지식 상자를 가집니다.

테스트 안내

옵션 1 – 신규 환자 온보딩

1. 새로운 환자 계정을 생성합니다.
2. 개인 기억 라이브러리를 구축하기 위해 사진, 동영상 또는 텍스트를 업로드합니다.
3. 환자 인터페이스와 상호작용하여 전체 워크플로(업로드 → 검색 → 시네마틱 쇼)를 테스트합니다.

옵션 2 – 사전 구성된 테스트 계정

• 이메일: james5@gmail.com
• 비밀번호: qahket-pumde6-Rosdub

위 자격 증명을 사용해 새 계정을 만들지 않고도 돌보미와 환자 경험을 모두 탐색할 수 있습니다.

라이브 프로젝트

Live Project Link

소스 코드

View on GitHub