Zsxkib 在 Replicate 上的 Memo 模型初学者指南
发布: (2026年1月5日 GMT+8 10:51)
3 min read
原文: Dev.to
Source: Dev.to
这是一篇关于由 Zsxkib 维护的 AI 模型 Memo（链接）的简化指南。如果你喜欢这类分析，欢迎加入 AImodels.fyi 或在 Twitter 上关注我们。
Model overview
memo 是一个开源权重模型，专为音频驱动的说话视频生成而设计。它通过保持身份一致性并生成与音频内容相匹配的自然面部表情，从静态图像和音频输入中创建逼真的说话视频。模型采用了两项核心技术创新：
- Memory‑guided temporal module – 跟踪更长上下文窗口中的信息，以确保帧间运动平滑、身份一致。
- Emotion‑aware audio module – 从音频中检测情绪，并相应地细化面部表情。
相较于其他相关方法，如处理多人对话的 multitalk 或专注于唇形同步的 video‑retalking，memo 特别强调表情‑情绪对齐以及肖像动画的长期一致性。
Model inputs and outputs
memo 接受参考图像和音频文件作为输入，并生成一段视频，使图像中的面部看起来自然地说出音频内容。模型提供灵活的参数来控制输出质量和特性，用户可以在生成速度与视觉保真度之间进行平衡。
Inputs
- image – 包含待动画化面部的参考图像（PNG/JPG）。
- audio – 包含语音或声音的输入音频文件（WAV/MP3）。
- resolution – 输出视频的正方形分辨率（默认
512，范围64‑2048）。 - fps – 生成视频的帧率（默认
30，范围1‑60）。 - num_generated_frames_per_clip – 每个块处理的帧数（默认
16，范围1‑128）。 - inference_steps – 生成过程中的扩散步数（默认
20，范围1‑200）。 - cfg_scale – 无分类器引导尺度，控制生成强度（默认
3.5，范围1‑20）。 - max_audio_seconds – 要处理的最大音频时长（秒，默认
8，范围1‑60）。 - seed – 用于可复现结果的随机种子（可选）。
Outputs
- video – 生成的视频文件，展示动画化的面部说出输入音频。
Capabilities
该模型能够生成说话视频，…