我如何构建用于 AI 绘画游戏的笔画捕获系统

Source: Dev.to

为什么要捕获笔画？

大多数绘图应用只保存最终图像，但在 Paint Your Partner 中，我需要记录每一次笔刷笔画——位置、时间、压力、颜色以及顺序。实时评论绘图过程的 AI 会实时观看这些笔画，这样它就能在出现眼睛、用户在头发上犹豫，或他们把鼻子变成抽象涂鸦的那一刻作出反应。

笔画数据结构

每一次笔画都存储为一个对象，包含：

• 路径数据 – x/y 坐标数组
• 颜色
• 笔刷大小
• 时间戳 – 笔画开始的时间
• 持续时间 – 笔画所用的时间
• 顺序 – 笔画的序号

捕获所有这些信息后，我可以把任何绘画重新播放成视频，加速、减速，或导出为 GIF 或 MP4。

完整笔画数据的用途

• 可分享内容 – 在 10 秒内观看某人绘制他们的伴侣。
• AI 训练数据 – 如果我想微调模型，这些数据会很有用。
• 调试 – 精确看到用户画了什么以及何时画的。

实时 AI 评论

AI 在笔画到达时立即接收，而不必等绘图完成。当画布上出现特征（眼睛、头发、微笑）时，它会抛出简短、俏皮的评论，例如：

• “哇，这双眼睛好梦幻！”
• “有人真的把笑容捕捉到了！”

时间信息揭示了犹豫、信心或混乱，为 AI 的评论提供了更丰富的上下文。

引擎复用

Paint Your Partner 使用与 Artbitrator（我的多人绘画游戏，类似 Quick Draw 但有 AI 评判）相同的引擎。两者共享笔画捕获和回放系统，同时提供不同的游戏模式。一次构建核心引擎并在其上叠加多个产品，收获颇丰。

未来计划

• 摄像头捕获 – 将玩家的摄像头画面与笔画回放同步，并导出为单个视频，直接用于 TikTok。
• 额外游戏模式 – 笔画系统让新体验成为可能，尽管这些模式尚未开发。

试一试

paintyourdate.io – 绘制你的伴侣，让 AI 评论，并看看你在画鼻子方面到底有多糟糕。