Instagram 如何为数十亿用户扩展标签功能

Source: Dev.to

Introduction

你是否曾好奇，在点击 “分享” 按钮的那几毫秒内，发生了什么，直到你的朋友收到被标记的通知？表面上看，标记只是一个简单的功能。但在 Instagram 的规模下，它是一堂分布式系统设计的高级课程。

The Core Architecture: A Four‑Pillar Approach

1. The Source of Truth: Sharded PostgreSQL

• How it works: 数据并不是存放在一个巨大的表中，而是根据 User_ID 在数百个数据库之间进行分区。
• Benefit: 当你查看帖子时，系统能够准确知道要查询哪个分片，从而快速且一致地检索标签坐标和用户名。

2. The Speed Demon: Redis Caching

• Role of Redis: Instagram 并不是不断敲主数据库来更新“帖子计数”，而是使用 Redis——一种内存数据存储。
• Benefit: 它充当高速记分板，递增标签计数并存储“热门帖子”列表，使 Explore 页面瞬间加载。

3. The Search Engine: Elasticsearch

• Solution: Instagram 将标题数据导入 Elasticsearch。
• Benefit: 构建倒排索引（将词映射到 Post ID），实现模糊匹配和几乎即时的热门话题发现。

4. The Reliable Messenger: Apache Kafka

• Role of Kafka: 充当消息队列。主应用只需在 Kafka 中“投递一条信息”，随后继续执行。
• Benefit: 这种异步处理确保即使通知服务繁忙，你的照片上传也不会被拖慢。工作会在后台可靠地完成。

Key Takeaways for Developers

• Pick the right DB: 使用 SQL 以获得一致性，但在发现功能上使用 NoSQL 或搜索引擎（例如 Elasticsearch）。
• Shard early: 横向扩展是应对“Instagram 级别”流量的唯一途径。