Amazon Nova 2 多模态嵌入与 Amazon S3 Vectors 和 AWS Java SDK - 第1部分:介绍
请提供您希望翻译的正文内容,我将按照要求将其译成简体中文并保留原有的格式、代码块和链接。
介绍
在本系列中,我们将使用 Amazon Nova 2 多模态嵌入 来创建嵌入,并将其存储在 Amazon S3 Vectors 中。本文将:
- 介绍 Amazon Nova 2 多模态嵌入和 Amazon S3 Vectors。
- 演示如何创建并存储 文本 和 图像 嵌入(音频和视频将在后续章节中介绍)。
- 说明如何在 S3 Vectors 中对已存储的嵌入执行相似度搜索。
所有示例均使用 AWS Java SDK(虽然有许多 Python 示例,但 Java 正在机器学习/人工智能领域获得更多关注)。
本系列的代码已在 GitHub 仓库 amazon‑nova‑2‑multimodal‑embeddings 中提供——请为它点个 ⭐ 并关注我以获取更多示例。
Amazon Nova 多模态嵌入
Amazon Nova 多模态嵌入是一个 单模型,支持文本、文档、图像、视频和音频,实现 跨模态检索。它将每种内容类型映射到 统一的语义空间,从而让您能够执行:
- 单模态向量运算
- 跨模态向量运算
- 多模态向量运算
当内容通过 Nova 传入时,模型会将其转换为 向量——一组捕捉语义含义的数值。在该空间中,语义相似的内容会产生彼此接近的向量。
关键特性
- 统一支持 文本、图像、文档图像、视频和音频(最大 8 K token 或 30 秒视频/音频)。
- 同步 & 异步 API —— 可根据工作流选择合适的模式。
- 大文件分段(异步 API)—— 自动将长文本、视频或音频拆分为用户定义的段落,为每个段落生成一个嵌入。
- 视频‑音频联合处理—— 为两种模态生成单一嵌入或分别生成两个嵌入。
- 嵌入用途—— 为检索/RAG/搜索、分类或聚类等下游任务优化嵌入。
- 维度大小—— 通过四种选项 3072、1024、384、256 在准确率与存储成本之间进行权衡。
- 输入方式—— 可通过 S3 URI 提供内容,或以内联 Base64‑encoded 字符串形式提供。
Amazon S3 Vectors 简介
Amazon S3 Vectors 提供 专为向量构建、成本优化的存储,用于 AI 代理、推理、RAG 和语义搜索。它继承了 S3 的弹性、耐久性和可用性,同时提供:
- 亚秒级延迟,针对不频繁的查询
- ≈ 100 ms 延迟,针对频繁查询
您通过专用的 API 操作与 S3 Vectors 交互——无需预置基础设施。
核心组件
| 组件 | 描述 |
|---|---|
| 向量桶 | 一种专为存储和查询向量而设计的新桶类型。 |
| 向量索引 | 在桶内,索引组织您的向量并支持相似度查询。 |
| 向量 | 存储在索引中;每个向量是保留语义关系的嵌入(文本、图像、音频等)。可以附加元数据用于过滤(例如时间戳、类别、用户偏好)。 |
关键特性
-
专为向量构建的存储
- 首个针对向量数据优化的云对象存储。
- 弹性、耐久且具成本效益。
- 在写入、更新、删除向量时自动优化存储,确保在规模化时获得最佳性价比。
-
相似度查询
- 在 亚秒级(不频繁)或 ≈ 100 ms(频繁)响应时间内检索与查询向量最相似的向量。
- 可为向量附加 元数据(键值对)以过滤结果。
- 支持的元数据类型:字符串、数字、布尔值、列表。默认情况下,所有元数据均可过滤,除非显式标记为不可过滤。
后续步骤
- 使用 Amazon Nova Multimodal Embeddings(Java SDK)创建文本和图像嵌入。
- 将嵌入 存储 在 S3 Vectors 桶和索引中。
- 对已存储的向量 执行相似度搜索。
祝嵌入愉快!
Source: …
管理向量桶的访问
您可以使用 IAM 和 服务控制策略(Service Control Policies) 在 AWS Organizations 中管理向量桶中资源的访问。
S3 Vectors 使用的服务命名空间不同于 Amazon S3:s3vectors 命名空间。因此,您可以专门为 S3 Vectors 服务及其资源设计策略。
您可以设计策略来授予以下访问权限:
- 单个向量索引,
- 向量桶内的所有向量索引,或
- 账户中的所有向量桶。
与 AWS 服务的集成
Amazon OpenSearch Service
- 在继续使用 OpenSearch API 操作的同时,优化向量存储成本。
- 适用于需要高级搜索功能的工作负载,例如:
- 混合搜索,
- 聚合,
- 高级过滤,和
- 分面搜索。
- 您还可以将 S3 向量索引的快照导出到 Amazon OpenSearch Serverless,以实现高 QPS 和低延迟的向量搜索。
Amazon Bedrock Knowledge Bases
- 在 S3 Vectors 中选择向量索引作为向量存储,以降低检索增强生成(RAG)应用的存储成本。
Amazon Bedrock in SageMaker Unified Studio
- 使用 S3 Vectors 作为向量存储,开发和测试知识库。
Conclusion
在本系列的这一部分,我们介绍了系列的目标,并展示了 Amazon Nova 2 多模态嵌入 和 Amazon S3 向量。
在下一部分,我们将介绍创建和存储文本及图像嵌入。