Amazon Nova 2 多模态嵌入与 Amazon S3 Vectors 和 AWS Java SDK - 第1部分:介绍

发布: (2026年1月13日 GMT+8 00:53)
7 分钟阅读
原文: Dev.to

请提供您希望翻译的正文内容,我将按照要求将其译成简体中文并保留原有的格式、代码块和链接。

介绍

在本系列中,我们将使用 Amazon Nova 2 多模态嵌入 来创建嵌入,并将其存储在 Amazon S3 Vectors 中。本文将:

  1. 介绍 Amazon Nova 2 多模态嵌入和 Amazon S3 Vectors。
  2. 演示如何创建并存储 文本图像 嵌入(音频和视频将在后续章节中介绍)。
  3. 说明如何在 S3 Vectors 中对已存储的嵌入执行相似度搜索。

所有示例均使用 AWS Java SDK(虽然有许多 Python 示例,但 Java 正在机器学习/人工智能领域获得更多关注)。
本系列的代码已在 GitHub 仓库 amazon‑nova‑2‑multimodal‑embeddings 中提供——请为它点个 ⭐ 并关注我以获取更多示例。

Amazon Nova 多模态嵌入

Amazon Nova 多模态嵌入是一个 单模型,支持文本、文档、图像、视频和音频,实现 跨模态检索。它将每种内容类型映射到 统一的语义空间,从而让您能够执行:

  • 单模态向量运算
  • 跨模态向量运算
  • 多模态向量运算

当内容通过 Nova 传入时,模型会将其转换为 向量——一组捕捉语义含义的数值。在该空间中,语义相似的内容会产生彼此接近的向量。

关键特性

  • 统一支持 文本、图像、文档图像、视频和音频(最大 8 K token 或 30 秒视频/音频)。
  • 同步 & 异步 API —— 可根据工作流选择合适的模式。
  • 大文件分段(异步 API)—— 自动将长文本、视频或音频拆分为用户定义的段落,为每个段落生成一个嵌入。
  • 视频‑音频联合处理—— 为两种模态生成单一嵌入或分别生成两个嵌入。
  • 嵌入用途—— 为检索/RAG/搜索、分类或聚类等下游任务优化嵌入。
  • 维度大小—— 通过四种选项 30721024384256 在准确率与存储成本之间进行权衡。
  • 输入方式—— 可通过 S3 URI 提供内容,或以内联 Base64‑encoded 字符串形式提供。

Amazon S3 Vectors 简介

Amazon S3 Vectors 提供 专为向量构建、成本优化的存储,用于 AI 代理、推理、RAG 和语义搜索。它继承了 S3 的弹性、耐久性和可用性,同时提供:

  • 亚秒级延迟,针对不频繁的查询
  • ≈ 100 ms 延迟,针对频繁查询

您通过专用的 API 操作与 S3 Vectors 交互——无需预置基础设施。

核心组件

组件描述
向量桶一种专为存储和查询向量而设计的新桶类型。
向量索引在桶内,索引组织您的向量并支持相似度查询。
向量存储在索引中;每个向量是保留语义关系的嵌入(文本、图像、音频等)。可以附加元数据用于过滤(例如时间戳、类别、用户偏好)。

关键特性

  1. 专为向量构建的存储

    • 首个针对向量数据优化的云对象存储。
    • 弹性、耐久且具成本效益。
    • 在写入、更新、删除向量时自动优化存储,确保在规模化时获得最佳性价比。
  2. 相似度查询

    • 亚秒级(不频繁)或 ≈ 100 ms(频繁)响应时间内检索与查询向量最相似的向量。
    • 可为向量附加 元数据(键值对)以过滤结果。
    • 支持的元数据类型:字符串、数字、布尔值、列表。默认情况下,所有元数据均可过滤,除非显式标记为不可过滤。

后续步骤

  • 使用 Amazon Nova Multimodal Embeddings(Java SDK)创建文本和图像嵌入
  • 将嵌入 存储 在 S3 Vectors 桶和索引中。
  • 对已存储的向量 执行相似度搜索

祝嵌入愉快!

Source:

管理向量桶的访问

您可以使用 IAM服务控制策略(Service Control Policies) 在 AWS Organizations 中管理向量桶中资源的访问。
S3 Vectors 使用的服务命名空间不同于 Amazon S3:s3vectors 命名空间。因此,您可以专门为 S3 Vectors 服务及其资源设计策略。

您可以设计策略来授予以下访问权限:

  • 单个向量索引,
  • 向量桶内的所有向量索引,或
  • 账户中的所有向量桶。

与 AWS 服务的集成

Amazon OpenSearch Service

  • 在继续使用 OpenSearch API 操作的同时,优化向量存储成本。
  • 适用于需要高级搜索功能的工作负载,例如:
    • 混合搜索,
    • 聚合,
    • 高级过滤,和
    • 分面搜索。
  • 您还可以将 S3 向量索引的快照导出到 Amazon OpenSearch Serverless,以实现高 QPS 和低延迟的向量搜索。

Amazon Bedrock Knowledge Bases

  • 在 S3 Vectors 中选择向量索引作为向量存储,以降低检索增强生成(RAG)应用的存储成本。

Amazon Bedrock in SageMaker Unified Studio

  • 使用 S3 Vectors 作为向量存储,开发和测试知识库。

Conclusion

在本系列的这一部分,我们介绍了系列的目标,并展示了 Amazon Nova 2 多模态嵌入Amazon S3 向量
在下一部分,我们将介绍创建和存储文本及图像嵌入。

Back to Blog

相关文章

阅读更多 »

你好,我是新人。

嗨!我又回到 STEM 的领域了。我也喜欢学习能源系统、科学、技术、工程和数学。其中一个项目是…