机器学习中的向量空间是什么?(含数学与直觉)

发布: (2026年1月8日 GMT+8 09:19)
8 min read
原文: Dev.to

抱歉,我需要您提供要翻译的完整文本(即文章的正文内容)。请把您想要翻译的文字粘贴在这里,我会按照要求保留源链接并保持原有的 Markdown 格式进行简体中文翻译。

机器学习与向量空间

在机器学习中,数据通常表示在 vector spaces 中,以便可以进行诸如 addition(组合)和 scalar multiplication(缩放)等数学运算。

Source:

1. 什么是域?

是一个集合,配备了两种运算——加法 ((+)) 和乘法 ((\cdot)),并满足以下条件:

属性描述
闭合性对集合中的元素进行运算后,得到的结果仍然属于该集合。
公理交换律、结合律、分配律、加法和乘法单位元的存在,以及加法逆元(对所有元素)和乘法逆元(对所有非零元素)的存在。
除法对任何非零元素都可以进行除法(即每个非零元素都有乘法逆元)。

直觉: 域就像一个厨房,里面有你“烹饪”数字所需的所有基本工具——只是你不能除以零。

常见的域例子:

  • 实数 (\mathbb{R})
  • 有理数 (\mathbb{Q})
  • 复数 (\mathbb{C})

整数集合 (\mathbb{Z}) 不是 域,因为除法运算后可能不再属于该集合(例如,(2 \div 3) 不是整数)。(\mathbb{Z}) 构成一个 ,它保证加法、减法和乘法的闭合性,但不保证除法。

形式上,域 (F) 满足

[ (F,+) \text{ 是阿贝尔群},\qquad (F\setminus{0},\cdot) \text{ 是阿贝尔群}, ] [ \forall a,b,c\in F,; a\cdot(b+c)=a\cdot b + a\cdot c. ]

2. 什么是空间?

A space 是一个集合,并配有特定的 structure——即一套规则,规定了对元素允许进行哪些操作以及这些操作必须满足哪些属性。不同的结构产生不同类型的空间。

3. 向量空间

向量空间是一种在域(通常为 (\mathbb{R}) 或 (\mathbb{C}))上构建的结构。它由一个集合 (V) 以及两个运算组成:

  1. 向量加法 (+: V \times V \to V)
  2. 数乘 (\cdot : F \times V \to V)

这两个运算必须在 (V) 中闭合,并满足常见的向量空间公理(加法的结合律、交换律,分配律,零向量的存在等)。

形式上,对所有 (u,v,w \in V) 和 (\alpha,\beta \in F):

[ \begin{aligned} &u+v \in V,\qquad \alpha v \in V,\ &u+0 = u,\qquad \alpha(u+v)=\alpha u+\alpha v,\ &(\alpha+\beta)v = \alpha v + \beta v,\qquad (\alpha\beta)v = \alpha(\beta v),\ &1_F v = v. \end{aligned} ]

类比: 可以把向量空间想象成厨房里的调味架。调味架(空间)存放调味料(向量),而规则(结构)告诉你如何混合调味料(向量加法)以及如何把配方放大或缩小(数乘)。

什么是向量?

向量就是向量空间中的一个元素。在许多常见情形(例如 (\mathbb{R}^n))中,向量可以表示为域元素的有序列表:

[ v = (v_1, v_2, \dots, v_n) \in \mathbb{R}^n. ]

向量的不同解释:

  • 物理学: 方向和大小。
  • 数学: 坐标。
  • 机器学习: 数据点或特征表示。

类比: 向量是一道配方,由调味架上的原料(向量)按照厨房的混合规则组合而成。

4. 当某些东西 不是 向量空间

并非所有对象的集合都可以构成向量空间。下面列出了一些常见的 不满足 向量空间公理(尤其是加法和数乘闭合性)的例子。

示例失败原因
分类值(例如,“红色”,“蓝色”,“绿色”)对分类进行加法或标量乘法没有意义的解释;在使用之前必须进行编码(例如,独热编码)。
概率分布 ([0.2, 0.5, 0.3])将两个概率向量相加可能不再和为 1,且用负标量缩放会得到负的“概率”。
集合(例如 ({ \text{black}, \text{white}, \text{blue} }))集合的运算如并集或交集并不等同于向量加法或标量乘法。

5. 我们迄今为止所覆盖的内容

  • 提供算术基础(加法、减法、乘法、除法)。
  • 空间给出一个集合以及一种结构,告诉我们哪些运算是被允许的。
  • 向量空间是一种特定的空间,我们可以对向量进行加法并用域元素标量乘,并且拥有一个特殊的零向量
  • 向量是存在于向量空间中的各个元素(配方)。

在此阶段,我们仅介绍了加法标量乘法。诸如向量长度距离角度等概念需要额外的结构(例如范数、内积),将在后面讨论。

6. 总结(厨房隐喻)

概念厨房类比
Field厨房的基本工具(刀、勺等),它们让你可以加、减、乘、除(除以零除外)。
Space厨房的组织和规则(你可以用这些工具做什么)。
Vector Space一个特定的厨房布局,你可以 混合 食材(向量加法)并 缩放 食谱(标量乘法),且始终在厨房内部。
Vector使用该厨房的食材和规则制作的具体 配方
Machine‑Learning Data必须 处理(编码、归一化等)的原始食材,使其能够存在于一个定义明确的厨房——向量空间——中,学习算法才能发挥作用。

下一步是为向量空间添加额外的结构(范数、内积),这样我们就可以讨论长度、距离和角度——这些是许多机器学习算法的关键概念。

将在后续文章中介绍。

感谢阅读。向量空间是机器学习的基础,直观理解对掌握它们大有帮助。

Back to Blog

相关文章

阅读更多 »

机器学习 - 完整课程

机器学习 — 博客系列目录 第0部分:ML 之前的思维方式与宏观视角 - 什么是机器学习?去除流行词汇 - ML 与 AI 与 DL 与 Statistics - …

从第一性原理重新思考 AI

!不错的尝试,聪明的家伙 https://media2.dev.to/dynamic/image/width=50,height=50,fit=cover,gravity=auto,format=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads...