使用强化学习 GitHub 包

Source: Dev.to

引言

在机器学习中，强化学习（RL）是一种范式，问题的表述与算法本身同等重要。与监督学习或无监督学习不同，强化学习不依赖标记数据集。它通过交互、反馈和经验进行学习。

机器学习算法的类别

强化学习：现实生活类比

典型的强化学习流程

分而治之：拆解强化学习

一个玩具示例：网格导航

为什么马尔可夫决策过程很重要

在 R 中实现强化学习

library(MDPtoolbox)

步骤 2：定义动作空间

up <- matrix(c(
  # matrix values go here
))
# Similar matrices are defined for down, left, and right.

步骤 3：定义奖励和惩罚

每一步的代价为 ‑1。

步骤 4：使用策略迭代求解

输出包括每个状态的最优策略和价值函数。

步骤 5：解释策略

得到的策略揭示了每个状态的最优动作——从而确认代理是否学会了正确的路径。

使用 ReinforcementLearning GitHub 包

library(devtools)

该包提供以下功能：

• 从经验中学习

  solver_rl <- ReinforcementLearning(
    # parameters defining states, actions, and rewards
  )

• 适应变化的环境

关键要点

• 强化学习依赖交互而非标记数据。
• 马尔可夫决策过程（MDP）为许多强化学习问题提供了正式框架。
• 如 MDPtoolbox 和 ReinforcementLearning 等 R 包能够快速原型化强化学习算法。

结论

强化学习为需要代理通过试错学习最优行为的问题提供了强大的方法。通过利用现有的 R 包，你可以高效地实现和实验强化学习模型。