Chapter0: 強化学習の基礎

この記事は、Recent Advances in Reinforcement Learning in Finance 解説シリーズを読む前に、強化学習の基礎事項をまとめて掴むための導入章です。

既存の その1 と その2 では MDP や Bellman 方程式をより数式寄りに扱っています。
この Chapter0 では、そこへ入る前に

強化学習は何をしているのか
どの数式が中心なのか
金融に持ち込むと何が難しくなるのか

を初学者向けに整理します。

0. まず一言でいうと、強化学習は何か

強化学習（Reinforcement Learning, RL）は、
環境と相互作用しながら、長期的な報酬が大きくなるような行動ルールを学ぶ方法
です。

典型的には

エージェントが行動を選ぶ
環境が次の状態を返す
その行動に対する報酬が与えられる

という流れを繰り返します。

教師あり学習との違いは、各時点で「正解ラベル」が与えられるわけではないことです。
また、今の行動が数ステップ先の結果に影響するため、目先の1回の当たり外れではなく累積結果で評価する必要があります。

1. 教師あり学習・教師なし学習との違い

ざっくり整理すると次のようになります。

学習の種類	何が与えられるか	目的
教師あり学習	入力と正解ラベル	正しい予測を学ぶ
教師なし学習	入力のみ	構造や分布を見つける
強化学習	状態、行動結果、報酬	長期報酬を最大化する

強化学習の難しさは主に 2 つあります。

どの行動がよかったかが、すぐには分からない
行動が将来の状態分布そのものを変えてしまう

これを金融で考えると分かりやすいです。
たとえば売買アルゴリズムは、

今この瞬間の利益
将来の在庫
将来のリスク
取引コスト

を同時に変えてしまいます。
つまり「今だけ正しい」行動ではなく、後の展開まで含めてよい行動を学ばなければいけません。

2. RL の最小セットアップ: agent, environment, reward

RL の最小構成は次です。

状態 $s_t$ : 現在どんな状況にあるか
行動 $a_t$ : その状況で何をするか
報酬 $R_{t+1}$ : その結果として何点もらえるか
遷移: 行動後に次状態 $s_{t+1}$ がどう決まるか

時間 $t$ で

s_t \to a_t \to (R_{t+1}, s_{t+1})

という流れになります。

金融での例は次のように書けます。

問題	状態	行動	報酬
最適執行	在庫、価格、板、残り時間	売買数量、注文方式	コストの負値
ポートフォリオ	保有比率、価格特徴量、ボラ	リバランス比率	リターンとリスク調整後利得
ヘッジ	原資産価格、Greeks、在庫	ヘッジ量	ヘッジ誤差と取引コストを含む効用

ここで重要なのは、RL はアルゴリズム名ではなく、まず 問題の書き方 だということです。

3. MDP の最小整理

RL の標準的な定式化は Markov Decision Process（MDP）です。

要素は

状態空間: $S$
行動空間: $A$
遷移確率: $P(s' \mid s, a)$
報酬: $R_{t+1}$ または期待報酬 $r(s,a)$
割引率: $\gamma \in [0,1)$

です。

Markov 性とは、「次状態の分布が現在の状態と行動だけで決まる」という仮定です。

\mathbb{P}(s_{t+1} \mid s_t, a_t, s_{t-1}, a_{t-1}, \dots) = \mathbb{P}(s_{t+1} \mid s_t, a_t)

これは「世界に記憶がない」という意味ではありません。
必要な記憶を状態 $s_t$ の中に全部入れておけ、という意味です。

3.1 episode と horizon

RL では、開始から終了までの 1 本の軌道を episode と呼びます。

有限ホライズン: 満期 $T$ がある
無限ホライズン: 理論上は永続すると考える

金融では

最適執行やヘッジは有限ホライズン
長期運用や market making の近似では無限ホライズン

が自然です。

4. Return と discount

RL が最大化したいのは、通常はその場の即時報酬ではなく
累積報酬です。

Return を

G_t \coloneqq \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}

と定義します。

ここで $\gamma$ は割引率です。

$\gamma$ が小さい: 目先の報酬を重視
$\gamma$ が大きい: 将来の報酬も重視

です。

金融で $\gamma$ をどう見るかは文脈依存ですが、一般には

満期が短い執行問題では horizon が主要制約
長期運用では将来の資産成長を重視するので $\gamma$ は大きめ

と読むことが多いです。

5. 価値関数と行動価値関数

RL の中心概念は value です。

方策 $\pi$ を固定したとき、状態価値関数は

V^{\pi}(s) = \mathbb{E}_{\pi}[G_t \mid s_t = s]

で、行動価値関数は

Q^{\pi}(s,a) = \mathbb{E}_{\pi}[G_t \mid s_t = s, a_t = a]

です。

直感的には

$V^\pi(s)$ : その状態にいること自体の価値
$Q^\pi(s,a)$ : その状態でその行動を選ぶ価値

です。

また最適価値は

V^*(s) = \sup_{\pi} V^\pi(s), \qquad Q^*(s,a) = \sup_{\pi} Q^\pi(s,a)

と書きます。

実務では「どの行動がよいか」を決めたいので、 $Q$ 関数が主役になることが多いです。

6. Bellman 方程式の直感

Bellman 方程式は、
今日の価値 = 今日の報酬 + 明日の価値
という再帰関係です。

方策 $\pi$ に対しては

V^\pi(s) = \mathbb{E}_{\pi}\!\left[ R_{t+1} + \gamma V^\pi(s_{t+1}) \mid s_t = s \right]

が成り立ちます。

最適価値では

V^*(s) = \max_{a \in A} \mathbb{E}\!\left[ R_{t+1} + \gamma V^*(s_{t+1}) \mid s_t = s, a_t = a \right]

となります。

さらに $Q^*$ で書くと

Q^*(s,a) = \mathbb{E}\!\left[ R_{t+1} + \gamma \max_{a'} Q^*(s_{t+1}, a') \mid s_t = s, a_t = a \right]

です。

この式が重要なのは、最適化問題を「1 ステップ先の再帰」に落としているからです。
Q-learning も DQN も Actor-Critic も、根っこではこの再帰構造を使っています。

7. Bellman 方程式から学習へ: TD 誤差

Bellman 方程式がぴったり成立していれば理想ですが、実際には価値関数を知らないのでサンプルから近似します。

そのときの基本量が TD 誤差です。

状態価値関数に対しては

\delta_t = R_{t+1} + \gamma V(s_{t+1}) - V(s_t)

と書けます。

この $\delta_t$ は、

予想していた価値
実際に 1 ステップ進んでみた結果

のズレです。

ズレが正なら「思ったよりよかった」、負なら「思ったより悪かった」と解釈できます。

8. Q-learning の最小式

value-based RL の基本は Q-learning です。

更新式は

Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ R_{t+1} + \gamma \max_{a'} Q(s_{t+1}, a') - Q(s_t, a_t) \right]

です。

中括弧の中は Bellman 最適方程式の 1 サンプル版と見なせます。
つまり Q-learning は、
Q 関数を Bellman 最適不動点へ近づける反復法
と理解できます。

ただし金融では、状態空間が大きく連続値も多いため、表形式 Q-learning をそのまま使えることは少なく、実際には関数近似や deep RL が必要になります。

9. 方策を直接学ぶ: policy-based methods

value-based 法は「価値を学んで、その価値が高い行動を選ぶ」方法でした。
一方で policy-based 法は、方策そのもの

\pi_\theta(a \mid s)

をパラメータ $\theta$ で直接学びます。

目的関数を

J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\sum_{t=0}^{\infty} \gamma^t R_{t+1}\right]

とすると、方策勾配法では

\nabla_\theta J(\theta) \approx \mathbb{E}_{\pi_\theta} \left[ \sum_t \nabla_\theta \log \pi_\theta(a_t \mid s_t)\, G_t \right]

の形を使って更新します。

直感的には、

うまくいった軌道で選ばれた行動の確率を上げる
うまくいかなかった軌道で選ばれた行動の確率を下げる

という発想です。

policy-based 法は、連続行動空間を扱いやすいのが強みです。
たとえば「売買量を連続値で出す」「リバランス比率を連続値で出す」といった金融タスクでは自然です。

10. Actor-Critic の考え方

Actor-Critic は、value-based と policy-based の中間です。

Actor: 方策 $\pi_\theta(a \mid s)$ を更新する
Critic: 価値関数 $V_w(s)$ や $Q_w(s,a)$ を推定する

という 2 役に分けます。

Actor は Critic が出す信号を使って更新されます。
代表的には advantage

A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s)

や、その 1 ステップ近似としての TD 誤差 $\delta_t$ を使います。

この構成は

方策を直接学べる
価値推定で分散を下げられる

という利点があり、現在の deep RL では非常に中心的です。

11. 探索と活用

RL では、今よさそうな行動を使い続けるだけでは不十分です。

活用（exploitation）: 今知っている中で最善の行動を選ぶ
探索（exploration）: まだ十分に試していない行動も試す

の両方が必要です。

もし探索しなければ、たまたま最初に少しよかった行動に固定され、
本当はもっとよい行動を見逃します。

離散行動では

$\varepsilon$ -greedy
softmax policy

などが基本です。
連続行動や policy gradient 系では、方策自体に確率性を持たせて探索します。

金融では探索は特に難しいです。
現実市場で「試しに変な行動を打つ」ことはコストが高く危険だからです。
そのためシミュレータ、履歴データ、オフライン RL などが重要になります。

12. on-policy / off-policy

この区別は初学者が最初につまずきやすいポイントです。

on-policy: 学習したい方策と、データを集める方策が同じ
off-policy: 学習したい方策と、データを集める方策が違う

たとえば

SARSA は on-policy 的
Q-learning は off-policy 的

と整理されることが多いです。

Q-learning の更新式で

\max_{a'} Q(s_{t+1}, a')

が入るのは、「実際に次に何をしたか」ではなく「最適なら何をすべきか」で更新したいからです。

off-policy は再利用可能な既存データを使いやすい一方で、分布ずれによる不安定さが出やすくなります。

13. online / offline

これも金融では特に重要です。

online RL: エージェントが環境と相互作用しながら逐次学習する
offline RL: 既存の履歴データセットだけから学習する

ゲームやロボティクスでは online で試行錯誤しやすいことがあります。
しかし金融では、実市場で失敗しながら学ぶのは高コストです。

そのため実務では

シミュレーションで online 風に学習する
実データで offline 学習や policy evaluation を行う

という形が多くなります。

ただし offline RL には

観測されていない行動の評価が難しい
分布外行動を過大評価しやすい

という固有の難しさがあります。

14. value-based / policy-based / actor-critic の地図

ここまでを 1 枚でまとめると次です。

系統	何を直接学ぶか	代表例	向いている場面
value-based	$V, Q$	Q-learning, DQN	離散行動、行動数が少ない問題
policy-based	$\pi_\theta$	REINFORCE, PPO の基礎発想	連続行動、確率方策を使いたい問題
actor-critic	方策と価値の両方	A2C, A3C, DDPG, SAC など	大規模・連続制御・実務寄りの問題

後続の章では、この地図の上で

その3, その4: value-based 側
その5: policy-based 側
その7, その8: deep RL 側

を順に追う形になります。

15. 金融で RL が難しくなる理由

金融で RL を使うときは、理論の教科書どおりにいかない点が多いです。

15.1 非定常性

市場は定常ではありません。

ボラティリティ regime が変わる
流動性が変わる
参加者の行動が変わる

ため、昨日うまくいった方策が明日もよいとは限りません。

15.2 報酬設計

報酬を単純な PnL にすると、

過大なレバレッジ
極端な在庫
tail risk の無視

につながることがあります。

そのため実務では

\text{reward} = \text{PnL} - \lambda_1 \cdot \text{risk} - \lambda_2 \cdot \text{transaction cost} - \lambda_3 \cdot \text{inventory penalty}

のような形で制約を入れることが多いです。

15.3 実行制約

理論上の行動は自由でも、実市場では

発注上限
最小ティック
約定不確実性
スリッページ
在庫制約

があります。

この制約を無視すると、バックテストだけ強い方策が生まれがちです。

15.4 反実仮想評価の難しさ

履歴データには「実際に起きた行動の結果」しかありません。
別の行動を取っていたらどうなったかは直接観測できません。

そのため金融 RL では、

シミュレータの妥当性
off-policy evaluation
walk-forward 的な検証

が特に重要になります。

16. このシリーズの読み方

Chapter0 を読んだあと、次の順で入ると流れが追いやすいです。

特にこの Chapter0 で押さえておくべき最小項目は次です。

MDP
Return
$V^\pi, Q^\pi$
Bellman 方程式
TD 誤差
Q-learning
policy gradient
on-policy / off-policy
online / offline

ここが見えていれば、後続章の式がかなり読みやすくなります。

まとめ

強化学習は、環境との相互作用を通じて長期報酬を最大化する方法です。
理論の中心には

MDP
Return
価値関数
Bellman 方程式

があり、そこから

value-based
policy-based
actor-critic

へ分かれていきます。

金融で重要なのは、RL を単なるアルゴリズムとして見るよりも、
状態・行動・報酬・制約をどう定義するか
という問題設定として捉えることです。

後続章では、これらの基礎を前提にして、論文 Recent Advances in Reinforcement Learning in Finance の数式とアルゴリズムを順に追っていきます。

参考

Richard S. Sutton, Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed.
Csaba Szepesvári, Algorithms for Reinforcement Learning.
Ben Hambly, Renyuan Xu, Huining Yang, Recent Advances in Reinforcement Learning in Finance, 2023.