機械学習で株価分析にチャレンジPart6

RandomForestは、多数の決定木を「並列に」構築するアンサンブル学習手法です。各木は、訓練データのサブセット（ブートストラップサンプル）を用いて独立に成長します。木の分岐は、特徴量のランダムな部分集合から最適な分割点を選びながら進められ、最終的に全ての木の予測結果を平均または多数決で統合します。この方法は、モデルの安定性と過学習の抑制に寄与します。

LightGBMの学習構造

一方、LightGBMは、「逐次的」に決定木を構築する勾配ブースティング方式です。最初にざっくりとした予測モデルを作成し、その誤差（残差）を次の木が修正します。この過程では、一つ一つの木が前の誤差を改善するために順番に学習されます。つまり、各木は前段階で得られた誤差に基づいて次々と成長し、市場やデータ内の非線形・非対称なパターンを効果的に捉えることが可能です。

LightGBMの本質：「誤差を学習するモデル」

LightGBMは次のように学習します。

最初の木：ざっくり予測
残った誤差を見る
次の木：その誤差を修正
また誤差を見る
…これを何回も繰り返す

つまり、

「今、どこが一番ズレているか？」を常に意識するモデル

LightGBMは、現代の機械学習において非常に重要な役割を果たす勾配ブースティング決定木（GBDT）の一種です。その本質を理解することは、モデルの選択やチューニングにおいて大きな助けとなります。

1. 勾配ブースティングの基本的な仕組み

LightGBMは、複数の決定木を順次構築し、それぞれが前の木の誤差を修正することで予測精度を高める手法です。最初の木はざっくりとした予測を行い、その後、残った誤差に焦点を当てて次の木が学習します。この反復により、複雑な非線形関係も捉えることが可能となります。

2. LightGBMの特徴：誤差を学習するモデル

LightGBMは、「誤差を学習するモデル」として設計されています。具体的には、各ステップで現在の予測と実際の値との差（誤差）を計算し、その誤差を次の木で修正します。この方法により、市場の急激な変動やトレンド転換など、非線形かつ複雑なパターンも捉えやすくなっています。

3. 高速性と効率性

LightGBMは、「ヒストグラムベース」のアルゴリズムを採用しており、大量のデータでも高速に学習できます。また、「葉ごとに最適化された分割」や「多様なハイパーパラメータ設定」により、計算コストを抑えつつ高い性能を実現しています。これにより、数百から数千の特徴量やデータポイントにも対応可能です。

4. 特徴量重要度と解釈性

決定木ベースのモデルであるため、LightGBMはどの特徴量が予測に寄与しているかを比較的容易に解釈できます。これにより、株価分析や金融市場予測など、説明責任が求められる分野でも有効です。

5. 実践的な応用例

株価予測では、多くの特徴量（テクニカル指標や出来高情報など）を用いて市場の非線形変化を捉える必要があります。LightGBMは、その特性からこれら多様なデータセットに対しても安定した性能を発揮し、「勝てる予測モデル」として広く利用されています。

このように、LightGBMは「誤差修正型」の学習構造と高速・効率的な処理能力によって、多様な課題に対してバランス良く対応できる点が、その本質的な魅力です。株価分析だけでなく、多くの実務シーンでその威力を発揮しています。

なぜ「分位回帰」を使うのか？

ここが本章の核心です。

分位回帰

分位回帰とは、「平均」ではなく「分布の特定の位置（分位点）」を予測する回帰手法です。

通常の回帰分析が

「将来の値の平均はいくらか？」

を当てにいくのに対し、分位回帰は

「将来の値の中央値や下位○％点、上位○％点はいくらか？」

を直接予測します。

通常の回帰（平均回帰）

多くの回帰モデル（線形回帰・通常のGBDTなど）は、
二乗誤差（MSE）を最小化するように学習します。

これは数学的に言うと、

条件付き平均 E[y∣x]E[y∣x] を推定している

ということになります。

株価リターンには次の特徴があります。

外れ値（急騰・急落）が多い
分布が歪んでいる（右に長い・左に長い）
正規分布ではない

このとき「平均」を狙うと、

一度の暴落・暴騰に強く引っ張られる
予測が不安定になる
実用的でない値になりやすい

という問題が起きます。

分位の定義

話を分位回帰に戻します。
分位とは、データを小さい順に並べたときの位置です。

0.5分位（50%分位） → 中央値
0.25分位 → 下位25%点
0.75分位 → 上位25%点

図でイメージすると：

|----25%----|----25%----|----25%----|----25%----|
         ↑
       中央値（0.5分位）

分位回帰の目的

分位回帰では、次のような問いに答えます。

「特徴量 x が与えられたとき、
目的変数 y の τ分位点 はいくらか？」

ここで τ（タウ）は 0〜1 の値です。

τ = 0.5（中央値回帰）の意味

今回の作成するモデルでは中央値を使用する予定です。つまり、

「将来リターンの中央値を予測している」

中央値には次の強力な性質があります。

外れ値の影響を受けにくい
ノイズが多くても安定
実務的に「典型的な未来」を表す

特に株価予測では、

「だいたいこのくらいになりそう」

という中央値予測は、平均よりもはるかに信頼できます。

分位回帰の損失関数（ピンボール損失）

数式（一般形）

分位回帰では、次の損失関数を最小化します。

$$
L_\tau(y, \hat{y}) =
\begin{cases}
\tau \,(y – \hat{y}) & \text{if } y \ge \hat{y} \\
(1-\tau)\,(\hat{y} – y) & \text{if } y < \hat{y}
\end{cases}
$$

これは ピンボール損失（Pinball Loss） と呼ばれます。

τ = 0.5 の場合

τ = 0.5 を代入すると、

予測が低すぎても
高すぎても

同じ重みでペナルティがかかります。

つまり、

上下対称な「絶対誤差（MAE）」を最小化する

ことになります。

MAEと中央値の数学的関係

MAEと中央値については、非常に重要な関係性があります。

平均 → 二乗誤差（MSE）を最小化
中央値 → 絶対誤差（MAE）を最小化

つまり、

$$\arg\min_{\hat{y}} E[|y-\hat{y}|] = \text{median}(y)$$

学習目標と評価指標が理論的に完全一致

しています。

分位回帰は「予測区間」を作れる

分位回帰の大きな強みは、
不確実性を直接扱えることです。

たとえば：

τ = 0.1 → 悲観シナリオ
τ = 0.5 → 中央シナリオ
τ = 0.9 → 楽観シナリオ

これにより、

「5営業日後の終値は
90%の確率で [下限, 上限] に入る」

といった 予測レンジ を作れます。

株価予測では、これは平均予測よりも圧倒的に価値があります。

なぜ LightGBM × 分位回帰は相性が良いのか？

理由は3つあります。

① 非線形 × 分位

LightGBMは非線形関係を木で表現できます。
分位回帰は分布の形を無理に仮定しません。

→ 歪んだリターン分布に最適

② ノイズ耐性

勾配ブースティング：誤差を段階的に修正
分位回帰：外れ値を抑制

→ 金融時系列向けの組み合わせ

③ MAE評価との完全整合

LightGBM（quantile, τ=0.5）は、

「MAEを直接最小化する木モデル」

と考えることができます。

平均回帰 vs 分位回帰

観点	平均回帰	分位回帰
予測対象	平均	中央値・分位点
外れ値耐性	弱い	強い
株価との相性	△	◎
MAE最小化	×	○
予測区間	×	○

6.17 まとめ

LightGBMは誤差を逐次修正するモデル
分位回帰 τ=0.5 は中央値を狙う安全設計
MAE評価と理論的に一致
ハイパラは「攻めすぎない」が正解
RandomForestとのアンサンブルで完成度が上がる

機械学習で株価分析にチャレンジPart6

6なぜ株価予測にLightGBMが選ばれるのか