離散的な行動空間とは、AIや強化学習のエージェントが選択できる行動が、互いに独立した有限個の選択肢として定義される環境のことです。「右に曲がる」「左に進む」「ジャンプする」のように、あらかじめ決められた明確な選択肢の中から一つを選ぶ場面で用いられます。
離散的な行動空間とは
離散的な行動空間とは、エージェントが選べる行動の種類が数え上げられる有限個の選択肢に限定されている空間のことです。
詳しく解説
強化学習において、エージェントは環境から状態を受け取り、次の行動を決定して報酬を最大化するように学習します。行動空間が離散的である場合、出力層のノード数に対応する個別の選択肢が用意され、それぞれに確率や価値が割り振られます。例えば、囲碁やチェスのようなボードゲームでは「どのマスに駒を置くか」、アケイドゲームでは「どのボタンを押すか」などがこれに該当します。選択肢が有限であるため、数学的・計算機科学的に扱いやすいという特徴があります。
具体例・使われ方
具体的な利用例として、古典的なアーケードゲームをプレイする強化学習モデルが挙げられます。「上下左右への移動」や「攻撃ボタンの押下」といった限定された操作から一つを選びます。また、自動運転における「アクセル」「ブレーキ」「ハンドルを一定角度左に切る」といった離散的な制御コマンドの選択にも利用されます。
似た用語との違い
連続的な行動空間との違いは、行動の選択肢が飛び飛びの値であるか、無限の数値の範囲であるかという点にあります。連続的な行動空間では、例えばハンドルの舵角を0.1度単位で滑らかに制御するような、無数の実数値から行動を決定します。
注意点
複雑な現実世界の問題を扱う際、きめ細やかな制御を行いたい場合に離散的な行動空間を採用すると、選択肢の数が爆発的に増えて計算量が膨大になるという「次元の呪い」や、動きがカクついて滑らかにならないという制限が生じる点に注意が必要です。