行動とは、強化学習においてエージェントが環境に対して行う働きかけや意思決定の要素です。エージェントは現在の状態を観察し、将来の報酬を最大化するように行動を選択します。行動の選択基準は方策と呼ばれ、ゲームの操作や自動運転の制御など、AIが現実世界やシミュレータ内で実行するあらゆる具体的な操作がこれに該当します。
行動とは
詳しく解説
強化学習の基本フレームワークにおいて、エージェントは現在の状態を観察し、将来的に得られる報酬を最大化するために特定の意思決定を行います。この意思決定に基づいて実行される具体的なアプローチが行動です。行動の選択基準となるルールは方策と呼ばれ、学習が進むにつれて最適な方策がアップデートされます。行動の選択肢は、前後左右の移動などのように数えられる「離散的な行動」と、ロボットアームの角度調節のように連続的な値をとる「連続的な行動」に分類されます。
具体例・使われ方
例えば、自動運転AI（エージェント）が道路状況（環境）において実行する「アクセルを踏む」「右にハンドルを切る」といった動作が行動に該当します。また、囲碁や将棋などのゲームAIが盤面（状態）に対して「特定のマスに駒を置く」という操作も行動の具体例です。
似た用語との違い
行動と混同されやすい概念に状態があります。状態はエージェントを取り巻く環境の現在の局面や状況を示す情報であり、行動はその状態を変化させるためにエージェントが主体的に行う出力です。また、方策は状況に応じてどの行動を選択するかを決定するためのルール（戦略）を指します。
注意点
行動の選択肢（行動空間）が広すぎると、強化学習の探索効率が著しく低下し、学習が収束しにくくなる「次元の呪い」に直面します。また、現実世界の物理ロボットなどに不適切な行動を実行させると、機材の破損や事故などの現実的な不利益をもたらすリスクがあるため、安全性の確保が不可欠です。