強化学習の学習プロセスは、次の 4 つの主要な要素で構成されるフィードバック ループによって推進されます。

• エージェント: システム内の学習者および意思決定者
• 環境: エージェントがやり取りする外部の世界
• 行動: 各ステップでエージェントが行う選択
• 報酬: エージェントが行動を起こした後に受け取るフィードバックで、結果の望ましさを示す

このフィードバック ループは次のように展開されます。

1. エージェントは、環境の現在の状態を観察します。
2. エージェントは、そのポリシーに基づいて行動を選択して実行します。
3. 環境は行動に応じて新しい状態に移行します。
4. エージェントは、新しい状態の価値を反映する報酬シグナルを受け取ります。
5. この報酬情報はエージェントのポリシーの更新に使用され、過去にプラスの報酬につながった行動を選択する可能性を高めます。

試行錯誤、フィードバックの取得、ルールの改善というこの一連のプロセスは、システムが時間の経過とともに最も多くの報酬を得るための最善の方法を学習するまで続きます。

強化学習には、モデルベースとモデルフリーという 2 つの主要なタイプがあります。

モデルベースの強化学習では、エージェントは環境の内部モデルを構築しようとします。このモデルにより、エージェントは実際に行動を起こす前にその結果を予測できるため、より計画的かつ戦略的なアプローチが可能になります。

迷路を進む方法を学習するロボットを想像してみてください。モデルベースの RL エージェントは、迷路のレイアウトの内部表現を作成しようとします。そして、このモデルを使用して経路を計画し、実際に移動する前にさまざまな行動とその予測結果をシミュレートします。

一方、モデルフリー強化学習は、環境の明示的なモデルの構築に依存しません。代わりに、受け取った報酬に基づいて行動と価値を関連付けることで、最適なポリシーを直接学習することに重点を置いています。

迷路の例に戻ると、モデルフリー エージェントは迷路全体をマッピングしようとはしません。その代わりに、過去の経験と受け取った報酬だけに基づいて、特定の交差点で左折または右折するなど、どの行動が出口につながる可能性が高いかを学習します。

目標は常に報酬を最大化することですが、RL 手法によって、それを達成するための戦略が異なります。迷路のロボットの例に戻りましょう。

• Q 学習: これは、一般的なモデルフリー手法です。ロボットが探索しながら「チートシート」を作成するイメージです。シートには、すべての交差点（状態）について、可能な各ターン（アクション）の「品質スコア」（Q 値）がリストされています。試行錯誤を繰り返すうちに、ロボットはすべての交差点で各ターンに可能な最良のスコアを学習します。出口を見つけるには、チートシートで最もスコアの高い経路をたどるだけです。
• SARSA（State-Action-Reward-State-Action）: この方法は Q 学習とよく似ていますが、ロボットはもう少し慎重です。常に次の最善の行動をとると想定するのではなく、現在の戦略に従って実際に取った行動に基づいてチートシートを更新します。これは、現在従っているポリシーに基づいて学習するため、「オンポリシー」手法となります。
• ディープ Q ネットワーク（DQN）: 迷路が巨大で、何百万もの状態があり得る場合（ビデオゲームの画面など）はどうなるでしょうか？チートシートは実用的ではありません。DQN は、チートシートをディープ ニューラル ネットワークに置き換えます。このネットワークは、新しい状態を調べ、以前に同じ状況に出会ったことがなくても Q 値を推定できるスマートな「関数」として機能します。DeepMind の AI は、この方法で Atari ゲームのプレイを学習しました。
• ポリシー グラディエント法: この方法では、より直接的なアプローチを取ります。ロボットは、各行動の価値を学習するのではなく、一般的なポリシー、つまりある状況で何をすべきかの確率のセットを学習します（たとえば、「T 字路では 70% の確率で左折すべき」など）。その後、全体的なジャーニーが成功したかどうかに基づいてこれらの確率を直接調整し、「本能」を徐々に改善して最終的な報酬を最大化します。

強化学習は難しい問題を解決するのに適していますが、その長所と短所を考慮することが重要です。これらの潜在的なメリットと課題を把握することで、さまざまな仕事に RL が適しているかどうか、またどのように使用すればよいかを判断できます。

• 複雑な問題を解決できる: 強化学習は、従来のプログラミング アプローチでは困難なシナリオで優れた成果を上げ、複雑な問題に対する解決策を提供します。
• 適応性: RL エージェントは、変化する環境に適応して新しい戦略を学習できるため、動的な状況に適しています。
• 最適なソリューションを見つける: RL は、継続的な探索と学習を通じて、目標を達成するための最も効果的な戦略を見つけることを目指します。

• データ集約型になる可能性がある: 強化学習では、効果的に学習するために大量のインタラクション データが必要になることが多く、収集に時間とリソースがかかる可能性があります
• 報酬設計が重要: RL の成功は、望ましい動作を正確に反映する報酬関数の設計に大きく依存しますが、一部のタスクではこれが難しい場合があります。
• 実世界での応用における安全性への懸念: ロボット工学などの実世界のシナリオでは、学習プロセス中にエージェントの行動が安全であることを保証することが不可欠です。

強化学習、教師あり学習、教師なし学習はすべて ML のサブフィールドですが、基本的なアプローチが異なります。

• 教師あり学習: 教師あり学習では、アルゴリズムはラベル付きデータセットから学習し、提供された例に基づいて入力を出力にマッピングします。正解を提供する教師と一緒に学習するようなものだと考えてください。
• 教師なし学習: 教師なし学習アルゴリズムは、ラベルなしデータを探索してパターン、関係、構造を特定します。これは教師なしで学習し、データを独自に理解しようとするようなものです。
• 強化学習: 強化学習は、前述のように、環境とのやり取りを通じて学習し、報酬やペナルティという形でフィードバックを受けることに重点を置いています。これは、試行錯誤を通じて学習し、アクションの結果に基づいて行動を調整するようなものです。

RL は、インタラクションを通じて複雑な動作を学習できるため、以下のような幅広い用途に適したツールです。

強化学習は、ユーザー インタラクションから学習することで、おすすめをパーソナライズするのに役立ちます。クリック、購入、視聴時間をシグナルとして扱うことで、RL アルゴリズムはレコメンデーション エンジンを最適化して、ユーザー エンゲージメントと満足度を最大化できます。たとえば、音楽ストリーミング サービスでは、RL を使用して、ユーザーの好みの変化に合わせて曲やアーティストを提案できます。

ゲーム業界は強化学習を取り入れ、高度なスキルを持つゲームプレイ エージェントの開発に利用しています。RL を通じてトレーニングされたこれらの AI エージェントは、複雑なゲームで驚くべき熟練度を達成し、高度な戦略的思考と意思決定能力を示しています。注目すべき例としては、DeepMind が作成した AlphaGo と AlphaZero があります。これらは、チェスなどのゲームでトップレベルのパフォーマンスを達成することで、RL の力を示しました。

RL は、ロボットが複雑な運動能力を学習し、困難な環境をナビゲートするのに役立ちます。物体を掴む、効率的に移動するといった望ましい行動に対してロボットに報酬を与えることで、RL は器用さや適応性が求められるタスクの自動化に役立ちます。これは、製造、物流、さらには医療の分野にも応用でき、ロボットが手術や患者のケアを支援できるようになります。

強化学習システムを開発するには、エージェントをトレーニングするための堅牢なプラットフォームと、エージェントをデプロイするためのスケーラブルな環境が必要です。Google Cloud は必要なコンポーネントを提供しています。

• モデルの構築とトレーニング: Vertex AI は、ML ワークフロー全体を簡素化する統合 ML プラットフォームです。これを使用して、RL モデル、テスト、データを 1 か所で構築、トレーニング、管理できます。
• スケーラブルなデプロイ: RL エージェントは、複雑で動的な環境にデプロイする必要があることがよくあります。Google Kubernetes Engine（GKE）は、コンテナ化されたエージェントを実行するためのマネージドのスケーラブル サービスを提供し、エージェントが環境とやり取りして必要に応じてスケーリングできるようにします。