2. 강화학습 MDP 벨만방정식

I. MDP 문제 해결 방법

강화학습에서의 마르코프 결정 프로세스(MDP)는 환경에서 에이전트가 최적의 행동 전략을 찾기 위해 고려해야 할 여러 요소들을 포함하고 있다. MDP의 목적은 상태 공간, 행동 공간, 보상 함수, 그리고 전이 확률을 정의하여 에이전트가 특정 정책을 따를 때 예상되는 누적 보상을 극대화하는 것이다. MDP 문제를 해결하는 방법에는 여러 가지가 있으며, 이 과정에서 벨만 방정식이 핵심적인 역할을 한다. MDP를 해결하기 위한 여러 기법 중 가장 기본적인 방법은 가치 기반 접근이다. 이 방법은 각 상태의 가치를 계산하여 최적의 정책을 도출하는 방식이다. 주어진 정책이 있을 때, 각 상태에서 예상되는 누적 보상을 계산하는 가치 함수를 정의할 수 있다. 이 가치 함수는 현재 상태에서 취할 수 있는 행동에 따라 다음 상태로의 전이 확률과 보상을 고려하여 업데이트된다. 이 과정에서 벨만 기대 방정식이 활용되며, 이는 현재 상태의 가치는 그 상태에서 취할 수 있는 모든 행동의 보상과 다음 상태의 가치를 가중 평균한 것과 같다는 사실을 기반으로 한다. 즉, 현재의 가치는 다음 상태로 넘어갔을 때의 가치 예측과 직접적으로 연결된다. …