DQN과 A2C network를 활용한 CartPole 강화학습 훈련과정 및 code

01 Cartpole environment

CartPole 환경은 OpenAI의 Gym 라이브러리에서 제공하는 강화학습의 대표적인 테스트 베드 중 하나이다. 이 환경은 간단하면서도 강화학습 알고리즘의 성능을 평가하는 데 적합하다. CartPole의 목표는 수직으로 서 있는 막대를 (pole) 수평으로 떨어뜨리지 않고 균형을 유지하는 것이다. 이를 위해 막대 위에 장착된 카트를 좌우로 움직여야 한다. 카트는 좌와 우로만 움직일 수 있으며, 주어진 시간이 지나기 전에 막대가 넘어지지 않도록 조작해야 한다. CartPole 환경은 상태 공간과 행동 공간으로 나누어져 있다. 상태 공간은 카트의 위치, 카트의 속도, 막대의 각도, 막대의 각속도로 구성된다. 이렇게 정의된 네 가지 상태 요소는 에이전트가 환경을 이해하고, 다음 행동을 결정하는 데 필요한 정보를 제공한다. 각 상태는 실수 값으로 표현되며, 이는 에이전트가 다양한 상황에서 학습하는 데 도움을 준다. 행동 공간은 카트를 좌로 움직일지 우로 움직일지를 결정하는 두 가지 행동으로 구성된다. 즉, 에이전트는 각각 0 또는 1의 행동 인덱스를 통해 카트를 조작할 수 있다. 이 간단한 구조 덕분에 CartPole은 다양한 강화학습 알고리즘…