TRPO 기반 강화학습 안정화 방안 연구

1. 서론

강화학습은 에이전트가 환경과 상호작용하며 최적의 행동 전략을 학습하는 기계학습의 한 분야로, 최근 로봇 제어, 게임 인공지능, 자율 주행 등 다양한 분야에서 괄목할 만한 성과를 거두고 있다. 하지만 강화학습 알고리즘은 학습 과정의 불안정성 문제를 안고 있으며, 특히 정책 기반 방법 중 하나인 Trust Region Policy Optimization (TRPO) 알고리즘은 정책 업데이트 과정에서 큰 변화가 발생하면 성능이 급격하게 저하되는 취약점을 지닌다. 이러한 TRPO 알고리즘의 불안정성은 학습의 효율성을 저해하고, 안정적인 에이전트 개발을 어렵게 만드는 주요 원인이 된다. 따라서 본 연구는 TRPO 알고리즘의 안정성을 향상시키는 데 초점을 맞추어, 여러 가지 개선 방안을 제시하고 그 효과를 실험적으로 검증한다. 이를 통해 안정적이고 효율적인 강화학습 에이전트 개발에 기여하고자 한다. 특히, 기존 TRPO 알고리즘의 한계점을 극복하고, 보다 견고하고 예측 가능한 학습 과정을 구현하는 데 중점을 둔다. 실험 결과를 바탕으로 안정적인 강화학습 에이전트 설계 및 개발에 대한 실질적인 지침을 제공하고, 향후 연구 방향을 제시할 것이다. 실험에는 …