Deep Reinforcement Learning Methods for Suppressing Horizontal Sway of Construction Cranes in Virtual Physical Environment

심층강화학습을 이용한 건설 크레인의 자율 운행 기술 개발에 있어 중량물의 수평 흔들림 제어 문제는 크레인 운행 안전성에 직접적으로 영향을 미치는 중요한 문제이다. 하지만 진자운동을 하는 중량물의 움직임 제어는 운동학적 측면에서 크레인의 조작 가능한 동작의 수보다 중량물 움직임의 자유도가 더 큰 과소작동 시스템으로 분류되며, 이것은 강화학습에서 행동과 상태 표본쌍으로부터 기대할 수 있는 보상의 분산을 증가시킴으로써, 표본 효율성이 저하하는 문제를 발생시킨다. 따라서 본 연구에서는 근위 정책 최적화(Proximal Policy Optimization)와 생성적 적대 모방 학습(Generative Adversarial Imitation Learning) 기법을 이용하여 크레인의 수평 흔들림 제어를 위한 강화학습 모형의 학습시 발생하는 표본 효율성에 대해서 분석한다. 이를 위해 Unity를 활용해 건설 크레인의 움직임과 작업수행의 시뮬레이션이 가능한 가상물리환경을 구축하고, GAIL 적용을 위한 전문가 시연 데이터 표본을 수집하였으며, 실험을 통해 GAIL이 표본 효율성 저하에 미치는 영향을 분석하였다. 본 연구의 결과는 GAIL이 표본 효율성을 크게 개선할 수 있는 것을 보여준다. 하지만, GAIL의 내적보상 강도에 따라 표본 효율성의 개선정도가 다양한 양상으로 나타날 수 있음이 확인되었다.