안녕하세요 개인적으로 강화학습을 공부하고 있는 연구원입니다:)
라이브러리는 파이토치로 공부를 하고 있습니다.
아직은 초짜이지만, 공부하면서 도움됐던 책 들을 공유하고자 합니다.
참고로 파이썬(class 등 심화내용), numpy 정도 까지 내용을 chatgpt에 질문하고 바로 이해하고 적용할 수 있는 수준을 가정하고 말씀드립니다.
- Pytorch 기초 및 문법
"파이토치 첫걸음" - 한빛미디어 사
인공지능의 학습개념과 넓은 범위의 다양한 알고리즘을 다루고 있지만, 그렇다고 해서 막 깊지도 않고 겉핥기 정도로 좋은 책이라고 생각합니다. 무엇보다 책이 작고 비교적 얇아서 저 같이 두꺼운 책보다가 쉽게 포기하신 분들한테 접근하기 좋다고 생각합니다.
1.1 『파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습』 - 위키북스 사
해당 책은 인공 신경망 개념부터 Transformer, 심화된 트랜스포머 모델, 컴퓨터 비전 CNN부터 파생된 네트워크 구조, Detection 모델, ViT 모델, 심화된 ViT모델. 언어와 비전을 두 축으로 파이토치 문법을 깊게 배우고 최신 알고리즘을 학습할 수 있는 좋은 책인 것 같습니다. 또한 단순히 알고리즘 뿐만아니라 양자화하는 방법 모델 배포와 같은 서비스 배포와 관련된 내용을 총체적으로 다루기 때문에 파이토치를 마스터하는데 굉장히 좋은 책인 것 같습니다.
- 강화학습 기초, 프로그래밍으로 먼저 겉핥기
"Pytorch를 활용한 강화학습/심층강화학습 실전 입문" - 위키북스 사
해당 책도 작고 가벼운 편입니다. 강화학습의 많은 책들이 텐서플로우로 되어 있었는데, 파이토치로 학습하고자 하는 사람들에게 추천드립니다. 핵심적인 설명 위주로 잘되어있지만, 코드에서 차원과 관계되는 torch.cat, torch.unsqueeze, gather 등 관련된 부분을 chatgpt와 함께 모르는 부분을 해결해 나가면서 이해하면 텐서 차원 다루는 실력도 크게 늘 수 있을 것 같습니다.
해당 책에서는 유명한 openAI gym의 cartpole을 1) Q러닝, 2) DQN, 3) DDQN, 4) A2C에 관한 알고리즘으로 학습을 합니다.
아쉬운 점이라면 책에서 환경에서 취할 수 있는 action은 이산적(discrete)한 것만 다루게 때문에 실제 필드나 연구에 적용하기에는 아직 한계가 있습니다.
-
강화학습 개념, 빡세게 잡기
"수학으로 풀어보는 강화학습 원리와 알고리즘" - 위키북스 사
해당 책은 강화학습을 수식적으로 이해할 수 있습니다. 무척 어렵지만 저처럼 강화학습의 구체적인 원리(MDP부터)를 한글로 배우고 싶을 때 이만한 서적은 없는 것 같습니다.
또한 수식하고 개념뿐만 아니라 해당하는 실습코드도 있어서 수식을 코드화하기 때문에 더욱더 깊은 이해가 되는 것 같습니다. 해당 책은 Tensorflow가 기반이기 때문에 chatgpt 사용하면서 이번기회 pytorch로 바꾸면서 코드를 짜면 실력이 더 빨리 성장하는 것 같습니다. 특히 환경의 action이 continous한 것을 주로 다르기 때문에 로봇 등 실제 다양한 환경에 적용도 가능할 것 같습니다. -
영어 강좌
개념에 관한 좋은 시각화 자료가 필요하시다면, https://www.youtube.com/playlist?list=PLzvYlJMoZ02Dxtwe-MmH4nOB5jYlMGBjr
혹시 영어를 잘하신다면, https://www.youtube.com/playlist?list=PLqYmG7hTraZDM-OYHWgPebj2MfCFzFObQ deepmind의 유명한 David Silver 강의도 추천합니다. 근데 모호하게 설명하는 게 많고 한 강의 당 시간이 무척 길기 때문에, 책 3을 정복하고 영상보면 훨씬 잘 이해될 것 같습니다.
긴 글 읽어주셔서 감사합니다. 제 개인적 경험이기 때문에 무조건 정답은 아닙니다 ㅠㅠ
