이 책은 강화학습의 작동원리를 toy example을 통해 쉽게 이해할 수 있도록 집필되었으며, MDP와 Bellman 방정식을 일일이 구체적 수치로 계산한 후 통계적·수학적 수식으로 재표현하여 수식의 의미를 이해할 수 있도록 구성하였다. Stable Baselines는 현재까지 총 15개의 강화학습법을 실행할 수 있다. 이 책에는 10개의 강화학습을 추가하여 25개의 강화학습법을 수록하였다. 강화학습 발표 논문을 기반으로 강화학습법의 장단점과 원리를 충실하게 반영하였지만 상당한 수준의 수학적 배경을 요구하는 이론적 증명은 생략하였다. 코딩에 능숙한 독자가 직접 프로그래밍이 가능할 만큼 상세한 알고리즘을 제공하여 강화학습법의 원리와 구조를 충분하게 파악할 수 있도록 하였다. Stable Baselines의 사용법을 최대한 자세하게 수록하였고 출력 결과에 대한 해설도 충실하게 작성하였다. Stable Baselines에서 제공하지 않은 강화학습 중 일부는 해설과 함께 프로그램을 제공하였고 일부는 프로그램을 download 할 수 있는 주소를 제공하였다.
강화학습은 이론적으로 계층적 구조를 가지고 있다. 근본적으로 모든 강화학습 알고리즘은 MDP와 Bellman 방정식을 기초로 작성되어 있으므로 최근에 개발된 강화학습은 과거의 강화학습에서 개선된 형태라고 보면 된다. 참고할 수 있도록 머리말 마지막 부분에 강화학습 계보도를 실어 두었다. 이 책을 공부하면 자연스럽게 이 계보도를 이해할 수 있도록 책의 차례도 계보도의 순서로 구성하였으며 부록에 따로 실행 알고리즘을 정리해 놓았다. 강화학습의 계보도와 정리된 실행 알고리즘은 강화학습을 비교하고 특성을 파악하는 데 매우 간단하고 유용한 일종의 summary로 활용할 수 있다. 계보도에서 (off)는 해당 강화학습이 off-policy라는 의미이며 별도의 표식이 없는 강화학습은 on-policy 학습법임을 의미한다. 본문을 공부하면 onpolicy와 off-policy를 구분할 수 있겠지만 간단하게 구별하는 방법은 별도의 표본 저장공간으로부터 표본을 뽑아서 policy를 개선하면 이를 off-policy라고 생각하고, 그렇지 않으면 on-policy라고 생각하면 된다.
좋은 책을 위해 최선을 다했지만 부족한 부분이 있을 수 있다. 이 점은 양해를 바라며, 책에 나오는 실습 프로그램과 출간 후 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실을 통해 제공할 예정이니 참조하기를 바란다.
[머리말]
저자는 코딩에 능숙하지 못하지만 파이썬 라이브러리 sklearn 덕분에 큰 어려움 없이 머신러닝을 이해하고 실습할 수 있었으며 Keras나 Pytorch라는 high level 프로그래밍 언어 덕분에 딥러닝을 이해하고 활용할 수 있었다. 강화학습(reinforcement learning)은 인공지능에서 가장 코딩이 복잡하고 난해하여 배우기 어려우나 응용분야가 게임, 금융, 자율자동차, 자율주차, 로봇 등 무궁무진하며, 발전 가능성이 매우 높은 분야이다. 딥러닝과 통계적 추정 방법을 근간으로 하는 강화학습은 40년 이상 통계학만 연구해온 저자에게 정적인 통계학을 동적인 통계학으로 응용할 수 있겠다는 설렘과 호기심으로 다가왔다.
지난 3년 동안 강화학습에 관련된 책들을 모두 구매하여 마치 수험생처럼 공부 하였지만 머신러닝이나 딥러닝처럼 이해하는 것이 쉽지는 않았다. 이는 이론 위주의 책이든 응용 위주의 책이든 관계없이 강화학습의 핵심 이론인 Markov Decision Process(MDP)와 Bellman 방정식을 명료하게 설명한 책이 없었고 책마다 이에 대한 설명이 다른 경우가 많아 혼란스러웠던 것이 한 요인이었다. 그러나 가장 큰 이유는 강화학습 책들 대부분이 코드 작성에 집중하여 저자에게는 넘을 수 없는 코딩기술 배우기로 인식되었기 때문이다. 저자는 programmer보다는 modeller를 지향하기 때문에 먼저 강화학습의 이론적 근간인 MDP와 Bellman 방정식을 명확하게 이해하고 강화학습의 수많은 알고리즘의 원리와 구조, 목적 등을 확실히 정립한 후, 실습은 인터넷 검색을 통해 이미 구현되어있는 프로그램으로 실행해도 된다는 생각을 가지고 있다.
이러한 생각을 토대로 강의안을 준비하는 중 2020년 12월 말에 Stable Baselines라는 강화학습 라이브러리가 있다는 사실을 알게 되었다. Stable Baselines는 최근까지 발표된 대표적인 강화학습 알고리즘들을 단 몇 줄의 명령어로 실행할 수 있을 뿐만 아니라 다양한 옵션을 이용하여 맞춤형 강화학습도 어렵지 않게 만들수 있는 라이브러리이다. 비록 해설집(documentation)이 충분하지 않아 사용법과 출력 결과 해석에 어려움이 있었지만 소스코드와 try and error를 통해 modeller로서의 강화학습 접근방식을 충족시키기에 충분하였다.
저자처럼 코딩에 능숙하지 못하지만, 강화학습 응용에 관심 있는 사람에게 도움이 될 것이라는 생각과 함께 머신러닝과 딥러닝 책을 출간한 저자의 입장에서 강화학습으로 인공지능 시리즈를 완성하고 싶은 개인적인 욕심도 이 책을 쓰게 된 동기가 되었다.
이 책은 강화학습의 작동원리를 toy example을 통해 쉽게 이해할 수 있도록 집필되었으며, MDP와 Bellman 방정식을 일일이 구체적 수치로 계산한 후 통계적·수학적 수식으로 재표현하여 수식의 의미를 이해할 수 있도록 구성하였다. Stable Baselines는 현재까지 총 15개의 강화학습법을 실행할 수 있다. 이 책에는 10개의 강화학습을 추가하여 25개의 강화학습법을 수록하였다. 강화학습 발표 논문을 기반으로 강화학습법의 장단점과 원리를 충실하게 반영하였지만 상당한 수준의 수학적 배경을 요구하는 이론적 증명은 생략하였다. 코딩에 능숙한 독자가 직접 프로그래밍이 가능할 만큼 상세한 알고리즘을 제공하여 강화학습법의 원리와 구조를 충분하게 파악할 수 있도록 하였다. Stable Baselines의 사용법을 최대한 자세하게 수록하였고 출력 결과에 대한 해설도 충실하게 작성하였다. Stable Baselines에서 제공하지 않은 강화학습 중 일부는 해설과 함께 프로그램을 제공하였고 일부는 프로그램을 download 할 수 있는 주소를 제공하였다.
강화학습은 이...론적으로 계층적 구조를 가지고 있다. 근본적으로 모든 강화학습 알고리즘은 MDP와 Bellman 방정식을 기초로 작성되어 있으므로 최근에 개발된 강화학습은 과거의 강화학습에서 개선된 형태라고 보면 된다. 참고할 수 있도록 머리말 마지막 부분에 강화학습 계보도를 실어 두었다. 이 책을 공부하면 자연스럽게 이 계보도를 이해할 수 있도록 책의 차례도 계보도의 순서로 구성하였으며 부록에 따로 실행 알고리즘을 정리해 놓았다. 강화학습의 계보도와 정리된 실행 알고리즘은 강화학습을 비교하고 특성을 파악하는 데 매우 간단하고 유용한 일종의 summary로 활용할 수 있다. 계보도에서 (off)는 해당 강화학습이 off-policy라는 의미이며 별도의 표식이 없는 강화학습은 on-policy 학습법임을 의미한다. 본문을 공부하면 onpolicy와 off-policy를 구분할 수 있겠지만 간단하게 구별하는 방법은 별도의 표본 저장공간으로부터 표본을 뽑아서 policy를 개선하면 이를 off-policy라고 생각하고, 그렇지 않으면 on-policy라고 생각하면 된다.
좋은 책을 위해 최선을 다했지만 부족한 부분이 있을 수 있다. 이 점은 양해를 바라며, 책에 나오는 실습 프로그램과 출간 후 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실을 통해 제공할 예정이니 참조하기를 바란다.
박유성 [저]
전체 0개의 구매후기가 있습니다.
인터파크도서는 고객님의 단순 변심에 의한 교환과 반품에 드는 비용은 고객님이 지불케 됩니다.
단, 상품이나 서비스 자체의 하자로 인한 교환 및 반품은 무료로 반품 됩니다.
교환 및 반품이 가능한 경우
상품을 공급 받은 날로부터 7일이내 가능 공급받으신 상품의 내용이 표시, 광고 내용과 다르거나 다르게 이행된 경우에는 공급받은 날로부터 3개월 이내, 혹은 그사실을 알게 된 날 또는 알 수 있었던 날로부터 30일 이내 상품에 아무런 하자가 없는 경우 소비자의 고객변심에 의한 교환은 상품의 포장상태 등이 전혀 손상되지 않은 경우에 한하여 가능
교환 및 반품이 불가능한 경우
구매확정 이후(오픈마켓상품에 한함) 고객님의 책임 있는 사유로 상품 등이 멸실 또는 훼손된 경우
(단, 상품의 내용을 확인하기 위하여 포장 등을 훼손한 경우는 제외) 시간이 지남에 따라 재판매가 곤란할 정도로 물품의 가치가 떨어진 경우 포장 개봉되어 상품 가치가 훼손된 경우
다배송지의 경우 반품 환불
다배송지의 경우 다른 지역의 반품을 동시에 진행할 수 없습니다. 1개 지역의 반품이 완료된 후 다른 지역 반품을 진행할 수 있으므로, 이점 양해해 주시기 바랍니다.
중고상품의 교환
중고상품은 제한된 재고 내에서 판매가 이루어지므로, 교환은 불가능합니다.
오픈마켓 상품의 환불
오픈마켓상품에 대한 책임은 원칙적으로 업체에게 있으므로, 교환/반품 접수시 반드시 판매자와 협의 후 반품 접수를 하셔야하며, 반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가능할 수 있으니 유의하시기 바랍니다.
배송예정일 안내
인터파크 도서는 모든 상품에 대해 배송완료예정일을 웹사이트에 표시하고 있습니다.
<인터파크 직배송 상품>
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며, 서울외지역/평일 주문분의 경우는 오후 6시까지 주문분에 대하여 익일 배송완료를 보장하는 상품입니다. (단, 월요일은 12시까지 주문에 한함)
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로 주문일+기준출고일+택배사배송일(1일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※기준출고일:인터파크가 상품을 수급하여 물류창고에서 포장/출고하기까지 소요되는 시간
<업체 직접배송/오픈마켓 상품>
~
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다. 주문일+기준출고일+택배사배송일(2일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※5일이내 출고가 시작되지 않을시, 오픈마켓 상품은 자동으로 주문이 취소되며, 고객님께 품절보상금을 지급해 드립니다.
배송비 안내
도서(중고도서 포함)만 구매하시면 : 배송비 2,000원 (1만원이상 구매 시 무료배송) 음반/DVD만 구매하시면 : 배송비 1,500원 (2만원이상 구매 시 무료배송) 잡지/만화/기프트만 구매하시면 : 배송비 2,000원 (2만원이상 구매 시 무료배송) 도서와 음반/DVD를 함께 구매하시면 : 배송비 1,500원 1만원이상 구매 시 무료배송) 도서와 잡지/만화/기프트/중고직배송상품을 함께 구매하시면 : 2,000원 (1만원이상 구매 시 무료배송) 업체직접배송상품을 구매시 : 업체별로 상이한 배송비 적용
* 세트상품의 경우 부분취소 시 추가 배송비가 부과될 수 있습니다.
* 북카트에서 배송비없애기 버튼을 클릭하셔서, 동일업체상품을 조금 더 구매하시면, 배송비를 절약하실 수 있습니다.
해외배송 안내
인터파크도서에서는 국내에서 주문하시거나 해외에서 주문하여 해외로 배송을 원하실 경우 DHL과 특약으로 책정된 요금표에
의해 개인이 이용하는 경우보다 배송요금을 크게 낮추며 DHL(www.dhl.co.kr)로 해외배송 서비스를 제공합니다. 해외배송은 도서/CD/DVD 상품에 한해 서비스하고 있으며, 다른 상품을 북카트에 함께 담으실 경우 해외배송이 불가합니다.
해외주문배송 서비스는 인터파크 도서 회원 가입을 하셔야만 신청 가능합니다.
알아두세요!!!
도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 취소될 수 있습니다. 오픈마켓업체의 배송지연시 주문이 자동으로 취소될 수 있습니다. 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 기준으로 배송됩니다. 유통의 특성상 출고기간은 예정보다 앞당겨지거나 늦춰질 수 있습니다. 택배사 배송일인 서울 및 수도권은 1~2일, 지방은 2~3일, 도서, 산간, 군부대는 3일 이상의 시간이 소요됩니다.
;)
;){kind=small}
전체 0개의 구매후기가 있습니다.
교환 및 반품이 가능한 경우 
상품을 공급 받은 날로부터 7일이내 가능 
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며,
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~ 
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다.
