『파이썬을 이용한 빅데이터 수집, 분석과 시각화』는 빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.
빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.
'데이터를 수집할 수 있습니다' 페이스북, 트위터, 네이버, 공공, 일반 웹 사이트에서 데이터를 수집하는 방법을 설명합니다.
'데이터를 분석하고 시각화 처리를 할 수 있습니다 ' 코엔엘파이와 파이썬 라이브러리를 이용하여 빈도 분석을 할 수 있습니다. 데이터 상관관계 분석을 실습할 수 있습니다. 그리고 지리 정보를 이용하여 시각화를 구현할 수 있습니다.
'최소한의 파이썬 지식을 활용합니다' 이 책은 파이썬 문법서는 아닙니다. 빅데이터를 수집하고 분석하는 방법에 중점을 두고 있으며, 그에 필요한 파이썬 문법만 책에서 최소한으로 다룹니다.
'빅데이터 수집, 분석, 시각화를 시작하기에 적합한 책입니다' 개발자뿐만 아니라 기획, 마케팅, 전략 수립, 시장 조사, 스타트업, 연구원도 최소한의 개발 도구 활용 능력을 갖춰서 데이터를 정보화하여 사업이나 연구에 활용할 수 있어야 하는 시대입니다. 빅데이터 프로젝트를 진행해야 하는 개발자를 포함하여 개발자가 아닌 분들에게 최적화된 책입니다. 특히 개발자가 아닌 분들은 저자가 운영하고 있는 도서 관련 블로그를 적극 활용하시기 바랍니다.
파트 1 데이터 사용을 위한 계정 설정
1장 페이스북 API 사용하기
1.1 페이스북 가입
1.2 페이스북 앱 ID 등록
2장 트위터 API 사용하기
2.1 트위터 가입
2.2 트위터 앱 등록
3장 네이버 API 사용하기
4장 정부3.0 공공 데이터 포털 API 사용하기
4.1 공공 데이터 포털 가입
파트 2 데이터 수집
5장 페이스북 데이터 수집하기
5.1 페이스북 그래프(Graph) API
5.1.1 읽기
5.1.2 페이지 조회
1. 커서(cursor) 기반 페이지 조회
2. 시간(time period) 기준 페이지 조회
3. 오프셋(offset) 기반 페이지 조회
5.2 페이스북 ID 가지고 오기
5.3 페이스북 포스트(/{post-id})) 가져오기
5.4 페이스북 포스트(/{post-id})) 저장
6장 트위터 데이터 수집하기
6.1 OAuth란? [OAuth 1, 2, 3]
6.1.1 OAuth 1.0a 인증 과정
6.1.2 OAuth 2.0의 탄생
6.2 트윗(Tweet) 가지고 오기
6.3 트윗(Tweet) 스트림 가지고 오기[Twitter 2]
7장 네이버 데이터 수집하기
7.1 검색 API의 활용
7.2 지도 API(주소, 좌표 변환)의 활용
8장 공공 데이터 수집하기
8.1 전국 유료 관광지 입장객 정보
8.2 파이썬 그래프 모듈: matplotlib
8.3 출입국 관광... 통계 서비스
9장 일반적인 웹 서비스 데이터 수집하기
9.1 이상한 나라의 앨리스의 맛있는 스프: BeautifulSoup
9.2 통닭 공화국의 데이터를 구해보자
9.2.1 비비큐 매장 정보: HTML 태그 내 정보 찾기
9.2.2 페리카나 매장 정보: 중복된 HTML 태그 내 추출
9.2.3 네네치킨 매장 정보: XML 형식
9.2.4 교촌치킨 매장 정보: 태그 내 다양한 태그 추출
9.2.5 처갓집양념치킨 매장 정보: CP949 인코딩
9.2.6 굽네치킨 매장 정보: selenium - 브라우저 시뮬레이션
1. selenium과 WebDriver의 설치
2. Selenium 테스트
9.2.7 통합 데이터 수집 코드
파트 3 데이터 분석과 시각화
10장 빈도 분석: 형태소 분석 기반 그래프 및 워드 클라우드
10.1 코엔엘파이(KoNLPy)의 설치 및 활용[KoNLPy 1]
10.2 그래프를 그리자: matplotlib
10.2.1 기본 그래프 그리기
10.2.2 다수의 그래프 그리기
10.2.3 한글 처리
10.2.4 여러 개의 그래프 그리기
10.2.5 그래프에 문자 삽입
10.3 명사 추출 및 빈도 분석
11장 데이터 기반 추천: 데이터 상관관계 분석
11.1 상관분석과 상관계수
11.2 데이터 테이블 생성: pandas 패키지
11.2.1 Series
1. 일차원(array) 데이터의 활용
2. 딕셔너리(Dictionary)
3. 스칼라(Scalar) 값
11.2.2 DataFrame
1. Series/Dict 데이터의 활용
2. Dict 리스트 데이터의 활용
3. 데이터 추가 및 합치기(merge)
11.3 공공 데이터를 이용한 상관분석
11.4 히트맵(Heatmap) ? seaborn
12장 지리정보기반 시각화: 지리정보와 시각화
12.1 지리정보 가공을 위한 데이터 전처리
12.1.1 비비큐 주소 정보 보정
12.1.2 페리카나 주소 정보 보정
12.1.3 네네치킨 주소 정보 보정
12.1.4 교촌치킨 주소 정보 보정
12.1.5 처갓집양념치킨 주소 정보 보정
12.1.6 굽네치킨 주소 정보 보정
12.2 포리움(Folium)의 설치 및 활용[Visualization 3,4]
12.2.1 포리움 설치 및 객체 생성
1. 초기 객체 생성
2. 다른 유형의 맵 호출
3. 마커(Marker)와 팝업(Popup)의 설정
4. GeoJSON 활용 데이터
12.3 프랜차이즈 주소 매핑: Folium ? 네이버 주소 검색
12.4 전국 지도에 블록맵으로 표시하기
참고 문헌
어떠한 이유에서이든 요즘 개발자는 내외부적으로 빅데이터를 이용한 프로젝트를 수행해야 한다. 이 책에 관심을 둔 개발자라면 아마 고객이나 회사의 경영진으로부터 아래와 같은 요청사항을 한두 번 아니 그 이상 들어보았을 것이다.
"소셜 네트워크(SNS) 등을 이용하여 사용자를 분석하고 …."
또는 여기서 조금 더 나간 기업이나 고객은
"그 데이터를 바탕으로 인공지능을 이용해 학습을 하고, 이를 통해 자동으로 추천 서비스를 구현하여…"
솔직히 데이터를 모으라고 하면 모을 수 있다. 그리고 그걸 가지고 분석을 하라면 할 수 있을 것 같기도 하다. 근데 과연 어떤 데이터를 모을 것이며, 수집한 데이터를 어떻게 분석할지에 대해서는 어지럽기만 하다. 본 책에서는 일단 고객이 이야기하는 소셜 데이터를 모으는 방법에 대하여 이야기하려고 한다. 그럼 그 다음은? [중략] 본 책에서는 그래도 어떤 데이터를 어떻게 분석할 수 있을지에 대해 조금이나마 맛보기로 보여줄 예정이다. ? 저자 서문 중에서
이원하 [저]
한국외국어대학교 경영정보대학원 석사과정을 마치고 디지털 워터마킹과 DRM(Digital Right Management) 기술을 이용한 보안 분야 회사를 창업하여 문서보안이라는 솔루션을 설계, 한국에 처음 상용화하였다. IT 개발에 회의를 느껴 한동안 자동차 개발쪽에 서 외도를 하다가 최근 다시 복귀, 빅데이터 처리 및 서버취약성점검 소프트웨어 개발을 하고 있는 개발자이다. 조그만 저수지에 낚시 점빵을 차리는 게 소원인 두 아이의 아빠이기도 하다.
전체 1개의 구매후기가 있습니다.
1 | [total 1/1]
인터파크도서는 고객님의 단순 변심에 의한 교환과 반품에 드는 비용은 고객님이 지불케 됩니다.
단, 상품이나 서비스 자체의 하자로 인한 교환 및 반품은 무료로 반품 됩니다.
교환 및 반품이 가능한 경우
상품을 공급 받은 날로부터 7일이내 가능 공급받으신 상품의 내용이 표시, 광고 내용과 다르거나 다르게 이행된 경우에는 공급받은 날로부터 3개월 이내, 혹은 그사실을 알게 된 날 또는 알 수 있었던 날로부터 30일 이내 상품에 아무런 하자가 없는 경우 소비자의 고객변심에 의한 교환은 상품의 포장상태 등이 전혀 손상되지 않은 경우에 한하여 가능
교환 및 반품이 불가능한 경우
구매확정 이후(오픈마켓상품에 한함) 고객님의 책임 있는 사유로 상품 등이 멸실 또는 훼손된 경우
(단, 상품의 내용을 확인하기 위하여 포장 등을 훼손한 경우는 제외) 시간이 지남에 따라 재판매가 곤란할 정도로 물품의 가치가 떨어진 경우 포장 개봉되어 상품 가치가 훼손된 경우
다배송지의 경우 반품 환불
다배송지의 경우 다른 지역의 반품을 동시에 진행할 수 없습니다. 1개 지역의 반품이 완료된 후 다른 지역 반품을 진행할 수 있으므로, 이점 양해해 주시기 바랍니다.
중고상품의 교환
중고상품은 제한된 재고 내에서 판매가 이루어지므로, 교환은 불가능합니다.
오픈마켓 상품의 환불
오픈마켓상품에 대한 책임은 원칙적으로 업체에게 있으므로, 교환/반품 접수시 반드시 판매자와 협의 후 반품 접수를 하셔야하며, 반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가능할 수 있으니 유의하시기 바랍니다.
배송예정일 안내
인터파크 도서는 모든 상품에 대해 배송완료예정일을 웹사이트에 표시하고 있습니다.
<인터파크 직배송 상품>
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며, 서울외지역/평일 주문분의 경우는 오후 6시까지 주문분에 대하여 익일 배송완료를 보장하는 상품입니다. (단, 월요일은 12시까지 주문에 한함)
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로 주문일+기준출고일+택배사배송일(1일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※기준출고일:인터파크가 상품을 수급하여 물류창고에서 포장/출고하기까지 소요되는 시간
<업체 직접배송/오픈마켓 상품>
~
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다. 주문일+기준출고일+택배사배송일(2일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※5일이내 출고가 시작되지 않을시, 오픈마켓 상품은 자동으로 주문이 취소되며, 고객님께 품절보상금을 지급해 드립니다.
배송비 안내
도서(중고도서 포함)만 구매하시면 : 배송비 2,000원 (1만원이상 구매 시 무료배송) 음반/DVD만 구매하시면 : 배송비 1,500원 (2만원이상 구매 시 무료배송) 잡지/만화/기프트만 구매하시면 : 배송비 2,000원 (2만원이상 구매 시 무료배송) 도서와 음반/DVD를 함께 구매하시면 : 배송비 1,500원 1만원이상 구매 시 무료배송) 도서와 잡지/만화/기프트/중고직배송상품을 함께 구매하시면 : 2,000원 (1만원이상 구매 시 무료배송) 업체직접배송상품을 구매시 : 업체별로 상이한 배송비 적용
* 세트상품의 경우 부분취소 시 추가 배송비가 부과될 수 있습니다.
* 북카트에서 배송비없애기 버튼을 클릭하셔서, 동일업체상품을 조금 더 구매하시면, 배송비를 절약하실 수 있습니다.
해외배송 안내
인터파크도서에서는 국내에서 주문하시거나 해외에서 주문하여 해외로 배송을 원하실 경우 DHL과 특약으로 책정된 요금표에
의해 개인이 이용하는 경우보다 배송요금을 크게 낮추며 DHL(www.dhl.co.kr)로 해외배송 서비스를 제공합니다. 해외배송은 도서/CD/DVD 상품에 한해 서비스하고 있으며, 다른 상품을 북카트에 함께 담으실 경우 해외배송이 불가합니다.
해외주문배송 서비스는 인터파크 도서 회원 가입을 하셔야만 신청 가능합니다.
알아두세요!!!
도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 취소될 수 있습니다. 오픈마켓업체의 배송지연시 주문이 자동으로 취소될 수 있습니다. 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 기준으로 배송됩니다. 유통의 특성상 출고기간은 예정보다 앞당겨지거나 늦춰질 수 있습니다. 택배사 배송일인 서울 및 수도권은 1~2일, 지방은 2~3일, 도서, 산간, 군부대는 3일 이상의 시간이 소요됩니다.
;)
전체 1개의 구매후기가 있습니다.
1 | [total 1/1] 
교환 및 반품이 가능한 경우 
상품을 공급 받은 날로부터 7일이내 가능 
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며,
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~ 
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다.
