파이썬을 이용해 웹 스크레이핑을 수행하고 수집한 데이터를 다양하게 활용하자!
이 책에서는 파이썬을 이용해 웹 스크레이핑을 수행하고 수집한 데이터를 처리하고 활용하는 방법을 다룹니다. 기본적인 파이썬 문법부터 넘파이, 판다스, 실무에 활용 가능한 다양한 웹 데이터 수집 및 가공 방법, 스트림릿을 이용한 웹 앱 제작과 카카오 API 활용까지 상세히 설명하고 있어 파이썬을 처음 배우는 초보자뿐만 아니라 실무에서 웹 스크레이핑 기술을 활용하고자 하는 분들에게 훌륭한 가이드가 될 것입니다.
이 책은 실제 사용 빈도가 높은 웹 사이트(네이버, 다음, 구글, 유튜브, 스포티파이 등)에서 다양한 데이터(날씨, 주식, 환율, 부동산, 가상 화폐, 노래, 동영상 검색 결과, 뉴스, 웹 문서 및 이미지 검색 결과)를 가져와 활용하는 전체 과정을 알기 쉽게 설명합니다.
★ 이 책에서 다루는 내용 ★
◎ 웹 스크레이핑 기초, requests와 Beautiful Soup를 활용한 웹 데이터 수집 및 처리
◎ 셀레니움(Selenium)을 이용한 웹 브라우저 제어, 로그인 자동화, 동적 웹 페이지 데이터 수집
◎ 웹 API 기초, 웹 API 인증, 응답 데이터 분석 및 관심 데이터 추출, 데이터 시각화
◎ 스트림릿(Streamlit) 기초 사용법, 웹 스크레이핑 웹 앱 제작 및 배포
◎ 카카오 API를 활용한 웹 문서 및 이미지 검색, 웹 스크레이핑 결과를 카카오톡 메시지로 전송
▣ 01장: 준비하기
1.1 파이썬 시작하기
___1.1.1 파이썬의 특징
___1.1.2 파이썬 개발 환경 설치
___1.1.3 파이썬 실행하기
1.2 주피터 노트북 활용
___1.2.1 주피터 노트북 실행과 노트북 생성
___1.2.2 주피터 노트북 주요 기능 둘러보기
___1.2.3 주피터 노트북에서 코드 작성
___1.2.4 주피터 노트북에서 문서 작성
___1.2.5 그 밖에 할 수 있는 작업
1.3 정리
▣ 02장: 파이썬 기본 문법
2.1 변수와 자료형
___2.1.1 변수
___2.1.2 숫자(int, float)
___2.1.3 문자열(str)
___2.1.4 불(bool)
___2.1.5 리스트(list)
___2.1.6 튜플(tuple)
___2.1.7 세트(set)
___2.1.8 딕셔너리(dict)
2.2 제어문
___2.2.1 조건문
___2.2.2 반복문
2.3 데이터의 출력
___2.3.1 기본 출력
___2.3.2 형식 지정 출력
2.4 예외 처리
___2.4.1 try ~ except 사용
___2.4.2 try ~ finally 사용
2.5 정리
▣ 03장: 함수, 클래스, 모듈
3.1 함수
___3.1.1 함수의 정의와 호출
___3.1.2 내장 함수
3.2 클래스
___3.2.1 클래스와 객체
___3.2.2 클래스 선언
___3.2.3 객체 생성과 활용
3.3 모듈
___3.3.1 모듈 만들고 불러오기
___3.3.2 내장 모듈
___3....3.3 패키지
___3.3.4 스케줄러 패키지
3.4 정리
▣ 04장: 파일 읽고 쓰기와 문자열 처리
4.1 파일 읽고 쓰기
___4.1.1 파일 읽고 쓰기 위한 기본 구조
___4.1.2 파일 읽기
___4.1.3 파일을 한 줄씩 읽어 처리하기
___4.1.4 파일 쓰기
___4.1.5 with 문으로 파일 읽고 쓰기
4.2 문자열 처리
___4.2.1 문자열 분리하기: split()
___4.2.2 불필요한 문자열 삭제하기: strip()
___4.2.3 문자열 연결하기: join()
___4.2.4 문자열 찾기: find(), count(), startswith(), endswith()
___4.2.5 문자열 바꾸기: replace()
___4.2.6 대소문자 변경하기: lower(), upper()
4.3 정리
▣ 05장: 데이터 처리와 분석을 위한 라이브러리
5.1 배열 데이터 연산에 효율적인 넘파이(NumPy)
___5.1.1 배열 데이터 생성
___5.1.2 배열 데이터 선택
5.2 표 데이터 처리에 강한 판다스(pandas)
___5.2.1 데이터 구조와 생성
___5.2.2 표 형식의 데이터 파일 읽고 쓰기
___5.2.3 표 데이터 선택
___5.2.4 표 데이터 통합
5.3 정리
▣ 06장: 웹 스크레이핑
6.1 웹 스크레이핑을 위한 기본 지식
___6.1.1 웹 스크레이핑의 과정
___6.1.2 웹 스크레이핑 시 주의 사항
___6.1.3 웹 데이터의 요청과 응답 과정
___6.1.4 웹 페이지 언어(HTML) 구조
___6.1.5 웹 페이지의 소스 가져오기
___6.1.6 웹 페이지의 소스 분석하고 처리하기
___6.1.7 웹 사이트 주소에 부가 정보 추가하기
6.2 웹 사이트에서 데이터 가져오기
___6.2.1 날씨 정보 가져오기
___6.2.2 주식 정보 가져오기
___6.2.3 환율 정보 가져오기
___6.2.4 부동산 정보 가져오기
___6.2.5 웹 페이지에서 이미지 가져오기
6.3 정리
▣ 07장: 셀레니움을 이용한 웹 스크레이핑
7.1 셀레니움 소개 및 설치
7.2 셀레니움으로 웹 브라우저 제어
___7.2.1 웹 사이트 접속
___7.2.2 HTML 코드에서 요소 찾기
___7.2.3 검색창에 문자열 입력하기
___7.2.4 웹 사이트 로그인 자동화
___7.2.5 웹 브라우저 스크롤
___7.2.6 웹 브라우저 내용을 이미지 파일로 저장
___7.2.7 헤드리스(Headless) 웹 브라우저 이용하기
7.3 동적 웹 페이지에서 데이터 가져오기
___7.3.1 커피 전문점 음료 메뉴 가져오기
___7.3.2 가상 화폐 거래 정보 가져오기
___7.3.3 유튜브 검색 결과 가져오기
7.4 정리
▣ 08장: 웹 API
8.1 웹 API의 이해
___8.1.1 웹 API의 데이터 획득 과정
___8.1.2 웹 API의 인증 방식
___8.1.3 응답 데이터의 형식 및 처리
8.2 API 키 없이 시간 관련 데이터 가져오기
___8.2.1 시간대 리스트와 현재 시각 데이터 가져오기
___8.2.2 시간대 변환 데이터 가져오기
8.3 RSS 피드 데이터 가져오기
___8.3.1 RSS 문서의 구조 및 데이터 추출
___8.3.2 구글 뉴스의 검색 기사 가져오기
8.4 스포티파이를 이용한 노래 데이터 가져오기
___8.4.1 앱 만들고 액세스 토큰 생성
___8.4.2 아티스트 API로 아티스트 관련 정보 가져오기
___8.4.3 트랙 API로 곡 관련 정보 가져오기
___8.4.4 앨범 API로 앨범 관련 정보 가져오기
8.5 야후 파이낸스에서 주식 데이터 가져오기
___8.5.1 설치 및 기본 사용법
___8.5.2 미국 주식 데이터 가져오기
___8.5.3 국내 주식 데이터 가져오기
___8.5.4 여러 주식 데이터 가져오기
8.6 정리
▣ 09장: 스트림릿으로 웹 앱(Web App) 만들기
9.1 스트림릿 둘러보기
___9.1.1 데모 웹 앱으로 스트림릿 맛보기
___9.1.2 웹 앱을 위한 코드 실행 방법
9.2 스트림릿 기본 사용법
___9.2.1 텍스트 요소
___9.2.2 데이터 표시 요소
___9.2.3 차트 요소
___9.2.4 만능 함수와 마술 명령어
___9.2.5 입력 위젯
___9.2.6 미디어 요소
___9.2.7 레이아웃과 컨테이너
9.3 스트림릿을 활용해 웹 앱 만들기
___9.3.1 주식 데이터 대시보드
___9.3.2 환율 데이터 대시보드
___9.3.3 부동산 데이터 대시보드
___9.3.4 구글 뉴스에서 기사 검색
___9.3.5 멀티페이지 웹 앱
___9.3.6 스트림릿 클라우드에 웹 앱 배포
9.4 정리
▣ 10장: 카카오 API
10.1 카카오 API를 이용한 웹 문서와 이미지 검색
___10.1.1 카카오디벨로퍼스 회원 가입 및 애플리케이션 등록
___10.1.2 웹 문서 검색
___10.1.3 이미지 검색
10.2 카카오 API를 이용한 카카오톡 메시지 전송
___10.2.1 카카오 로그인 관련 설정
___10.2.2 액세스 토큰 생성
___10.2.3 카카오톡 메시지 보내기
10.3 웹 스크레이핑 결과를 카카오톡으로 보내기
___10.3.1 날씨 정보 보내기
___10.3.2 환율 정보 보내기
___10.3.3 가상 화폐 정보 보내기
___10.3.4 주식 정보 보내기
___10.3.5 스케줄에 따라 카카오톡 메시지 보내기
10.4 정리
최은석 [저]
GIST에서 박사학위를 받고 삼성전자에서 센서 기반 인터랙션 설계, 센서 신호 처리, 임베디드 시스템 S/W 관련 업무를 하고 있다. 항상 좀 더 좋은 방법이 없을까 고민하며 새로운 아이디어를 제시하고 구현하는 과정을 즐긴다. 파이썬을 이용한 업무 자동화, 데이터 처리 및 분석, 마이크로컨트롤러 응용에 관심이 많으며 주변 사람들에게 파이썬의 편리함을 알리고 있다.
전체 0개의 구매후기가 있습니다.
인터파크도서는 고객님의 단순 변심에 의한 교환과 반품에 드는 비용은 고객님이 지불케 됩니다.
단, 상품이나 서비스 자체의 하자로 인한 교환 및 반품은 무료로 반품 됩니다.
교환 및 반품이 가능한 경우
상품을 공급 받은 날로부터 7일이내 가능 공급받으신 상품의 내용이 표시, 광고 내용과 다르거나 다르게 이행된 경우에는 공급받은 날로부터 3개월 이내, 혹은 그사실을 알게 된 날 또는 알 수 있었던 날로부터 30일 이내 상품에 아무런 하자가 없는 경우 소비자의 고객변심에 의한 교환은 상품의 포장상태 등이 전혀 손상되지 않은 경우에 한하여 가능
교환 및 반품이 불가능한 경우
구매확정 이후(오픈마켓상품에 한함) 고객님의 책임 있는 사유로 상품 등이 멸실 또는 훼손된 경우
(단, 상품의 내용을 확인하기 위하여 포장 등을 훼손한 경우는 제외) 시간이 지남에 따라 재판매가 곤란할 정도로 물품의 가치가 떨어진 경우 포장 개봉되어 상품 가치가 훼손된 경우
다배송지의 경우 반품 환불
다배송지의 경우 다른 지역의 반품을 동시에 진행할 수 없습니다. 1개 지역의 반품이 완료된 후 다른 지역 반품을 진행할 수 있으므로, 이점 양해해 주시기 바랍니다.
중고상품의 교환
중고상품은 제한된 재고 내에서 판매가 이루어지므로, 교환은 불가능합니다.
오픈마켓 상품의 환불
오픈마켓상품에 대한 책임은 원칙적으로 업체에게 있으므로, 교환/반품 접수시 반드시 판매자와 협의 후 반품 접수를 하셔야하며, 반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가능할 수 있으니 유의하시기 바랍니다.
배송예정일 안내
인터파크 도서는 모든 상품에 대해 배송완료예정일을 웹사이트에 표시하고 있습니다.
<인터파크 직배송 상품>
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며, 서울외지역/평일 주문분의 경우는 오후 6시까지 주문분에 대하여 익일 배송완료를 보장하는 상품입니다. (단, 월요일은 12시까지 주문에 한함)
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로 주문일+기준출고일+택배사배송일(1일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※기준출고일:인터파크가 상품을 수급하여 물류창고에서 포장/출고하기까지 소요되는 시간
<업체 직접배송/오픈마켓 상품>
~
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다. 주문일+기준출고일+택배사배송일(2일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※5일이내 출고가 시작되지 않을시, 오픈마켓 상품은 자동으로 주문이 취소되며, 고객님께 품절보상금을 지급해 드립니다.
배송비 안내
도서(중고도서 포함)만 구매하시면 : 배송비 2,000원 (1만원이상 구매 시 무료배송) 음반/DVD만 구매하시면 : 배송비 1,500원 (2만원이상 구매 시 무료배송) 잡지/만화/기프트만 구매하시면 : 배송비 2,000원 (2만원이상 구매 시 무료배송) 도서와 음반/DVD를 함께 구매하시면 : 배송비 1,500원 1만원이상 구매 시 무료배송) 도서와 잡지/만화/기프트/중고직배송상품을 함께 구매하시면 : 2,000원 (1만원이상 구매 시 무료배송) 업체직접배송상품을 구매시 : 업체별로 상이한 배송비 적용
* 세트상품의 경우 부분취소 시 추가 배송비가 부과될 수 있습니다.
* 북카트에서 배송비없애기 버튼을 클릭하셔서, 동일업체상품을 조금 더 구매하시면, 배송비를 절약하실 수 있습니다.
해외배송 안내
인터파크도서에서는 국내에서 주문하시거나 해외에서 주문하여 해외로 배송을 원하실 경우 DHL과 특약으로 책정된 요금표에
의해 개인이 이용하는 경우보다 배송요금을 크게 낮추며 DHL(www.dhl.co.kr)로 해외배송 서비스를 제공합니다. 해외배송은 도서/CD/DVD 상품에 한해 서비스하고 있으며, 다른 상품을 북카트에 함께 담으실 경우 해외배송이 불가합니다.
해외주문배송 서비스는 인터파크 도서 회원 가입을 하셔야만 신청 가능합니다.
알아두세요!!!
도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 취소될 수 있습니다. 오픈마켓업체의 배송지연시 주문이 자동으로 취소될 수 있습니다. 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 기준으로 배송됩니다. 유통의 특성상 출고기간은 예정보다 앞당겨지거나 늦춰질 수 있습니다. 택배사 배송일인 서울 및 수도권은 1~2일, 지방은 2~3일, 도서, 산간, 군부대는 3일 이상의 시간이 소요됩니다.
;)
;){kind=small}
전체 0개의 구매후기가 있습니다.
교환 및 반품이 가능한 경우 
상품을 공급 받은 날로부터 7일이내 가능 
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며,
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~ 
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다.
