1장 빅데이터 처리 및 분석 개요
1.1 빅데이터 무엇인가?
1.2 빅데이터 과정
1.3 빅데이터 처리 및 분석을 위한 분산 컴퓨팅
1.4 빅데이터 처리 및 분석을 위한 구성요소
2장 윈도우에 리눅스 설치하기
2.1 윈도우와 리눅스 함께 사용 방법
2.2 가상머신 설치를 위한 VMware 설치
2.3 리눅스 다운로드
2.4 VMware 이용하여 가상머신에 리눅스 설치
3장 리눅스 사용법
3.1 우분투의 도크
3.2 터미널 사용하기
3.3 리눅스 편집기
4장 리눅스 파일과 디렉터리 다루기
4.1 파일과 디렉터리의 개념
4.2 리눅스 기본 명령어
4.3 파일 및 디렉터리 권한
4.4 윈도우와 리눅스 파일 공유하기
5장 리눅스에서 하둡 사용하기
5.1 하둡 개요
5.2 하둡 설치
5.3 하둡 실행
5.4 하둡 웹 인터페이스
5.5 예제를 이용한 하둡 맛보기
6장 Spark
6.1 Spark의 개념
6.2 Spark의 데이터 구조
6.3 Spark 설치
6.4 Spark 설치 확인
6.5 주피터 노트북에서 Scala 사용하기
7장 Scala 언어
7.1 Scala 기본 문법
7.2 Spark 상에서 Scala 프로그래밍
8장 Spark 머신러닝
8.1 Spark MLlib과 Spark ML
8.2 Spark 머신러닝 파이프라인
8.3 머신러닝 회귀모델
8.4 머신...러닝 분류모델
9장 리눅스에 R과 RStudio 설치
9.1 R 설치
9.2 RStudio 설치
10장 SparkR
10.1 SparkR 개념
10.2 SparkR을 이용한 데이터 분석
11장 SparkR 머신러닝
11.1 SparkR 머신러닝 알고리즘
11.2 SparkR 환경 설정
11.3 SparkR에서 머신러닝 구현
찾아보기
머리말
요즘 떠오르는 빅데이터 관련 직무 4가지를 든다면, 데이터 사이언티스트(Data Scientist), 데이터 엔지니어(Data Engineer), 데이터 분석가(Data Analyst), 머신러닝 엔지니어(Machine Learning Engineer)를 들 수 있다. 이 4가지 직무는 칼로 무 자르듯이 명확하게 구분되지는 않지만, 직무별로 필요한 역량과 기술은 저마다 조금씩 차이가 있다.
이 4가지 직무에 대한 이해를 돕기 위해 기획자와 개발자의 성향에 따라 직무를 분류해 보면, 데이터 분석가는 기획자에 가깝고, 데이터 엔지니어는 개발자에 가까우며, 데이터 사이언티스트와 머신러닝 엔지니어는 이 두 직무의 중간에 위치한다고 볼 수 있다. 빅데이터 관련 직무 범위가 빅데이터 분석 기획부터 빅데이터 처리 플랫폼 개발까지 워낙 광범위한 데다가 관련 직업에 대한 수요가 커지면서 빅데이터 처리 및 분석에 대한 관심도 끊임없이 증가하고 있다.
기존의 하드웨어와 소프트웨어를 사용하여 빅데이터를 처리하고 분석하는 데는 한계가 있다. 과거에는 주로 개인용 컴퓨터의 윈도우 운영체제 위에 특정 프로그램인 SPSS, SAS 등을 많이 사용하였으나 현재는 데이터 용량과 처리 수준이 한 대의 컴퓨터만으로는 불가능할 정도로 커졌기 때문에 여러 대의 컴퓨터를 네트워크로 연결하여 클러스터를 구축하고, 리눅스(Linux) 기반 분산 컴퓨팅 환경에서 오픈소스이면서 무료인 R 또는 파이썬을 주로 사용하고 있다.
오늘날 빅데이터 플랫폼은 Spark(스파크)가 대세이다. Spark는 빅데이터를 분산 처리할 수 있는 플랫폼으로 기존의 Hadoop(하둡)으로 대표되는 분산 컴퓨팅 플랫폼에 비해 구현이 쉽고, 범용성이 뛰어나며, 속도가 빠르다는 장점을 갖고 있다. 다음으로 R은 데이터 사이언스에서 대두되고 있는 인터프리터 언어로서 통계분석 및 데이터 시각화에 특화된 통계 프로그래밍 언어이다. R은 Google, 페이스북, 아마존 등 많은 기업에서 분석 도구로 사용되고 있다. SparkR은 Spark와 R과의 통합환경으로 Spark의 분산 컴퓨팅 환경에서 R 언어를 사용할 수 있다.
필자가 빅데이터 관련 수업을 진행하면서 자주 느꼈던 고충은 어떤 교재를 가지고 강의할 것인가였다. 절대다수의 수강생이 사용하는 컴퓨터 운영체제는 윈도우이고, 대학 실습실의 컴퓨터 환경 역시 윈도우 환경이다. 그러나 대규모 데이터를 효율적으로 처리하기 위해서는 분산 컴퓨팅 환경이 필요하고, 리눅스는 분산 컴퓨팅 분야에서 주요한 운영체제로 인식되고 있다. 따라서 이러한 환경에 걸맞는 교재 개발이 필요하였다.
이 책에서는 개인용 컴퓨터의 윈도우 운영체제 위에 리눅스를 설치하여 Spark와 R을 통한 빅데이터 처리 및 분석을 학습하고자 한다. 필자는 대학에서 리눅스를 처음 접하는 학생들을 대상으로 한 학기용으로 빅데이터 처리ㆍ분석을 강의하고 있다. 필자의 강의 경험에 비추어 빅데이터 처리ㆍ분석에 대해 배우고자 하는 열망만 있으면, 이 책은 누구나 쉽게 따라 할 수 있도록 단계별로 구성되어 있다. 전 세계 운영체제 중에서 리눅스의 점유율은 3% 정도를 차지하는데, 급증하는 빅데이터와 더불어 시장 점유율은 점차 증가 추세에 있다. 윈도우 환경에 익숙한 대부분의 독자는 리눅스가 낯선 환경이라 처음에는 어려움을 느낄 수 있지만, 이 책은 실습 위주로 구성되어 있기에 쉽게 이해할 수 있을 것이다. 실습을 잘 따라서 공부한다면 이 책을 통해 리눅스도 배우고, 빅데이터 처리ㆍ분석도 배우는 일석이조의 효과를 기대할 수 있다.
이 책은 총 11개의 장으로 구성되어 있다. 1장에서는 빅데이터 처리 및 분석 개요에 대해 소개하고, 2장과 3장...에서는 윈도우 환경의 사용자들을 위해 리눅스를 설치하는 방법과 기본적인 리눅스 사용법에 대해 다루었다. 4장에서는 리눅스 파일과 디렉터리, 5장에서는 하둡 설치 및 사용에 대해 다루었다. 6장과 7장에서는 Spark와 Scala 언어를 소개하며, 8장에서는 Spark 머신러닝, 9장에서는 리눅스 상에서 R과 RStudio를 설치하는 방법에 대해 다루었다. 마지막으로 10장과 11장에서는 Spark와 R의 통합환경인 SparkR과 SparkR 머신러닝에 대해 다루었다.
이 책을 통해 많은 사람들이 윈도우에서 리눅스를 위한 빅데이터를 처리하고 분석할 수 있도록 집필에 심혈을 기울였지만 여전히 책 내용에 오류가 있고 부족한 부분이 많을 것으로 생각한다. 따라서 독자들의 애정 어린 충고와 지속적인 지도편달을 바라며 미흡한 부분은 계속 보완하여 자유아카데미 홈페이지(www.freeaca.com) 자료실에 제공할 예정이니 참고하시기를 바란다.
끝으로 책을 출간하는 데 도움을 주신 자유아카데미 출판사 여러분께 깊은 감사의 말씀을 드리며, 책이 나오기까지 많은 관심과 도움을 준 가족들에게도 고마운 마음을 전한다.
임동훈 [저]
부산대학교 계산통계학과(이학사), 부산대학교 대학원 계산통계학과(이학석사), 부산대학교 대학원 통계학과(이학박사)를 졸업했다. 미국 오하이오 주립대학교(Post-Doc), 현재 경상대학교 정보통계학과 교수다. 연구 분야로는 비모수통계, 정보통계, 프로그래밍언어, 영상처리가 있다.
전체 0개의 구매후기가 있습니다.
인터파크도서는 고객님의 단순 변심에 의한 교환과 반품에 드는 비용은 고객님이 지불케 됩니다.
단, 상품이나 서비스 자체의 하자로 인한 교환 및 반품은 무료로 반품 됩니다.
교환 및 반품이 가능한 경우
상품을 공급 받은 날로부터 7일이내 가능 공급받으신 상품의 내용이 표시, 광고 내용과 다르거나 다르게 이행된 경우에는 공급받은 날로부터 3개월 이내, 혹은 그사실을 알게 된 날 또는 알 수 있었던 날로부터 30일 이내 상품에 아무런 하자가 없는 경우 소비자의 고객변심에 의한 교환은 상품의 포장상태 등이 전혀 손상되지 않은 경우에 한하여 가능
교환 및 반품이 불가능한 경우
구매확정 이후(오픈마켓상품에 한함) 고객님의 책임 있는 사유로 상품 등이 멸실 또는 훼손된 경우
(단, 상품의 내용을 확인하기 위하여 포장 등을 훼손한 경우는 제외) 시간이 지남에 따라 재판매가 곤란할 정도로 물품의 가치가 떨어진 경우 포장 개봉되어 상품 가치가 훼손된 경우
다배송지의 경우 반품 환불
다배송지의 경우 다른 지역의 반품을 동시에 진행할 수 없습니다. 1개 지역의 반품이 완료된 후 다른 지역 반품을 진행할 수 있으므로, 이점 양해해 주시기 바랍니다.
중고상품의 교환
중고상품은 제한된 재고 내에서 판매가 이루어지므로, 교환은 불가능합니다.
오픈마켓 상품의 환불
오픈마켓상품에 대한 책임은 원칙적으로 업체에게 있으므로, 교환/반품 접수시 반드시 판매자와 협의 후 반품 접수를 하셔야하며, 반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가능할 수 있으니 유의하시기 바랍니다.
배송예정일 안내
인터파크 도서는 모든 상품에 대해 배송완료예정일을 웹사이트에 표시하고 있습니다.
<인터파크 직배송 상품>
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며, 서울외지역/평일 주문분의 경우는 오후 6시까지 주문분에 대하여 익일 배송완료를 보장하는 상품입니다. (단, 월요일은 12시까지 주문에 한함)
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로 주문일+기준출고일+택배사배송일(1일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※기준출고일:인터파크가 상품을 수급하여 물류창고에서 포장/출고하기까지 소요되는 시간
<업체 직접배송/오픈마켓 상품>
~
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다. 주문일+기준출고일+택배사배송일(2일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.) ※5일이내 출고가 시작되지 않을시, 오픈마켓 상품은 자동으로 주문이 취소되며, 고객님께 품절보상금을 지급해 드립니다.
배송비 안내
도서(중고도서 포함)만 구매하시면 : 배송비 2,000원 (1만원이상 구매 시 무료배송) 음반/DVD만 구매하시면 : 배송비 1,500원 (2만원이상 구매 시 무료배송) 잡지/만화/기프트만 구매하시면 : 배송비 2,000원 (2만원이상 구매 시 무료배송) 도서와 음반/DVD를 함께 구매하시면 : 배송비 1,500원 1만원이상 구매 시 무료배송) 도서와 잡지/만화/기프트/중고직배송상품을 함께 구매하시면 : 2,000원 (1만원이상 구매 시 무료배송) 업체직접배송상품을 구매시 : 업체별로 상이한 배송비 적용
* 세트상품의 경우 부분취소 시 추가 배송비가 부과될 수 있습니다.
* 북카트에서 배송비없애기 버튼을 클릭하셔서, 동일업체상품을 조금 더 구매하시면, 배송비를 절약하실 수 있습니다.
해외배송 안내
인터파크도서에서는 국내에서 주문하시거나 해외에서 주문하여 해외로 배송을 원하실 경우 DHL과 특약으로 책정된 요금표에
의해 개인이 이용하는 경우보다 배송요금을 크게 낮추며 DHL(www.dhl.co.kr)로 해외배송 서비스를 제공합니다. 해외배송은 도서/CD/DVD 상품에 한해 서비스하고 있으며, 다른 상품을 북카트에 함께 담으실 경우 해외배송이 불가합니다.
해외주문배송 서비스는 인터파크 도서 회원 가입을 하셔야만 신청 가능합니다.
알아두세요!!!
도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 취소될 수 있습니다. 오픈마켓업체의 배송지연시 주문이 자동으로 취소될 수 있습니다. 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 기준으로 배송됩니다. 유통의 특성상 출고기간은 예정보다 앞당겨지거나 늦춰질 수 있습니다. 택배사 배송일인 서울 및 수도권은 1~2일, 지방은 2~3일, 도서, 산간, 군부대는 3일 이상의 시간이 소요됩니다.
;)
전체 0개의 구매후기가 있습니다.
교환 및 반품이 가능한 경우 
상품을 공급 받은 날로부터 7일이내 가능 
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며,
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~ 
상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로
상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다.
