데이터 분석을 위한 파이썬 철저 입문 (개정증보판)

기초 문법부터 실무에 필요한 데이터 분석 기술까지 한 번에 배우는

파이썬 데이터 처리 엑셀 데이터 분석 NumPy Pandas Matplotlib

최은석 지음

데이터 사이언스 시리즈_033
ISBN: 9791158391522
28,000원 | 2019년 04월 25일 발행 | 620쪽

파이썬 기초 문법부터, 데이터 분석을 위한 다양한 실무예제까지 설명합니다!

파이썬은 문법이 간결해서 프로그래밍을 처음 시작하는 초보자가 배우기 쉬운 언어입니다. 이 책은 다양한 예제를 바탕으로 기본적인 파이썬 문법에서부터 실무에 필요한 데이터 분석 기법까지 상세히 설명하고 있어서 파이썬을 처음 배우는 초보자뿐만 아니라 실무에 바로 적용할 수 있는 데이터 처리 방법을 찾고 있는 분들에게 좋은 기본서가 될 것입니다.

이 책에서 배운 내용을 각자의 업무에 적용하면 복잡한 데이터 처리 과정은 단순해지고, 지루하고 반복적인 작업은 자동화할 수 있습니다.

특히, 이번 개정판에서는 마지막 장에 '실전 데이터 분석 프로젝트'를 추가하여 데이터 분석 프로세스 및 심화 분석 기법을 배우고 서울시 업무추진비 데이터를 통해 데이터 수집, 결측치 처리, 데이터 요약/재구성 등 실제 데이터를 분석하는 전체 과정을 학습해 볼 수 있게 구성하였습니다.

★ 이 책에서 다루는 내용 ★

아나콘다(Anaconda)를 활용한 파이썬 개발 환경 설치 및 기본 문법
문자열 데이터 처리(분리, 삭제, 연결, 찾기, 바꾸기), 객체와 클래스의 개념 및 활용
NumPy와 Pandas를 이용한 배열 및 구조적 데이터 처리와 분석
Matplotlib을 이용한 데이터 시각화(다양한 그래프 출력, 꾸미기, 한글 폰트 사용)
엑셀 파일 다루기(데이터 읽기, 쓰기, 통합, 계산, 시각화)
Requests와 Beautiful Soup를 이용한 웹 데이터(HTML 파일) 수집 및 처리(웹 스크레이핑)
웹 API를 이용한 데이터 요청 및 응답 데이터(JSON 및 XML 형식) 처리
트위터에 트윗을 작성하고 메시지 가져오기, 정부의 공개 데이터 획득을 위한 Open API 활용
데이터 분석 프로세스 및 분석 기법 심화, 서울시 업무추진비 데이터를 활용한 실전 데이터 분석

도서 상세 이미지

최은석

GIST에서 박사학위를 받고 삼성전자에서 센서 기반 인터랙션 설계, 센서 신호 처리, 임베디드 시스템 S/W 관련 업무를 하고 있다. 항상 좀 더 좋은 방법이 없을까 고민하며 새로운 아이디어를 제시하고 구현하는 과정을 즐긴다. 파이썬을 이용한 업무 자동화, 데이터 처리 및 분석, 마이크로컨트롤러 응용에 관심이 많으며 주변 사람들에게 파이썬의 편리함을 알리고 있다.

▣ 01장: 파이썬 프로그래밍 언어
- 1.1 왜 프로그래밍 언어를 배워야 하나요?
- 1.2 프로그래밍 언어란?
- 1.3 왜 파이썬인가요?
▣ 02장: 파이썬 시작하기
- 2.1 파이썬 개발 환경 설치
  - 아나콘다 배포판 내려받기
  - 아나콘다 설치
- 2.2 첫 번째 코드 작성하기
- 2.3 코드 저장 및 실행
  - 파이썬 코드 저장
  - 파이썬 코드 실행
- 2.4 통합 개발 환경에서 코딩하기
  - 통합 개발 환경의 필요성
  - Spyder 실행 및 설정
  - Spyder 에디터에서 코드 작성
- 2.5 주피터 노트북에서 코딩하기
  - 주피터 노트북 실행
  - 주피터 노트북 사용법
  - 주피터 노트북에서 코드 작성
- 2.6 정리
▣ 03장: 파이썬을 계산기처럼 이용하기
- 3.1 간단한 사칙 연산
- 3.2 거듭 제곱과 나머지
- 3.3 과학적 표기법
- 3.4 진수 표현과 변환
- 3.5 논리 연산 및 비교 연산
- 3.6 정리
▣ 04장: 변수와 자료형
- 4.1 변수
- 4.2 문자열
  - 문자열 만들기
  - 문자열 다루기
- 4.3 리스트
  - 리스트 만들기
  - 리스트 다루기
- 4.4 튜플
  - 튜플 만들기
  - 튜플 다루기
- 4.5 세트
  - 세트 만들기
  - 세트의 교집합, 합집합, 차집합 구하기
  - 리스트, 튜플, 세트 간 타입 변환
- 4.6 딕셔너리
  - 딕셔너리 만들기
  - 딕셔너리 다루기
- 4.7 정리
▣ 05장: 제어문
- 5.1 조건에 따라 분기하는 if 문
  - 단일 조건에 따른 분기(if)
  - 단일 조건 및 그 외 조건에 따른 분기(i f ~ else)
  - 여러 조건에 따른 분기(if ~ elif ~ else)
  - 중첩 조건에 따른 분기
- 5.2 지정된 범위만큼 반복하는 for 문
  - 반복문의 필요성
  - for 문의 구조
  - 반복 범위 지정
  - 중첩 for 문
  - 여러 개의 리스트 다루기
- 5.3 조건에 따라 반복하는 while 문
  - while 문의 구조
  - 무한 반복 while 문
- 5.4 반복문을 제어하는 break와 continue
  - 반복문을 빠져나오는 break
  - 다음 반복을 실행하는 continue
- 5.5 간단하게 반복하는 한 줄 for 문
  - 리스트 컴프리헨션의 기본 구조
  - 조건문을 포함한 리스트 컴프리헨션
- 5.6 정리
▣ 06장: 입력과 출력
- 6.1 화면 출력
  - 기본 출력
  - 형식 지정 출력
- 6.2 키보드 입력
- 6.3 파일 읽고 쓰기
  - 파일 열기
  - 파일 쓰기
  - 파일 읽기
- 6.4 반복문을 이용해 파일 읽고 쓰기
  - 파일에 문자열 한 줄씩 쓰기
  - 파일에서 문자열 한 줄씩 읽기
- 6.5 with 문을 활용해 파일 읽고 쓰기
  - with 문의 구조
  - with 문의 활용
- 6.6 정리
▣ 07장: 함수
- 7.1 함수 정의와 호출
  - 함수의 기본 구조
  - 인자도 반환 값도 없는 함수
  - 인자는 있으나 반환 값이 없는 함수
  - 인자도 있고 반환 값도 있는 함수
- 7.2 변수의 유효 범위
- 7.3 람다(lambda) 함수
- 7.4 유용한 내장 함수
  - 형 변환 함수
  - bool 함수
  - 최솟값과 최댓값을 구하는 함수
  - 절댓값과 전체 합을 구하는 함수
  - 항목의 개수를 구하는 함수
  - 내장 함수의 활용
- 7.5 정리
▣ 08장: 객체와 클래스
- 8.1 클래스 선언과 객체 생성
  - 객체란?
  - 클래스 선언
  - 객체 생성 및 활용
  - 객체 초기화
- 8.2 클래스를 구성하는 변수와 함수
  - 클래스에서 사용하는 변수
  - 클래스에서 사용하는 함수
- 8.3 객체와 클래스를 사용하는 이유
- 8.4 클래스 상속
- 8.5 정리
▣ 09장: 문자열과 텍스트 파일 데이터 다루기
- 9.1 문자열 다루기
  - 문자열 분리하기
  - 필요없는 문자열 삭제하기
  - 문자열 연결하기
  - 문자열 찾기
  - 문자열 바꾸기
  - 문자열의 구성 확인하기
  - 대소문자로 변경하기
  - 데이터 파일 준비 및 읽기
- 9.2 텍스트 파일의 데이터를 읽고 처리하기
  - 파일에서 읽은 문자열 데이터 처리
- 9.3 정리
▣ 10장: 모듈
- 10.1 모듈을 사용하는 이유
- 10.2 모듈 생성 및 호출
  - 모듈 만들기
  - 모듈 불러오기
  - 모듈을 불러오는 다른 형식
- 10.3 모듈을 직접 실행하는 경우와 임포트한 후 실행하는 경우 구분하기
- 10.4 내장 모듈
  - 난수 발생 모듈
  - 날짜 및 시간 관련 처리 모듈
  - 달력 생성 및 처리 모듈
- 10.5 패키지
  - 패키지의 구조
  - 패키지 만들기
  - 패키지 사용하기
- 10.6 정리
▣ 11장: 데이터 분석을 위한 패키지
- 11.1 배열 데이터를 효과적으로 다루는 NumPy
  - 배열 생성하기
  - 배열의 연산
  - 배열의 인덱싱과 슬라이싱
- 11.2 구조적 데이터 표시와 처리에 강한 pandas
  - 구조적 데이터 생성하기
  - 데이터 연산
  - 데이터를 원하는 대로 출력하기
  - 데이터 통합하기
  - 데이터 파일을 읽고 쓰기
- 11.3 정리
▣ 12장: 데이터 시각화
- 12.1 matplotlib로 그래프 그리기
  - 선 그래프
  - 그래프 꾸미기
  - 산점도
  - 막대 그래프
  - 히스토그램
  - 파이 그래프
  - 그래프 저장하기
- 12.2 pandas로 그래프 그리기
  - pandas의 그래프 구조
  - pandas의 선 그래프
  - pandas의 산점도
  - pandas의 막대 그래프
  - pandas의 히스토그램
  - pandas의 파이 그래프
- 12.3 정리
▣ 13장: 엑셀 파일 다루기
- 13.1 엑셀 파일을 읽고 쓰기
  - 엑셀 파일의 데이터 읽기
  - 데이터를 엑셀 파일로 쓰기
- 13.2 엑셀 파일 통합하기
  - 효율적인 데이터 처리를 위한 엑셀 데이터 구조
  - 여러 개의 엑셀 파일 데이터를 통합하기
  - 통합 결과를 엑셀 파일로 저장하기
- 13.3 엑셀 파일로 읽어온 데이터 다루기
  - 데이터를 추가하고 변경하기
  - 여러 개의 엑셀 파일에서 데이터 수정하기
  - 엑셀의 필터 기능 수행하기
  - 조건을 설정해 원하는 행만 선택하기
  - 원하는 열만 선택하기
  - 엑셀 데이터 계산하기
- 13.4 엑셀 데이터의 시각화
  - 그래프를 엑셀 파일에 넣기
  - 엑셀 차트 만들기
- 13.5 정리
▣ 14장: 웹 스크레이핑
- 14.1 웹 브라우저로 웹 사이트 접속하기
  - 하나의 웹 사이트에 접속하기
  - 여러 개의 웹 사이트에 접속하기
- 14.2 웹 스크레이핑을 위한 기본 지식
  - 데이터의 요청과 응답 과정
  - HTML의 기본 구조
  - 웹 페이지의 HTML 소스 갖고 오기
  - HTML 소스코드를 분석하고 처리하기
- 14.3 웹 사이트에서 데이터 가져오기
  - 웹 스크레이핑 시 주의 사항
  - 순위 데이터를 가져오기
  - 웹 페이지에서 이미지 가져오기
- 14.4 정리
▣ 15장: 웹 API
- 15.1 웹 API의 이해
  - 웹 API의 데이터 획득 과정
  - 웹 API의 인증 방식
  - 응답 데이터의 형식 및 처리
  - 웹 사이트 주소에 부가 정보 추가하기
- 15.2 API 키를 사용하지 않고 데이터 가져오기
  - 국제 우주 정거장의 정보 가져오기
  - 국가 정보 가져오기
- 15.3 트위터에 메시지 작성하고 가져오기
  - API 키 및 접속 토큰 생성
  - Tweepy 설치 및 인증
  - 트윗 작성하기
  - 타임라인에서 메시지 가져오기
  - 키워드를 지정해 데이터 가져오기
- 15.4 정부의 공공 데이터 가져오기
  - 회원 가입 및 서비스 신청
  - 주소 및 우편번호 가져오기
  - 날씨 정보 가져오기
  - 대기 오염 정보 가져오기
- 15.5 정리
▣ 16장: 실전 데이터 분석 프로젝트
- 16.1 데이터 분석 프로세스
- 16.2 데이터 획득, 처리, 시각화 심화
  - 깃허브에서 파일 내려받기
  - 데이터에서 결측치 확인 및 처리
  - 데이터의 요약 및 재구성
  - 워드 클라우드를 이용한 데이터 시각화
- 16.3 실전 데이터(서울시 업무추진비) 분석
  - 데이터 분석의 주제 선정
  - 데이터 수집
  - 데이터 처리
  - 데이터 분석
- 16.4 정리

GitHub 저장소: https://github.com/wikibook/python-for-data-analysis-rev/
ZIP 형식으로 다운로드: https://github.com/wikibook/python-for-data-analysis-rev/archive/master.zip

3쇄 수정사항

40쪽, 본문 밑에서 3번째 줄

연산을 수행하는데 결과는 Ture입니다.

==>

연산을 수행하는데 결과는 True입니다.

446쪽, 페이지 상단 예제 코드의 1번째 줄

In: html_image = requests.get(pixabay_image_url)

==>

In: html_image = requests.get(reshot_image_url)

450쪽, 본문 2번째 줄

'num_of_download_image = len(pixabay_image_urls)'를 실행하면

==>

'num_of_download_image = len(reshot_image_urls)'를 실행하면

2쇄 수정사항

14장, 15장 , 16장 관련 참고 사항

421쪽에 나오는 알렉사의 홈페이지가 변경되어 관련 코드를 변경했습니다. 이 부분은 깃허브에 있는 3쇄용 노트북 파일을 참조하세요.
443쪽에 나오는 pixabay 사이트를 이용한 웹 스크레이핑은 더 이상 동작하지 않아서 3쇄에서는 reshot(https://www.reshot.com)을 이용합니다. 이 부분은 깃허브에 있는 3쇄용 노트북 파일을 참조하세요.
494쪽에 나오는 공공 데이터 포털이 개편되어 데이터를 가져오는 코드가 변경됐습니다. 이 부분은 깃허브에 있는 3쇄용 노트북 파일을 참조하세요.
558쪽 이후의 코드에서 서울시 업무추진비를 내려받을 연도를 지정할 때는 서울시 정보소통광장 행정정보 공개 깃허브 저장소를 확인해서 공개된 연도를 지정합니다.
- https://github.com/seoul-opengov/opengov

본문 수정사항

10쪽, 본문 밑에서 2번째 줄

입력하고 Enter 키를 누릅니다(그림 2-15).

==>

입력합니다(그림 2-15).
40쪽, 본문 밑에서 3번째 줄

연산을 수행하는데 결과는 Ture입니다.

==>

연산을 수행하는데 결과는 True입니다.
156쪽, 본문 4번째 줄

초기화 함수인 'Bicycle.init(self, size, numWheel, color)'를 이용했고

==>

초기화 함수인 'Bicycle.init(self, wheel_size, color)'를 이용했고
166쪽, 본문 2번째 줄

여기서 시퀀스는 리스트, 튜플, 세트와 같이 여러 데이터를 담고 있는 나열형 데이터입니다.

==>

여기서 시퀀스는 리스트나 튜플과 같이 여러 데이터를 순서대로 담고 있는 나열형 데이터입니다.
196쪽, 본문 밑에서 8번째 줄

다음은 시퀀스(리스트, 튜플, 세트) 데이터에서

==>

다음은 시퀀스(리스트, 튜플) 데이터에서
196쪽, 본문 밑에서 3번째 줄

이 함수는 시퀀스(리스트, 튜플, 세트)로

==>

이 함수는 시퀀스(리스트, 튜플)로
230쪽, '배열의 인덱싱과 슬라이싱' 항의 3번째 줄

배열의 위치나 조건을 지정해 배열의 원소 선택하는 것을

==>

배열의 위치나 조건을 지정해 배열의 원소를 선택하는 것을
231쪽, 본문 4번째 줄

1차원 배열에서 여려 개의 원소를

==>

1차원 배열에서 여러 개의 원소를
243쪽, 표 11-3의 4번째 행, 2번째 열

일요일 시작 기준 일주일 주기

==>

요일 시작 기준 일주일 주기
244쪽, 본문 첫 번째 줄

다음으로 달력 기준으로

==>

다음으로 달력의 요일을 기준으로
309쪽, 9번째 줄

기본 값(s=40, c='b', marker='o', alpha=1)으로 지정됩니다.

==>

기본 값(s=36, c='b', marker='o', alpha=1)으로 지정됩니다.
319쪽, 페이지 상단 표의 4번째 행, 1번째 열

95~100

==>

95~100(이하)
323쪽, 본문 첫 번째 문장 끝에 각주 추가

위에 생성한 파이 그래프는 원이 아니라 타원처럼 보입니다.

==>

위에 생성한 파이 그래프는 원이 아니라 타원처럼 보입니다¹.

¹ 파이 그래프를 그릴 때 matplotlib v3.0부터는 특별한 설정 없이도 기본적으로 원으로 파이 그래프를 그립니다.

411쪽, 페이지 중앙 예제 코드의 밑에서 4번째 줄

<a href="http://www.daum.net" class="portal" id="danum">다음</a> <br>

==>

<a href="http://www.daum.net" class="portal" id="daum">다음</a> <br>

412쪽, 두 번째 예제 코드 출력 결과의 3번째 줄

<a class="portal" href="http://www.daum.net" id="danum">다음</a>,

==>

<a class="portal" href="http://www.daum.net" id="daum">다음</a>,

412쪽, 세 번째 예제 코드 출력 결과의 2번째 줄

<a class="portal" href="http://www.daum.net" id="danum">다음</a>]

==>

<a class="portal" href="http://www.daum.net" id="daum">다음</a>]

414쪽, 첫 번째 예제 코드 출력 결과의 3번째 줄

<a class="portal" href="http://www.daum.net" id="danum">다음</a>,

==>

<a class="portal" href="http://www.daum.net" id="daum">다음</a>,

414쪽, 두 번째 예제 코드 출력 결과의 2번째 줄

<a class="portal" href="http://www.daum.net" id="danum">다음</a>]

==>

<a class="portal" href="http://www.daum.net" id="daum">다음</a>]

437쪽, 페이지 상단 예제 코드를 다음 코드로 수정

    return music_titles, music_artists

# 노래 제목과 아티스트를 저장할 파일 이름을 폴더와 함께 지정
file_name = 'C:/myPyCode/data/NaverMusicTop100.txt'

f = open(file_name,'w') # 파일 열기

# 각 page에는 50개의 노래 제목과 아티스트가 추출됨
for page in range(2):
    naver_music_url_page = naver_music_url + str(page+1) # page URL
    naver_music_titles, naver_music_artists = naver_music(naver_music_url_page)

    # 추출된 노래 제목과 아티스트를 파일에 저장
    for k in range(len(naver_music_titles)):
        f.write("{0:2d}: {1}/{2}\n".format(page*50 + k+1, naver_music_titles[k], naver_music_artists[k]))

f.close() # 파일 닫기

glob.glob(file_name) # 생성된 파일 확인

442쪽, 페이지 상단 예제 코드의 1번째 줄

In: # 이미지 데이터를 100000바이트씩 나눠서 내려받고 파일에 순차적으로 저장

==>

In: # 이미지 데이터를 1000000바이트씩 나눠서 내려받고 파일에 순차적으로 저장

443쪽, 예제 코드의 밑에서 5번째 줄

# 이미지 데이터를 100000 바이트씩 나눠서 저장

==>

# 이미지 데이터를 1000000 바이트씩 나눠서 저장

447쪽, 페이지 상단 예제 코드의 밑에서 5번째 줄

# 이미지 데이터를 100000 바이트씩 나눠서 저장하는 방법

==>

# 이미지 데이터를 1000000 바이트씩 나눠서 저장하는 방법

448쪽, 예제 코드의 19번째 줄

chunk_size = 1000000 # 이미지 데이터를 100000바이트씩 나눠서 저장

==>

chunk_size = 1000000 # 이미지 데이터를 1000000바이트씩 나눠서 저장

541쪽, 본문 3번째 줄

다음과 같이 method=bfill을

==>

다음과 같이 method='bfill'을
541쪽, 본문 밑에서 2번째 줄

다음과 같이 method=ffill을

==>

다음과 같이 method='ffill'을