파이썬을 활용한 딥러닝 전이학습

Transfer Learning으로 빠르고 손쉽게 구축하는 고급 딥러닝 모델

이 책의 목적은 두 가지다. 첫째, 딥러닝과 전이학습에 관한 자세한 내용을 집중적으로 다루고 이해하기 쉬운 개념과 예제로 이 둘을 비교 및 대조한다. 둘째, 텐서플로, 케라스, 파이썬 등의 기존 생태계를 활용해 실제 사례와 연구 문제 등을 실습 예제로 다룬다.

이 책은 머신러닝과 딥러닝의 핵심 개념으로 시작해, 중요한 딥러닝 아키텍처인 CNN, DNN, RNN, LSTM, 캡슐 네트워크 등을 다룬다. 그다음, 전이학습의 개념에 초점을 맞춰 모델 동결, 미세 튜닝, VGG, Inception, ResNet을 포함한 사전 훈련된 최신 네트워크를 다룬다. 그리고 이러한 네트워크를 활용해 딥러닝 모델의 성능을 어떻게 향상시킬 수 있는지를 설명한다. 마지막으로 컴퓨터 비전, 오디오 분석, 자연어 처리(NLP) 같은 분야에서 다양한 실제 사례 연구와 문제를 다룬다.

이 책을 다 읽을 때쯤이면 각자의 시스템에서 딥러닝과 전이학습 이론을 구현할 만반의 준비가 돼 있을 것이다.

 

★ 이 책에서 다루는 내용 ★

  • GPU(graphics processing unit)와 클라우드가 지원되는 자신만의 딥러닝 환경 설정
  • 머신러닝과 딥러닝 모델로 전이학습의 원리 탐구
  • CNN과 LSTM, 캡슐 네트워크를 포함한 다양한 딥러닝 아키텍처 탐색
  • 데이터 및 네트워크 표현과 손실 함수에 관한 학습
  • 전이학습 모델과 전략 파악
  • 복잡한 전이학습 모델을 처음부터 구축할 때 생길 수 있는 잠재적 문제 해결
  • 컴퓨터 비전 및 오디오 분석과 관련된 실제 연구 문제 탐색
  • 자연어 처리에서 전이학습을 활용하는 방법 이해

 

도서 상세 이미지

디파니안 사르카르(Dipanjan(DJ) Sarkar)

디파니안 사르카르는 데이터 과학과 머신러닝, 딥러닝을 활용해 대규모 지능형 시스템을 구축하고 있는 인텔의 데이터 과학자다. 그는 데이터 과학 및 소프트웨어 엔지니어링 분야의 전문 기술로 석사 학위를 취득했다. 현재 머신러닝과 자연어 처리, 통계 방법, 딥러닝을 전문적으로 분석하고 있다.

러그허브 발리(Raghav Bali)

러그허브 발리는 옵텀(United Health Group)의 데이터 과학자다. 유스케이스에 기초해서 머신러닝, 딥러닝, 의료와 보험 관련 자연어 처리로 기업 수준의 솔루션 연구와 개발을 하고 있다. 이전에 인텔에서 상황 주도적인 데이터 중심의 IT 기획에 관여했었다.

타모그나 고시(Tamoghna Ghosh)

타모그나 고시는 인텔의 머신러닝 엔지니어다. 마이크로소프트 연구소(Microsoft Research, MSR) 인도에서의 4년간의 핵심 연구 경험을 포함해 총 11년의 경력이 있다. MSR에서 그는 암호 분석 연구 분야 조교로 블록 암호를 푸는 일을 했다. 빅 데이터, 머신러닝, 자연어 처리, 정보 검색, 데이터 시각화 및 소프트웨어 개발에 전문적인 지식이 있다.

송영숙

송영숙은 경희대학교 국어국문학과에서 공부하고 있다. 국어학을 전공했고 전산언어학과 언어 유형론에 관심이 많다. 사람의 언어와 기계의 언어에 장벽을 조금이라고 줄여서 벽을 허물고 길을 내는 사람이 되려고 노력하고 있다.

심상진

심상진은 물리학을 전공하고 company.AI에서 챗봇 관련 업무를 담당하고 있다. 늘 머신러닝을 현실에서 잘 사용할 수 있는 방법을 찾기 위해 고심하고 있다.

한수미

한수미는 한림대학교 영어영문학과 및 디지털 인문예술전공 조교수다. 영어평가 및 응용언어학을 전공했고 자동언어평가를 연구하기 위해서 딥러닝의 세계에 입문했다. 현재 대학에서 영어학과 데이터분석 및 시각화 관련 수업을 하고 있고, 교육공학에 관심이 많다.

고재선

고재선은 주식회사 농협은행 준법감시부 법무팀 변호사다. 통신공학과 법학을 전공했고, 법과 과학기술 사이의 접점에 관심이 많다

  • ▣ 1장: 머신러닝의 기초 원리
    • 왜 머신러닝인가?
      • 공식적 정의
      • 얕은 학습과 딥러닝
    • 머신러닝 기법
      • 지도 학습
      • 비지도 학습
    • CRISP-DM
      • 비즈니스 이해
      • 데이터 이해
      • 데이터 준비
      • 모델링
      • 평가
      • 배포
    • 표준 머신러닝 워크플로
      • 데이터 검색
      • 데이터 준비
      • 모델링
      • 모델 평가와 튜닝
      • 배포와 모니터링
    • 탐색적 데이터 분석
    • 특성 추출과 특성 엔지니어링
      • 특성 엔지니어링에서 쓰는 전략
      • 텍스트 데이터 다루기
    • 특성 선택
    • 정리
    •  
  • ▣ 2장: 딥러닝 기초
    • 딥러닝이란 무엇인가?
    • 딥러닝 프레임워크
    • GPU가 지원되는 클라우드 기반의 딥러닝 환경 구축
    • GPU 지원을 통한 강력한 딥러닝 환경 구축하기
    • 신경망 기초
      • 단순한 선형 뉴런
      • 기울기 기반 최적화
      • 야코비와 헤세 행렬
      • 미분의 연쇄 규칙
      • 확률적 경사 하강
      • 비선형 신경 유닛
      • 간단한 비선형 유닛 학습 - 로지스틱 유닛
      • 손실 함수
      • 데이터 표현
      • 다층 신경망
      • 역전파 - 심층 신경망 훈련하기
      • 신경망 학습의 과제
      • 모델 파라미터의 초기화
      • SGD의 개선
      • 신경망에서의 과대 적합과 과소 적합
      • 신경망의 하이퍼 파라미터
    • 정리
    •  
  • ▣ 3장: 딥러닝 아키텍처 이해하기
    • 신경망 아키텍처
      • 왜 다른 아키텍처가 필요할까
    • 다양한 아키텍처
      • MLP와 심층 신경망
      • 오토인코더 신경망
      • 변분 오토인코더
      • 적대적 생성망
      • CNN
      • 캡슐 네트워크
      • 순환 신경망
      • 메모리 신경망
      • 신경 튜링 기계
      • 어텐션 기반 신경망 모델
    • 정리
    •  
  • ▣ 4장: 전이학습의 기초
    • 전이학습 소개
      • 전이학습의 혜택
    • 전이학습 전략
    • 전이학습과 딥러닝
      • 전이학습의 방법
      • 사전 훈련 모델
      • 활용
    • 심층 전이학습의 유형
      • 도메인 적응
      • 도메인 혼란
      • 다중 과제 학습
      • 원샷 학습
      • 제로샷 학습
    • 전이학습의 도전 과제
      • 부정적 전이
      • 전이 범위
    • 정리
    •  
  • ▣ 5장: 전이학습의 위력 발휘하기
    • 전이학습의 필요성
      • 실제적인 문제에서의 설정
      • 데이터 세트 구축
      • 접근법 설정
    • CNN 모델 처음부터 구축하기
      • 기본 CNN 모델
      • CNN 모델과 정규화
      • CNN 모델과 이미지 늘리기
    • 전이학습에서 사전 훈련된 CNN 모델 활용하기
      • VGG-16 모델의 이해
      • 특성 추출기로 사전 훈련된 CNN 모델
      • 특성 추출기와 이미지 늘리기로 사전 훈련된 CNN 모델
      • 사전 훈련된 CNN 모델과 미세 튜닝 및 이미지 늘리기
    • 딥러닝 모델 평가
      • 샘플 테스트 이미지로 모델 예측
      • CNN 모델이 인지한 것을 시각화하기
      • 테스트 데이터로 수행한 평가 모델 성능
    • 정리
    •  
  • ▣ 6장: 이미지 인식과 분류
    • 딥러닝 기반의 이미지 분류
    • 벤치마킹 데이터 세트
    • 최신 이미지 분류 모델
    • 이미지 분류와 전이학습
      • CIFAR-10
      • 개 품종 식별 데이터 세트
    • 정리
    •  
  • ▣ 7장: 텍스트 문서의 범주화
    • 텍스트 범주화
      • 전통적인 텍스트 범주화
    • 단어 표현
      • Word2vec 모델
      • Gensim을 이용한 Word2vec
      • GloVe 모델
    • CNN 문서 모델
      • 리뷰 감성 분류기 구현
      • 가장 많이 변경된 임베딩은 무엇일까?
      • 전이학습 - IMDB 데이터 세트에 적용
      • Word2vec 임베딩으로 전체 IMDB 데이터 세트 훈련
      • CNN 모델로 문서 요약하기
      • CNN 모델을 이용한 다중 클래스 분류
      • 문서 임베딩 시각화
    • 정리
    •  
  • ▣ 8장: 오디오 이벤트 식별과 분류
    • 오디오 이벤트 분류의 이해
      • 실세계 문제에서의 설정
      • 오디오 이벤트의 탐색적 분석
    • 특성 엔지니어링과 오디오 이벤트의 표현
    • 전이학습을 통한 오디오 이벤트 분류
    • 기본 특성으로 데이터 세트 구축하기
      • 특성 추출을 위한 전이학습
      • 분류 모델 만들기
      • 분류기 성능 평가
    • 딥러닝 오디오 이벤트 식별자 만들기
    • 정리
    •  
  • ▣ 9장: 딥드림
    • 소개
      • 컴퓨터 비전의 알고리즘적 환각
      • 특성 지도 시각화
    • 딥드림
      • 예제
    • 정리
    •  
  • ▣ 10장: 스타일 전이
    • 신경 스타일 전이의 이해
    • 이미지 전처리 방법
    • 손실 함수 구축
      • 내용 손실
      • 스타일 손실
      • 총 변동 손실
      • 총 손실 함수
    • 커스텀 최적화기 만들기
    • 스타일 전이의 작동
    • 정리
    •  
  • ▣ 11장: 자동 이미지 캡션 생성기
    • 이미지 캡션 넣기의 이해
    • 목표 설정
    • 데이터 이해하기
    • 자동화된 이미지 캡션 넣기의 접근 방식
      • 개념적 접근
      • 유용한 실습 방법
    • 전이학습과 이미지 특성 추출
    • 캡션에 쓸 어휘집 작성
    • 이미지 캡션 데이터 세트 생성기 구축
    • 이미지에 쓸 언어 인코더-디코더 딥러닝 모델 구축
    • 이미지에 캡션을 넣는 딥러닝 모델 훈련
    • 이미지에 캡션을 넣는 딥러닝 모델 평가
      • 데이터와 모델 불러오기
      • 그리디 서치와 빔 서치의 이해
      • 빔 서치 기반 캡션 생성기 구현
      • BLEU 채점의 이해와 구현
      • 테스트 데이터에서 모델 성능 평가
    • 이미지에 캡션 넣기 자동화의 실제
      • 야외 장면에서 샘플 이미지에 캡션 넣기
      • 인기 있는 스포츠의 샘플 이미지에 캡션 넣기
      • 개선할 점들
    • 정리
    •  
  • ▣ 12장: 이미지 채색
    • 문제 설명
    • 컬러 이미지
      • 색상 이론
      • 색상 모델과 색상 공간
      • 문제 상태 재검토
    • 채색 심층 신경망 구축
      • 전처리
      • 손실 함수
      • 인코더
      • 전이학습 - 특성 추출
      • 융합층
      • 디코더
      • 후처리
      • 훈련과 결과
    • 도전 과제
    • 추가 개선 사항
    • 정리
    •