파이썬 텍스트 마이닝 바이블 [2권]

이상엽

연세대학교 언론홍보영상학부 부교수이며 연세대학교 인공지능대학의 겸임 교수로 활동하고 있다. 파이썬 코딩, 빅데이터 통계 분석, 기계학습, 딥러닝, 텍스트 마이닝 등의 수업을 진행하며, 컴퓨테이셔널 미디어 랩을 운영하면서 사회현상과 관련된 온라인 비정형 데이터를 통계 방법과 기계학습∙딥러닝 알고리즘을 이용해 분석하는 연구를 수행하고 있다. 연세대학교에서 컴퓨터 과학을 공부했고, 미시간 주립대에서 미디어∙정보 전공으로 석사와 박사 학위를 받았다.

• 이메일: sangyuplee@yonsei.ac.kr

• [3부] 딥러닝을 이용한 텍스트 분석
•  
• ▣ 13장: 딥러닝 소개
• 13.1 신경망
• ___13.1.1 신경망 소개
• ___13.1.2 신경망의 작동 원리
• 13.2 활성화 함수
• ___13.2.1 시그모이드 함수
• ___13.2.2 하이퍼볼릭 탄젠트 함수
• ___13.2.3 ReLU 함수
• ___13.2.4 Leaky ReLU 함수
• ___13.2.5 ELU 함수
• ___13.2.6 소프트플러스 함수
• ___13.2.7 GELU 함수
• 13.3 경사하강법
• ___13.3.1 사용되는 관측치의 수에 따른 경사하강법 구분
• ___13.3.2 신경망에서의 경사하강법 작동 원리
• ___13.3.3 오차 역전파
• ___13.3.4 경사 소실 문제
• ___13.3.5 경사 폭발 문제
• ___13.3.6 옵티마이저의 종류
• ___13.3.7 가중치 감쇠와 학습률 감쇠
• 13.4 가중치 초기화
• ___13.4.1 Xavier 초기화 방법
• ___13.4.2 He 초기화 방법
• 13.5 예제: 도시의 평균 집값 예측하기
• ___13.5.1 SGD 옵티마이저의 사용 예
• ___13.5.2 RMSprop 옵티마이저 사용의 예
• ___13.5.3 Adam 옵티마이저의 사용 예
• 13.6 신경망에서의 과적합 해결 방법
• ___13.6.1 L1/L2 규제화
• ___13.6.2 드롭아웃
• ___13.6.3 조기 종료
• ___13.6.4 배치 정규화
• ___13.6.5 계층 정규화
•  
• ▣ 14장: FNN을 이용한 텍스트 분석과 단어 및 문서 임베딩
• 14.1 FNN을 이용한 텍스트 분석
• 14.2 단어 임베딩
• ___14.2.1 원-핫 벡터와 단어 임베딩
• ___14.2.2 Word2vec
• ___14.2.3 FastText
• 14.3 문서 임베딩
• ___14.3.1 Doc2vec
•  
• ▣ 15장: CNN을 이용한 텍스트 분석
• 15.1 CNN
• ___15.1.1 CNN 소개
• ___15.1.2 파이썬 코딩하기
• 15.2 CNN을 이용한 텍스트 분석
• ___15.2.1 CNN에서의 문서 표현
• ___15.2.2 파이썬 코딩하기
•  
• ▣ 16장: 순환신경망 기반 알고리즘을 이용한 텍스트 분석
• 16.1 RNN
• ___16.1.1 RNN 소개
• ___16.1.2 RNN을 이용한 감성분석
• ___16.1.3 각 단어의 은닉 상태 벡터를 모두 사용하기
• ___16.1.4 여러 개의 RNN 층 사용하기
• 16.2 LSTM
• ___16.2.1 LSTM 소개
• ___16.2.2 LSTM을 이용한 감성분석
• ___16.2.3 양방향 LSTM
• ___16.2.4 양방향 LSTM을 사용한 감성분석
• 16.3 seq2seq
•  
• ▣ 17장: 트랜스포머
• 17.1 어텐션 알고리즘
• 17.2 셀프 어텐션
• 17.3 트랜스포머에서의 어텐션
• 17.4 트랜스포머 소개
• ___17.4.1 트랜스포머의 구조
• ___17.4.2 인코더 부분
• ___17.4.3 디코더 부분
• ___17.4.4 트랜스포머의 인코더 블록을 이용한 감성분석
•  
• ▣ 18장: BERT
• 18.1 BERT의 구조
• ___18.1.1 BERT 내부 구조
• ___18.1.2 BERT 학습
• ___18.1.3 BERT 논문에서 사용된 다운스트림 작업
• ___18.1.4 BERT를 이용한 각 단어의 벡터 추출하기
• 18.2 파이썬 코딩하기
• ___18.2.1 BERT를 사용한 단어와 문장/문서의 벡터 추출하기
• ___18.2.2 영어 텍스트 감성분석
• ___18.2.3 한글 텍스트 감성분석
•  
• ▣ 19장: BERT 기반 방법들
• 19.1 ALBERT
• ___19.1.1 ALBERT 소개
• ___19.1.2 파이썬 코딩하기
• 19.2 RoBERTa
• ___19.2.1 RoBERTa 소개
• ___19.2.2 파이썬 코딩하기
• 19.3 ELECTRA
• ___19.3.1 ELECTRA 소개
• ___19.3.2 파이썬 코딩하기
• 19.4 지식 증류 기반 방법들
• ___19.4.1 지식 증류
• ___19.4.2 DistilBERT
• ___19.4.3 TinyBERT
• 19.5 BERTopic
• ___19.5.1 문서 임베딩
• ___19.5.2 문서 군집화
• ___19.5.3 각 군집(토픽)을 나타내는 단어 찾기
• ___19.5.4 파이썬 코딩하기
•  
• ▣ 20장: GPT 모형들
• 20.1 GPT-1
• ___20.1.1 GPT-1에서의 학습
• 20.2 GPT-2
• ___20.2.1 학습 데이터
• ___20.2.2 모형의 구조
• ___20.2.3 모형의 성능
• ___20.2.4 파이썬 코딩하기
• 20.3 GPT-3
• ___20.3.1 제로샷, 원샷, 퓨샷
• ___20.3.2 학습 데이터
• ___20.3.3 모형의 구조
• ___20.3.4 모형의 성능
• ___20.3.5 GPT-3 미세조정하기
• 20.4 InstructGPT
• ___20.4.1 InstructGPT에서의 미세 조정
• ___20.4.2 모형의 성능
• 20.5 ChatGPT
•  
• ▣ 21장: 비전 트랜스포머를 이용한 텍스트 분석
• 21.1 ViT 소개
• 21.2 ViT를 이용한 이미지 분류
• 21.3 ViT를 이용한 텍스트 분류
• ___21.3.1 방법 1: N×D 문서에서 직접 패치를 추출
• ___21.3.2 방법 2: 문서를 패치로 분할하기 전에 Conv1D 필터 적용하기
• ___21.3.3 방법 3: N×C 결과물에서 C×C 패치 추출하기
•  
• ▣ 22장: 오토인코더를 이용한 텍스트 분석
• 22.1 오토인코더 소개
• 22.2 오토인코더를 MNIST 데이터에 적용해 보기
• 22.3 오토인코더를 이용해 문서를 저차원 벡터로 표현하기
• ___22.3.1 LSTM 기반 오토인코더 사용해 보기
• ___22.3.2 CNN 기반 오토인코더 사용해 보기
•  
• ▣ 부록A: 경사하강법에서의 순전파와 역전파
• A.1 예제 신경망 모형
• A.2 순전파
• A.3 역전파

• GitHub 저장소: https://github.com/wikibook/text-mining-bible
• ZIP 형식으로 다운로드: https://github.com/wikibook/text-mining-bible/archive/refs/heads/main.zip