데이터 분석을 떠받치는 수학

손민규

소니 반도체에서 데이터 분석을 활용한 알고리즘 및 시스템 개발 업무를 했다. 현재 삼성전자에서 관련 데이터 분석 업무를 하고 있으며 사원을 대상으로 통계 알고리즘 강의를 진행했다. 일본 규슈대학교에서 인공지능의 한 분야인 Reinforcement Learning 알고리즘 개발로 박사학위를 받았으며 관심 분야는 Reinforcement Learning, Neural Network, Genetic Algorithm 등 Machine Learning Algorithm을 활용한 시스템 개발이다.

• ▣ 01장: 데이터 분석이란
  • 1.1 데이터 분석 프로세스
    • 1.1.1 문제 정의
    • 1.1.2 데이터 수집
    • 1.1.3 데이터 분석
    • 1.1.4 검증 및 고찰
  • 1.2 데이터 분석 알고리즘의 특징과 종류
  •  
• ▣ 02장: 데이터 분석을 위한 기초
  • 2.1 기초 통계량
    • 2.1.1 평균
    • 2.1.2 중앙값
    • 2.1.3 최빈값
    • 2.1.4 최댓값, 최솟값, 범위
  • 2.2 분산과 표준편차
    • 2.2.1 표준오차
    • 2.2.2 분산
    • 2.2.3 표준편차
    • 2.2.4 모집단의 개수와 표본집단의 개수
    • 2.2.5 엑셀로 분산과 표준편차를 계산하는 방법
    • 2.2.6 정규분포
    • 2.2.7 정규분포를 이용한 이상점 검출
  • 2.3 데이터 표준화
  • 2.4 공분산과 상관계수
    • 2.4.1 공분산
    • 2.4.2 상관계수
  • 2.5 행렬
    • 2.5.1 정방행렬
    • 2.5.2 영행렬
    • 2.5.3 대각행렬과 단위행렬
    • 2.5.4 삼각행렬
    • 2.5.5 전치행렬
  • 2.6 행렬 연산
    • 2.6.1 행렬의 덧셈과 뺄셈
    • 2.6.2 행렬의 곱셈
    • 2.6.3 공분산 행렬과 상관행렬
    • 2.6.3 역행렬
  • 2.7 데이터 분석과 행렬
    • 2.7.1 연립 방정식과 행렬
    • 2.7.2 좌표변환과 행렬
  • 2.8 미분과 편미분
    • 2.8.1 미분
    • 2.8.2 편미분
  •  
• ▣ 03장: 압축 기법 - 주성분분석
  • 3.1 주성분분석 개요
  • 3.2 주성분분석 실습
    • Step 0 데이터 표준화
    • Step 1 상관행렬을 구한다
    • Step 2 상관행렬의 고윳값, 고유벡터를 구한다
    • Step 3 고유벡터를 이용해 표준화된 데이터를 주성분 공간으로 이동시킨다
  • 3.3 주성분분석 활용
    • 3.3.1 차원축소
    • 3.3.2 데이터 분석
  •  
• ▣ 04장: 분류 기법 - 마할라노비스-다구찌 시스템
  • 4.1 개요
  • 4.2 MTS 분석 실습
    • 4.2.1 모델 구축
    • 4.2.2 모델 활용(이상 감지)
  • 4.3 역행렬을 이용한 MTS 구축
    • 4.3.1 모델 구축
    • 4.3.2 모델 활용(이상 감지)
  •  
• ▣ 05장: 예측기법 - 회귀 분석
  • 5.1 선형회귀분석
    • 5.1.1 단순 선형 회귀
    • 5.1.2 다중회귀
  • 5.2 주성분회귀분석
    • 5.2.1 데이터 표준화
    • 5.2.2 상관행렬 계산
    • 5.2.3 고윳값, 고유벡터 계산
    • 5.2.4 좌표변환
    • 5.2.5 다중회귀 계산
    • 5.2.6 변환행렬 A 계산
  • 5.3 부분최소제곱법 분석
    • 5.3.1 데이터 표준화
    • 5.3.2 가중치 행렬 W 계산
    • 5.3.3 잠재변수 T 계산
    • 5.3.4 다중회귀 계산
    • 5.3.5. 표준화 회귀계수 계산
    • 5.3.6 회귀계수 계산

• GitHub 저장소: https://github.com/wikibook/math-for-data-science
• ZIP 형식으로 다운로드: https://github.com/wikibook/math-for-data-science/archive/master.zip

• 70쪽, 페이지 상단 식 2.12를 다음 수식으로 교체

  $ C = A \pm B = \begin{bmatrix}a{11} & a{12} \\ a{21} & a{22}\end{bmatrix} \pm \begin{bmatrix}b{11} & b{12} \\ b{21} & b{22}\end{bmatrix} = \begin{bmatrix}a{11} \pm b{11} & a{12} \pm b{12} \\ a{21} \pm b{21} & a{22} \pm b{22}\end{bmatrix} $

• 97쪽, 4번째 숫식의 확대/축소 조건

  확대: i,j > 0
  축소: i,j < 0

  ==>

  확대: i,j > 1
  축소: 0 < i,j < 1

• 295쪽, 그림 5.78의 W3 값을 다음과 같이 수정(J25~J27)

  0.76
  0.64
  -0.09