데이터 분석을 위한 수리 모델 입문

데이터 뒤에 숨겨진 본질 파악하기

《데이터 분석을 위한 수리 모델 입문》은 데이터를 분석하고 응용하는 데 꼭 필요한 도구인 ‘수리 모델’에 관해 전반적인 내용을 그려볼 수 있는 조감도의 시점으로 설명하는 입문서입니다. ‘수리 모델’의 범위는 매우 넓어서 어디에 무엇이 있는지 정리하는 데만도 엄청난 양의 작업을 수행해야 합니다. 이 책에서는 기본 주제에서 최대한 벗어나지 않으면서, 단지 정보를 나열하는 것이 아니라 그것이 어떤 목적에 사용되고 어떤 아이디어를 기반으로 하는지, 또 서로 어떤 관계에 있는지 등의 내용을 연계해서 한 권의 입문서로 정리했습니다.

다양한 학문에서의 수리 모델 기법들은 모두 달라 보이지만, 데이터가 생성되는 원리를 잘 나타내는 수리 모델을 구축하고 그 수리 모델에서 정보를 얻어낸다는 기본 개념은 같습니다. 따라서 공통 개념이나 과정, 그리고 사용자가 직면하는 과제가 모든 기법에 존재합니다.

이 책에서는 수리 모델을 사용한 데이터 분석의 본질적인 부분을 골라내면서 데이터 분석을 넓은 시점에서 살펴보는 방식으로 설명을 진행합니다. 이러한 설명을 통해 다음과 같은 요구에 대해 적절한 답을 제시하고자 합니다.

  • 수리 모델을 사용해서 데이터를 분석하면 어떤 일이 가능한지 알고 싶다.
  • 현재 사용하는 수리 모델이 적절한 모델인지 알 수 없고, 다른 방법이 있다면 그 방법을 어떻게 찾아야 할지 알고 싶다.
  • 수리 모델의 움직임이나 성질을 공부해서 데이터를 본질에 더 가깝게 분석하고 싶다.

 

도서 상세 이미지

에자키 타카히로

도쿄대학 첨단과학기술 연구 센터 특임 강사. 2011년 도쿄대학 공학부 항공우주공학과 졸업. 2015년 동대학원 박사 과정 수료(특례 적용에 의해 1년 단축), 박사(공학). 일본 학술진흥회 특별 연구원, 국립정보학연구소 특임 연구원, JST 선도 연구원, 스탠포드 대학 객원 연구원을 거쳐, 2020년부터 현직. 도쿄대학 총장상, 이노우에 연구 장려상 등 수상. 수리적 해석기술을 무기로 통계물리학, 뇌과학, 행동경제학, 생화학, 교통공학, 물류과학 등 폭넓은 분야의 문제에 대처하고 있다.

김범준

일본 호세이대학 경영학부를 졸업했다. 대학 시절 취미로 프로그래밍을 시작한 것을 계기로 이 업계에 발을 들여놓게 됐으며, 한국과 일본에서 임베디드 시스템과 게임 관련 회사에서 개발 프로젝트를 진행했다. 번역서로는 《파이썬으로 다시 배우는 핵심 고등 수학》 《엔지니어를 위한 선형대수》 《기초 수학으로 이해하는 머신러닝 알고리즘》 《프랙티컬 C#》 《정석으로 배우는 딥러닝》 《러닝스쿨! 파이썬 교과서》 《유니티 UI 디자인 교과서》 《머신러닝 이론 입문》 《모던 C 언어 프로그래밍》 《따라 하면서 배우는 유니티 3D 입문》이 있으며, 저서로는 《만들면서 배우는 OS커널의 구조와 원리》 《뇌를 자극하는 하드웨어 입문》이 있다.

  • [01부] 수리 모델이란
    •  
  • ▣ 01장: 데이터 분석과 수리 모델
    • 1.1 데이터를 분석하는 일
      • 인간이 인지할 수 있는 한계와 데이터 분석
      • 대상을 데이터 생성 시스템으로 생각한다
      • 데이터 분석의 세계
      • 두 가지 접근법
    • 1.2 수리 모델의 역할
      • 데이터를 바라보는 것 이상의 분석이 필요하다면 수리 모델을 사용할 때
      • 수리 모델은 ‘가정하는 것’이다
      • 수리 모델을 구성하는 요소
      • 일단 변수로 표현해보자
    •  
  • ▣ 02장: 수리 모델을 구성하는 요소와 종류
    • 2.1 변수 수리의 구조 매개변수
      • 수리 모델을 구성하는 요소
      • 일단 변수로 표현해보자
      • 수리구조 = ‘수리 모델의 뼈대’
      • 매개변수는 수리 모델을 ‘움직인다’
    • 2.2 수리 모델과 자연과학의 기초 이론
      • 확립된 수리 모델은 기초 이론이 된다
      • 경계조건과 계산의 난이도
    • 2.3 이해 지향형 모델링과 응용 지향형 모델링
      • 목적에 따라 모델링은 크게 달라진다
      • 모델이 복잡한 정도와 쉽게 이해할 수 있는 정도
    • 2.4 이해 지향형 모델링
      • 이해 지향형 모델링 방법
      • (1) 수리 구조를 통해 설명하는 방법
      • (2) 추정한 매개변수의 값을 통해 설명하는 방법
      • (3) 추정된 잠재변수나 내부 표현을 사용해 그 다음 부분을 해석하는 방법
      • (4) 수리 모델에 있는 매개변수를 변화시키면서 상황을 시뮬레이팅하는 방법
    • 2.5 응용 지향형 모델링
      • 수리 모델의 데이터 생성능력을 활용한다
      • 예측모델의 예1: 값을 예측한다(회귀)
      • 예측모델의 예2: 분류 문제
      • 생성모델을 사용한 응용
    • 2.6 수리 모델의 한계와 적용 범위
      • ‘옳은’ 수리 모델?
      • 좋은 수리 모델도 항상 옳지는 않다
    •  
  • [02부] 기초적인 수리 모델
    •  
  • ▣ 03장: 방정식 모델
    • 3.1 선형모델
      • 변수 사이의 관계를 등식으로 표현한다
      • 선형모델
      • 선형모델을 구한다
      • 최소제곱법
    • 3.2 실험식과 커브 적합
      • BMI와 수리 모델
      • 멱법칙으로 특징짓는다
      • 대수플롯으로 멱법칙을 찾는다
      • 실험식
    • 3.3 최적화 문제
      • 목적한 양을 제어한다
      • 대역적 최적과 국소적 최적
      • 매개변수를 조정하는 일도 최적화
      • 최적화를 어렵게 만드는 요소
    •  
  • ▣ 04장: 미분 방정식으로 구성된 모델
    • 4.1 풀 수 있는 미분 방정식 모델
      • 미분 방정식을 통해 시간 변화를 나타낸다
      • 맬서스의 개체 수 모델
      • 맬서스 모델의 해의 구조
      • 개체 수가 계속 폭발적으로 늘어나는 것은 아니다
      • 간단한 연립 선형 미분 방정식
      • 두 개의 연립 미분 방정식
      • 연립 1계 선형 상미분 방정식
      • ‘고윳값’에 의해 해의 성질이 결정된다
    • 4.2 비선형 미분 방정식 모델
      • 비선형인 항을 포함한 미분 방정식 모델
      • 로트카-볼테라 방정식
      • ‘정상’인 상태에 관해 생각해 보자
      • 정상해의 ‘안정성’
      • 안정성을 실제로 평가한다
      • 미분 방정식을 선형화해서 해석한다
      • 수치 시뮬레이션
    • 4.3 풀 수 있은 모델과 풀 수 없는 모델
      • 풀 수 있는 미분 방정식은 많지 않다
      • 선형인 미분 방정식
      • 1 변수인 비선형 미분방정식
      • 편미분 방정식
      • 분석 소프트웨어를 이용한다
    • 4.4 제어이론
      • 입력변수에 대해 시스템이 어떻게 응답하는가
      • 미분 방정식을 풀기 위해 사용되는 도구
      • 라플라스 변환으로 미분 방정식을 푼다
      • 미분 방정식에 제어항을 넣어보자
      • 목푯값을 달성하기 위한 피드백을 생각한다
      • 고전 제어이론과 현대 제어이론, 그리고 그 이후
    •  
  • ▣ 05장: 확률모델
    • 5.1 확률과정
      • 확률적인 상황을 생각해 보자
      • 확률분포는 확률의 정보를 모아 놓은 것이다
      • 연속변수의 확률분포
      • 연속변수의 확률분포: 확률밀도함수
      • 주사위를 여러 번 던진다
    • 5.2 마르코프 과정
      • 마르코프 과정은 과거의 상태를 무시한다
      • 점심 메뉴 정하기
      • 어떤 비율로 라면을 먹게 될까
      • 상태확률의 방정식을 세운다
      • 시간이 충분히 경과한 후
    • 5.3 대기행렬이론
      • 창구의 대기줄을 확률적으로 표현한다
      • 평균적인 움직임에 기반한 추측
      • 사용자가 무작위로 도착하는 모습을 표현한 포와송 과정
      • 커지고 작아지는 모습을 표현하는 출생사멸 과정
      • 대기줄의 길이를 확률적으로 구한다
      • 정상상태 분석
      • 확률분포를 알면 기댓값을 구할 수 있다
      • 확률모델의 강점과 한계
      • 수치적인 해석은 비교적 쉽다
      • 마르코프 근사
    •  
  • ▣ 06장: 통계모델
    • 6.1 정규분포
      • 뱀 주사위 놀이 결과
      • 정규분포는 확률분포의 왕
      • 정규분포의 정의
      • 다른 정규분포끼리 덧셈한 것도 정규분포
      • 정규분포를 제곱해서 덧셈하면 어떻게 될까?
    • 6.2 통계적 검정
      • 분산에 관해 생각해 본다
      • 우연의 확률
      • 평균에 관한 검정
      • 통계검정은 만능이 아니다
      • 1종 오류와 2종 오류
      • 통계검정 실시
    • 6.3 회귀분석
      • 선형모델의 타당성
      • 같은 선형모델에서 나타나는 차이
      • 피어슨 상관계수로 평가한다
      • 선형식과 잘 부합되기만 하면 괜찮을까?
      • 변수의 개수가 많을 때는 중회귀분석
      • X 선형이 아닌 모델
    •  
  • [03부] 수준 높은 수리 모델
    •  
  • ▣ 07장: 시계열 모델
    • 7.1 시계열 데이터를 구성하는 구조
      • 다양한 시계열
      • 여러 가지 접근법
      • 트렌드+성분+노이즈
      • 주파수 성분
      • 특정한 비선형 구조가 있는 경우
      • 시계열이 정상인지를 알아본다
      • 시간을 설명변수로 사용해서 통계검정을 실행하면 안 된다
    • 7.2 관측변수를 사용한 모델
      • 예측에 사용할 수 있는 모델들
      • AR 모델
      • ARMA 모델
      • ARIMA 모델
      • SARIMA 모델
    • 7.3 상태공간 모델
      • 상태변수를 포함한 모델
      • 상태공간 모델의 일반적인 표현
      • 이산시간, 선형, 가우스 모델
      • 다른 경우의 상태공간 모델
    • 7.4 그 밖의 다양한 시계열 분석법
      • 자기상관으로 시간구조를 특징짓는다
      • 이상확산으로 특징짓는다
      • 푸리에 변환으로 주파수를 해석한다
      • 카오스, 비선형 시계열 해석
      • 두 개 이상의 시계열에서 인과관계를 조사한다
    •  
  • ▣ 08장: 머신러닝 모델
    • 8.1 머신러닝으로 다루는 모델과 문제의 특징
      • 머신러닝의 기본적인 개념
      • 복잡한 문제, 복잡한 모델
      • 모델의 자유도와 오버피팅
      • 머신러닝 모델을 사용해서 분석한다
    • 8.2 분류와 회귀 문제
      • 분류와 회귀
      • 결정 트리
      • 랜덤 포레스트
      • 서포트 벡터 머신
      • 신경망
    • 8.3 클러스터링
      • 클러스터링으로 데이터를 해석한다
      • k-평균법
      • 혼합분포 모델
      • 계층적 클러스터링 기법
    • 8.4 차원축소
      • 차원축소란
      • 주성분 분석
      • 독립성분 분석
      • 비선형인 차원축소법
    • 8.5 딥러닝
      • 딥러닝이란
      • 컨볼루션 신경망
      • 순환 신경망
      • 오토인코더
      • 적대적 생성 네트워크
    •  
  • ▣ 09장: 강화학습 모델
    • 9.1 행동 모델인 강화학습
      • 강화와 학습
      • 도박 문제
      • 행동 선택을 포함한다
      • 모델의 다양성과 발전
      • 행동모델로 사용한다
    • 9.2 머신러닝 분야의 강화학습
      • 머신러닝 분야의 강화학습
      • 가치 함수의 성질을 결정한다
      • 가치 함수를 갱신한다
      • 딥러닝을 사용한 Q 학습
      • Q 학습 이외의 방법
    •  
  • ▣ 10장: 다체계 모델(행위자 기반 모델)
    • 10.1 미크로에서 매크로로
      • 다체계 모델(행위자 기반 모델)이란
      • 모델을 구성하는 요소
      • 시간과 공간의 이산화
      • 매크로적인 변수로 시스템의 움직임을 특징짓는다
      • 모델을 분석하는 방식
    • 10.2 다양한 집단 현상 모델
      • 집단 모델
      • 동기 현상 모델
      • 인간의 행동과 의사결정 모델
    • 10.3 상호작용 네트워크
      • 네트워크 구조를 통해 문제를 본다
      • 다른 노드와 얼마나 연결됐나
      • 유유상종?
      • 네트워크상에서 이동하기 쉬운 정도를 특징짓는다
      • ‘중심성’으로 중요한 노드를 특징짓는다
      • ‘친구의 친구’는 친구일까?
      • 무작위 네트워크를 만든다
      • 척도 없는 네트워크의 기본 모델
      • 컨피규레이션 모델
    •  
  • [04부] 수리 모델을 만든다
    •  
  • ▣ 11장: 모델을 결정하기 위해 필요한 요소
    • 11.1 수리 모델의 성질
      • 수리 모델을 만드는 목적
      • 모델링은 시행착오다
      • 결정론적 모델 vs. 확률 모델, 통계 모델
      • 이용할 수 있는 모델을 검토한다
    • 11.2 이해 지향형 모델링의 요점
      • 이해하기 쉬운 모델이란
      • 간단한 모델이라고 해서 무엇이든 괜찮은 것은 아니다
      • 이해하려는 깊이와 모델링 기법
      • 수리 모델과 연역
      • 모델에 지정한 메커니즘의 수준보다 근원적인 내용은 설명할 수 없다
    • 11.3 응용 지향형 모델링의 요점
      • 문제를 정의한다
      • 성능을 중시해서 모델을 선택한다
      • 데이터의 성질
    •  
  • ▣ 12장: 모델을 결정하기 위해 필요한 요소
    • 12.1 변수를 선택한다
      • 포함해야 할 변수, 포함하지 않는 변수
      • 변수의 해석성
      • 관계없는 변수는 제외한다
      • 특징량 엔지니어링
      • 이산값 변수와 연속값 변수
    • 12.2 데이터 수집과 실험계획
      • 주목하는 변수의 영향을 제어하면서 데이터를 수집한다
      • 피셔의 삼원칙
      • 피셔의 삼원칙은 데이터의 치우침을 알아내는 힌트다
    • 12.3 수리 구조와 매개변수 선택
      • 목적에 맞는 수리 구조를 선택한다
      • 목적변수의 분산을 무시할 수 없는 경우
      • 분산을 생각하지 않아도 되는 경우
      • 매개변수 값의 범위
    • 12.4 모델링에 실패하지 않으려면
      • 기존 체계와의 일관성과 비교
      • 망치만 가진 사람에게는 모든 것이 못으로 보인다
      • 데이터에 적절한 전처리를 가한다
    •  
  • ▣ 13장: 매개변수를 추정한다
    • 13.1 목적에 맞는 매개변수 추정
      • 움직일 수 있는 매개변수와 움직일 수 없는 매개변수
      • 매개변수를 점추정한다
      • 변수의 움직임을 정량적으로 데이터에 맞추는 경우
      • 단순히 오차의 크기의 평균을 계산한다
      • 대수우도
      • 확률분포 사이의 ‘차이’를 최소화하는 지표
      • 교차 엔트로피
    • 13.2 추정에서 목적함수를 최소화한다
      • 목적함수를 최소화하려면
      • 해석적으로 푼다
      • 매개변수를 스윕한다
      • 경사하강법
      • 국소해에 빠지지 않으려면
      • 과대적합을 피한다
      • 목적함수를 최소화한다
    • 13.3 베이즈 추정과 베이즈 모델링
      • 베이즈 추정은 매개변수의 분포를 생각하는 것이다
      • 매개변수의 확률분포란?
      • 추정된 분포를 특징짓는다
      • 마르코프 연쇄 몬테카를로법
      • 메트로폴리스법
    •  
  • ▣ 14장: 모델을 평가한다
    • 14.1 ‘좋은 모델’이란
      • 목적에 맞는 모델을 평가한다
      • 메커니즘의 이해를 목적으로 한 모델 평가
      • 통계적 추론을 실행하기 위한 모델 평가
      • 응용 지향형 모델링에서 모델을 평가한다
    • 14.2 분류 정확도를 측정하는 지표
      • 적합성과 성능을 측정한다
      • 정답률, 재현율, 특이도, 적합률, F값
      • ROC 곡선과 AUC
    • 14.3 정보량 규준
      • 모델이 복잡하면 적합도는 높아진다
      • 아카이케 정보량 규준(AIC)
      • 베이즈 정보량 규준 BIC
      • 그 밖의 정보량 규준
    • 14.4 널 모델과 비교, 우도비 검정
      • 모델에 넣은 요소에 의미가 있는가
      • 우도비 검정
      • 통계검정과 널 모델
    • 14.5 교차검증
      • 모델의 성능을 미지의 데이터로 테스트한다
      • 누수에 주의한다
      • 모델의 신빙성과 미지의 데이터