GPT-5와 ChatGPT로 시작하는 멀티모달 AI 프로그래밍 실전 입문 (ebook)

후루카와 히데카즈 (布留川 英一)

1999년, 《JAVA PRESS》(기술평론사)에서 휴대폰 앱 개발 방법에 대한 연재를 시작했다. 2001년, 주식회사 DWANGO에서 Java 탑재 휴대폰 503i의 출시 타이틀인 ‘사무라이 로마네스크’ 개발에 참여했다. 이후 새로운 단말기의 신기능을 활용한 앱을 만들면서 기술 서적을 계속 집필하여 25년간 약 50권을 출간했다. 현재는 주식회사 젤펨(Zelpm inc.)에서 사람과 AI의 공생 환경 실현을 목표로 인공지능 연구 개발에 힘쓰고 있다. 주요 저서로는 《제미나이 인공지능 프로그래밍》(길벗), 《GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍》(위키북스), 《BERT/GPT-3/DALL-E 자연어 처리·이미지 처리·음성 처리 인공지능 프로그래밍 실전 입문》 《Unity로 시작하는 ROS·인공지능 로봇 프로그래밍 실전 입문》 《알파제로를 분석하며 배우는 인공지능》(제이펍), 《Unity로 시작하는 머신러닝·강화학습 Unity ML-Agents 실전 게임 프로그래밍 v2.2 대응판》 《OpenAI Gym/Baselines 딥러닝·강화학습 인공지능 프로그래밍 실전 입문》(본디지털) 등이 있다. 공저로는 《Unity 게임 프로그래밍 바이블》 《Unity 게임 프로그래밍 바이블 2nd Generation》(본디지털)이 있다.

최용

한국방송통신대학교에서 컴퓨터과학을 전공하고, 응용 소프트웨어 개발자와 은행 전산실 운영자를 거쳐 소프트웨어 컨설턴트로서 엔터프라이즈 IT 시스템 운영 자동화 솔루션 구축 및 기술 지원 업무를 수행했다. 현재는 IT 전문서의 저술·번역·교정 작업을 이어오고 있으며, 인공지능을 일상 업무와 지식 생산에 도입해 얻은 실무적 효율을 다양한 기술 영역으로 확장하는 데 깊은 관심을 두고 있다. 대표적인 저서로 2025년 세종도서 학술부문에 선정된 《OpenAI, 구글 Gemini, 업스테이지 Solar API를 활용한 실전 LLM 앱 개발》(위키북스)이 있으며, 이를 포함해 인공지능, 파이썬, 보안 등 IT 전반에 걸쳐 다수의 전문서를 집필하고 번역했다.

소프트웨어를 넘어 하드웨어와 결합된 지능형 시스템으로 시야를 넓히고자 서울사이버대학교에서 드론·로봇을 전공하고, 동 대학원 AI융합기술학과 석사 과정에 입학하여 학업을 지속하고 있다.

• ▣ 01장: GPT-5와 ChatGPT의 개요
• 1-1 GPT-5와 ChatGPT의 개요
• __ChatGPT의 개요
• __ChatGPT의 작동 원리
• __GPT-5의 개요
• __OpenAI API의 개요
• __ChatGPT의 이용 요금
• __인공지능과 머신러닝과 딥러닝의 개요
• 1-2 인공지능과 머신러닝과 딥러닝
• __뉴런과 신경망
• __모델 생성과 학습과 추론
• __자연어 처리 딥러닝 모델의 진화
• 1-3 자연어 처리 딥러닝 모델
• __이미지 생성 딥러닝 모델
• __음성/음악 생성 딥러닝 모델
•  
• ▣ 02장: ChatGPT 사용법
• 2-1 ChatGPT 사용법
• __ChatGPT의 화면 구성
• __ChatGPT의 기본 기능
• __ChatGPT의 주요 활용 사례
• __ChatGPT의 도구 그룹
• __음성 입력과 음성 모드
• __임시 채팅
• __대화 내용을 학습시키지 않는 설정
• 2-2 ChatGPT Agent 사용법
• __ChatGPT Agent란
• __ChatGPT Agent의 사용 제한
• __ChatGPT Agent의 주요 용도
• __ChatGPT Agent의 이용 절차
• __ChatGPT Agent의 커넥터
• __안전성 및 프라이버시 대책
• 2-3 Codex 사용법
• __Codex란
• __Codex의 사용 제한
• __Codex의 설정
• __Codex의 실행
• __Codex의 작업 예
• __고급 설정
• __프롬프트 힌트
• 2-4 Sora 사용법
• __Sora란
• __Sora의 사용 제한
• __Sora에 의한 동영상 생성
• __Storyboard에 의한 동영상 생성
• 2-5 GPT 사용법
• __GPT란
• __GPT 사용법
• __GPT 만드는 법
• 2-6 Playground 사용법
• __Playground 시작하기
• __OpenAI API의 이용 요금
• __Playground의 화면 구성
• __Chat
• __Images
• __Audio
• __Assistants
• __Dashboard
• 2-7 gpt-oss 사용법
• __gpt-oss 개요
• __gpt-oss 시험해 보기
•  
• ▣ 03장: 파이썬 개발 환경 준비
• 3-1 파이썬 개요
• __파이썬이란
• 3-2 구글 코랩 준비
• __구글 코랩이란
• __구글 코랩 시작하기
• __파이썬 스크립트 실행
• __파이썬 패키지 설치
• __텍스트 추가
• __구글 코랩의 툴바
• __구글 코랩 메뉴
• __GPU 사용
• __구글 드라이브 마운트
• __구글 코랩의 제한과 대책
• __12시간 규칙 대책
• __GPU 사용 제한 대책
• __데이터 영구 저장
• __할당된 GPU 확인
• __구글 코랩 플랜
• __플랜 업그레이드 혜택
• 3-3 로컬 머신의 파이썬 환경 준비
• __윈도우에 파이썬 개발 환경 설치
• __macOS에 파이썬 개발 환경 설치
• 3-4 파이썬 문법
• __문자열 출력
• __변수와 연산자
• __문자열
• __리스트
• __딕셔너리
• __튜플
• __제어 구문
• __함수와 람다 식
• __클래스
• __패키지 임포트와 컴포넌트 직접 호출
•  
• ▣ 04장: OpenAI API
• 4-1 텍스트 생성
• __텍스트 생성(Text Generation)이란
• __텍스트 생성 모델의 입출력
• __텍스트 생성 모델 이용 요금
• __OpenAI API 키 발급
• __OpenAI API 사전 준비
• __텍스트 생성 실행
• __텍스트 생성의 주요 태스크
• __스트리밍
• __대화 상태 관리
• __구조화 출력
• __프롬프트 캐시
• 4-2 Reasoning
• __Reasoning이란
• __GPT-5의 작동 메커니즘
• __Reasoning 모델의 입출력
• __OpenAI API 사전 준비
• __Reasoning 실행
• __Reasoning Effort
• __Reasoning Summary
• __Verbosity
• __Reasoning 모델 프롬프팅 모범 사례
• __Reasoning의 주요 태스크
• 4-3 이미지 인식
• __이미지 인식이란
• __이미지 인식 모델의 입출력
• __이미지 인식 모델 이용 요금
• __OpenAI API 사전 준비
• __이미지에 대한 질문 응답: 이미지 URL
• __이미지에 대한 질문 응답: Base64
• __이미지 인식의 제한 사항
• 4-4 이미지 생성
• __이미지 생성(Image Generation)이란
• __이미지 생성 모델의 입출력
• __이미지 생성 모델 이용 요금
• __API Organization Verification
• __OpenAI API 사전 준비
• __텍스트로부터 이미지 생성
• __이미지 출력 사용자 정의
• __참조 이미지를 사용한 이미지 편집
• __마스크를 사용한 이미지 편집
• 4-5 음성 합성
• __음성 합성이란
• __음성 합성 모델의 입출력
• __음성 합성 모델 이용 요금
• __OpenAI API 사전 준비
• __음성 합성 실행
• __지시에 의한 출력 스타일 변경
• __실시간 오디오 스트리밍
• 4-6 음성 인식
• __음성 인식(Speech to Text)이란
• __음성 인식 모델의 입출력
• __음성 인식 모델 이용 요금
• __OpenAI API 사전 준비
• __음성 인식 실행
• __프롬프트에 의한 품질 향상
• 4-7 임베딩
• __임베딩이란
• __임베딩 모델의 입출력
• __임베딩 모델 이용 요금
• __OpenAI API 사전 준비
• __임베딩 실행
• __최근접 이웃 탐색
• 4-8 모더레이션
• __모더레이션이란
• __모더레이션 모델의 입출력
• __모더레이션 모델 이용 요금
• __OpenAI API 사전 준비
• __모더레이션 실행
•  
• ▣ 05장: 내장 도구
• 5-1 Web search
• __내장 도구의 개요
• __Web search의 개요
• __Web search의 이용 요금
• __OpenAI API 사전 준비
• __Web search의 실행
• __인용 출처 확인
• 5-2 File search
• __File search의 개요
• __File search의 이용 요금
• __OpenAI API 사전 준비
• __벡터 스토어의 생성
• __File search의 실행
• __인용 출처 확인
• 5-3 Computer use
• __Computer use 개요
• __Computer use 이용 요금
• __Computer use 실행
• __코드 해설
• 5-4 Image generation
• __Image generation 개요
• __Image generation의 이용 요금
• __OpenAI API 사전 준비
• __이미지 생성의 실행
• __멀티 턴 이미지 생성 실행
• __수정 프롬프트 확인
• __스트리밍
• 5-5 Code Interpreter
• __Code Interpreter 개요
• __컨테이너에 의한 샌드박스 환경
• __Code Interpreter 이용 요금
• __OpenAI API 사전 준비
• __Code Interpreter의 실행
• __Code Interpreter의 파일 조작
• __Code Interpreter의 지원 파일
• 5-6 MCP Tool
• __MCP Tool의 개요
• __MCP Tool의 이용 요금
• __OpenAI API 사전 준비
• __MCP Tool의 실행
• __도구의 확인
• __도구의 필터링
• __인가
• __인증
• 5-7 Function Calling
• __Function Calling의 개요
• __Function Calling의 이용 요금
• __OpenAI API 사전 준비
• __Function Calling의 실행
• __외부 함수의 정의
• __모범 사례
•  
• ▣ 06장: Realtime API
• 6-1 Realtime API 개요
• __Realtime API란
• __Realtime 모델 이용 요금
• __OpenAI Realtime Console 실행
• __OpenAI Realtime Console 코드 해설
• 6-2 실시간 대화
• __실시간 대화 개요
• __셋업
• __실시간 대화 구현
• 6-3 실시간 전사
• __실시간 전사 개요
• __셋업
• __실시간 전사 구현
•  
• ▣ 07장: Agents SDK
• 7-1 Agents SDK의 개요
• __Agents SDK란
• __셋업
• __에이전트 실행
• __핸드오프 실행
• __가드레일 실행
• 7-2 고객 서비스 구현
• __고객 서비스 구현의 개요
• __셋업
• __고객 서비스의 구현
• 7-3 리서치 봇 구현
• __리서치 봇 구현 개요
• __셋업
• __리서치 봇 구현
•  
• ▣ 08장: 파인튜닝
• 8-1 파인튜닝 개요
• __파인튜닝이란
• __파인튜닝 기법
• __파인튜닝 절차
• __파인튜닝 이용 요금
• 8-2 지도 파인튜닝
• __지도 파인튜닝 개요
• __학습 데이터 형식
• __학습 데이터 준비
• __파인튜닝 실행
• __모델의 실행
• __파인튜닝 모델의 조정
• __비전 파인튜닝
• 8-3 직접 선호 최적화
• __직접 선호 최적화 개요
• __학습 데이터 형식
• __학습 데이터 준비
• __파인튜닝 실행
• __모델 실행
• __강화 파인튜닝 개요
• 8-4 평가
• __평가 개요
• __벤치마크용 데이터셋
• __평가 데이터 준비
• __평가의 실행
• 8-5 증류
• __증류 개요
• __학습 데이터 준비
• __파인튜닝 실행
• __평가 실행

• GitHub 저장소: https://github.com/ychoi-kr/gpt5-chatgpt
• ZIP 형식으로 다운로드: https://github.com/ychoi-kr/gpt5-chatgpt/archive/refs/heads/main.zip