신경망: 제로에서 히어로까지

1 month ago 8

Andrej Karpathy가 직접 진행하는 강좌로, 코드로 신경망을 처음부터 구현하며 학습하는 과정
역전파(backpropagation) 의 기초부터 시작해 GPT 수준의 현대적 딥러닝 모델까지 단계적으로 구축
언어 모델(language model) 을 중심으로 학습하며, PyTorch, torch.Tensor, BatchNorm, WaveNet, GPT 토크나이저 등 핵심 기술을 실습
각 강의는 모델 학습, 손실 계산, 하이퍼파라미터 조정, 오버피팅 진단 등 실제 개발 과정 중심으로 구성
딥러닝의 내부 작동 원리와 최적화 직관을 체계적으로 익힐 수 있는 실습형 커리큘럼

강좌 개요

이 강좌는 신경망을 코드로 직접 구현하며 학습하는 과정으로 구성
- 기초 수학(미분, 가우시안) 과 Python 프로그래밍 능력이 요구됨
- 학습자 간 교류를 위한 Discord 채널이 제공됨
언어 모델을 중심으로 학습을 진행하며, 이는 다른 분야(예: 컴퓨터 비전)로의 지식 전이에도 유용함

강의 구성 (Syllabus)

1. Intro to Neural Networks and Backpropagation (2h25m)

micrograd를 직접 구현하며 역전파와 신경망 학습 과정을 단계별로 설명
- Python 기본 지식과 고등학교 수준의 미적분만으로 이해 가능

2. Intro to Language Modeling: Building makemore (1h57m)

문자 단위 빅그램 언어 모델을 구현
- torch.Tensor의 사용법과 효율적 신경망 계산 방법을 다룸
- 모델 학습, 샘플링, 손실 평가(음의 로그우도) 과정을 포함

3. Building makemore Part 2: MLP (1h15m)

다층 퍼셉트론(MLP) 기반 문자 수준 언어 모델 구현
- 학습률 조정, 하이퍼파라미터, 데이터 분할(train/dev/test) , 과적합/과소적합 등 머신러닝 기본 개념 포함

4. Building makemore Part 3: Activations & Gradients, BatchNorm (1h55m)

다층 MLP의 내부 동작을 분석하며 활성화값과 그래디언트의 통계적 특성을 점검
- Batch Normalization을 도입해 학습 안정성 향상
- Residual connection, Adam 옵티마이저는 이후 영상에서 다룰 예정

5. Building makemore Part 4: Becoming a Backprop Ninja (1h55m)

PyTorch autograd 없이 수동 역전파를 수행
- 교차 엔트로피 손실, tanh, BatchNorm, 임베딩 테이블 등을 직접 역전파
- 그래디언트 흐름과 텐서 수준의 최적화 직관을 강화

6. Building makemore Part 5: Building a WaveNet (56m)

이전의 2층 MLP를 확장해 WaveNet(2016) 과 유사한 계층적 CNN 구조 구현
- torch.nn의 내부 작동 원리와 딥러닝 개발 워크플로우(문서 탐색, 텐서 차원 관리, 코드 통합 등)를 실습

7. Let's Build GPT: From Scratch, in Code (1h56m)

GPT 모델을 직접 구현하며 “Attention is All You Need” 논문과 OpenAI GPT-2/3 구조를 따라감
- ChatGPT 및 GitHub Copilot과의 연관성 언급
- 이전 makemore 강의에서 다룬 자기회귀 언어 모델링과 PyTorch nn 기초를 전제로 진행

8. Let's Build the GPT Tokenizer (2h13m)

GPT 시리즈에서 사용되는 토크나이저를 처음부터 구현
- Byte Pair Encoding(BPE) 기반 학습 과정을 포함
- 문자열↔토큰 변환(encode/decode) 기능을 직접 구현
- LLM의 비정상적 동작 원인 중 일부가 토크나이징 단계에 있음을 사례로 분석
- 토크나이저 제거 가능성에 대한 논의 포함

진행 상태

강좌는 진행 중(ongoing) 상태로, 추가 영상이 계속 업로드될 예정

Read Entire Article