최적화를 위한 알고리듬

• 수학적 최적화의 원리와 알고리듬 전반을 체계적으로 다루는 교재로, 연속·이산 문제 모두를 포괄
• 도함수 기반 기법부터 확률적·진화적 방법까지 다양한 접근법을 단계적으로 설명
• 제약 조건, 이중성, 선형·이차 프로그래밍 등 실제 응용에 필요한 수학적 구조를 포함
• 각 장마다 요약과 연습문제를 제공해 학습과 실습을 병행할 수 있도록 구성
• MIT Press의 오픈 라이선스(CC BY-NC-ND) 로 배포되어 연구자와 개발자에게 폭넓은 활용 가능성 제공

서문 및 개요

• 이 책은 최적화 문제 해결을 위한 알고리듬의 이론과 구현을 다루는 교재로, 2판으로 출간
  • 저자는 Mykel J. Kochenderfer와 Tim A. Wheeler
  • MIT Press에서 발행, Creative Commons 비상업적·변경금지 라이선스로 공개
• 서문과 감사의 글 이후, 13개 장으로 구성되어 있음
• 각 장은 핵심 개념, 요약, 연습문제로 구성되어 학습 중심 구조를 유지

1장. 서론

• 최적화의 역사, 과정, 수학적 정식화, 응용 분야를 소개
• 극값(minima) 과 최적성 조건(optimality conditions) 을 설명
• 전체 책의 개요와 요약, 연습문제 포함

2장. 도함수와 그래디언트

• 단일 및 다변수 도함수의 정의와 계산 방법 설명
• 수치 미분(numerical differentiation) 과 자동 미분(automatic differentiation) 기법 포함
• 회귀 그래디언트와 확률적 근사 기법(SPSA) 다룸

3장. 브래킷팅(Bracketing)

• 단봉성(unimodality) 개념과 초기 구간 찾기 절차 설명
• 피보나치 탐색, 황금분할 탐색, 이차 근사 탐색 등 구간 기반 알고리듬 수록
• Shubert-Piyavskii 및 이분법(bisection) 방법 포함

4장. 지역 하강(Local Descent)

• 하강 방향 반복(descent direction iteration) 과 스텝 크기(step factor) 개념 설명
• 선 탐색(line search) 및 근사 선 탐색 기법 포함
• 신뢰 영역(trust region) 접근법과 종료 조건 다룸

5장. 1차 방법(First-Order Methods)

• 그래디언트 하강법, 공액 그래디언트, 모멘텀, Nesterov 모멘텀 등 주요 기법 포함
• AdaGrad, RMSProp, Adadelta, Adam, Hypergradient Descent 등 현대적 최적화 알고리듬 수록
• 각 방법의 특징과 비교 요약 제공

6장. 2차 방법(Second-Order Methods)

• 뉴턴법(Newton’s Method) 과 할선법(Secant Method) 설명
• Levenberg-Marquardt 알고리듬 및 준-뉴턴(Quasi-Newton) 방법 포함
• 요약과 연습문제로 마무리

7장. 직접 방법(Direct Methods)

• 좌표 탐색, Powell, Hooke-Jeeves, 패턴 탐색, Nelder-Mead 단순스 방법 등 소개
• 분할 사각형(Divided Rectangles) 기법 포함
• 비도함수 기반 최적화 접근법 중심

8장. 확률적 방법(Stochastic Methods)

• 노이즈 하강, 메쉬 적응 탐색, 무도함수 최적화 등 확률적 접근법 다룸
• 시뮬레이티드 어닐링, 교차 엔트로피, 자연 진화 전략, 공분산 행렬 적응(CMA) 포함
• 확률 기반 탐색의 효율성을 강조

9장. 집단 기반 방법(Population Methods)

• 유전 알고리듬, 차분 진화, 입자 군집 최적화(PSO) 등 집단 탐색 기법 설명
• Firefly, Cuckoo Search, 하이브리드 방법 포함
• 집단 반복(population iteration) 구조로 문제 해결

10장. 제약 조건(Constraints)

• 제약 최적화(constrained optimization) 의 기본 개념과 제약 유형 설명
• 라그랑주 승수법, 슬랙 변수, 패널티 및 내부점(interior point) 방법 포함
• 제약 제거 변환(transformations) 과 다중자 방법(method of multipliers) 다룸

11장. 이중성(Duality)

• 이중 문제(dual problem) 와 원-이중(primal-dual) 방법 설명
• 이중 상승(dual ascent) 및 ADMM(Alternating Direction Method of Multipliers) 포함
• 분산 최적화(distributed methods) 응용 다룸

12장. 선형 프로그래밍(Linear Programming)

• 문제 정식화, 심플렉스 알고리듬(Simplex Algorithm) , 이중 증명(dual certificates) 설명
• 선형 제약 조건 하의 최적화 구조를 체계적으로 제시

13장. 이차 프로그래밍(Quadratic Programming)

• 이차 목적 함수와 선형 제약 조건을 포함한 문제 정식화
• 최소제곱(least squares) 문제와 선형 부등식 제약 다룸
• 최단 거리 프로그래밍(least distance programming) 포함

부록 및 기타 정보

• 각 장 말미에 요약과 연습문제 수록
• MIT Press가 2025년판으로 발행, 비상업적 공유 허용(CC BY-NC-ND)
• LaTeX 기반 조판, 문의는 bugs@algorithmsbook.com 으로 안내