모두를 위한 컨벡스 최적화

목차

idx Title Book Lecture Slide
1 Introduction Page CMU Lecture CMU Note
2 Convex Sets Page Stanford Lecture Stanford Note
3 Convex Functions Page Stanford Lecture Stanford Note
4 Convex Optimization Basis Page CMU Lecture CMU Note
5 Canonical Problems Page CMU Lecture CMU Note
6 Gradient Descent Page CMU Lecture CMU Note
7 Subgradient Page CMU Lecture CMU Note
8 Subgradient Method Page CMU Lecture CMU Note
9 Proximal Gradient Descent and Acceleration Page CMU Lecture CMU Note
10 Duality in Linear Programs Page CMU Lecture CMU Note
11 Duality in General Programs Page CMU Lecture CMU Note
12 KKT Conditions Page CMU Lecture CMU Note
13 Duality uses and correspondences Page CMU Lecture CMU Note
14 Newton’s Method Page CMU Lecture CMU Note
15 Barrier Method Page CMU Lecture CMU Note
16 Duality Revisited Page CMU Lecture CMU Note
17 Primal-Dual Interior-Point Methods Page CMU Lecture CMU Note
18 Quasi-Newton Methods Page CMU Lecture CMU Note
19 Proximal Netwon Method Page CMU Lecture CMU Note
20 Dual Methods Page CMU Lecture CMU Note
21 Alternating Direction Method of Mulipliers Page CMU Lecture CMU Note
22 Conditional Gradient Method Page CMU Lecture CMU Note
23 Coordinate Descent Page CMU Lecture CMU Note
24 Mixed Integer Programming 1 Page CMU Lecture CMU Note
25 Mixed Integer Programming 2 Page CMU Lecture CMU Note

오픈소스 참여가이드

  • 1. Initial Settings
  • 2. Conventions
  • 3. How to Contribute

    • 저자 서문

    기계학습에 세간의 이목이 집중되며 최적화에 대한 관심도도 나날이 상승하고 있습니다. 허나, 입문자를 위한 한글자료가 풍부하지 않아 많은 분들이 그 진입장벽으로 힘들어하는 것에 안타까움을 느꼈습니다. 이에 모두의 연구소의 풀잎스쿨에 Convex Optimization 과정을 개설하였고, 지식 나눔을 실천하고자 하는 참여자분들의 선의의 의지에 힘입어 본 프로젝트를 시작하게 되었습니다. 이 활동을 통해 부디 전국민의 지적 성장과 컨벡스 최적화의 국내 대중화에 힘을 보탤수 있길 기원합니다.

    이 문서의 전반적인 내용은 카네기멜론 대학 강의자료를 참고하였고, 보조 교재로는 스탠포드 대학 강의자료를 사용하였습니다. 본 ebook을 중심으로 두 강의자료를 레퍼런스로 공부하시면 좋습니다.

    www.jwpark.co.kr@gmail.com / 박진우 (컨벡스 최적화 풀잎스쿨, 모두의 연구소)

    옮긴이 서문

    최근 머신러닝의 지속적인 발전 속에서 다양한 연구들이 진행되고 있고, 이를 현실 문제에 적용하려는 움직임 또한 커지고 있습니다. 하지만 머신러닝의 근간을 이루는 수학에 대한 심도 높은 이해가 없다면 그에 대한 이해와 적용 또한 피상적으로 이뤄질 수 밖에 없습니다.

    Convex Optimization은 머신러닝과 직접적으로 연관이 많을 뿐더러 선형대수, 미적분학, 수치해석과 같이 수학의 다양한 하위 분야들을 포함하고 있다는 점에서 머신러닝을 공부하는 사람들에게 매력적인 학문입니다. 다만 홀로 다루기에는 내용이 적지 않을 뿐더러 학문 자체의 난이도도 높은 편이기에 함께 공부할 사람들을 모아 2021년 Convex Optimization Study를 시작하게 되었습니다. 본 Blog는 함께 진행한 Study의 흔적이자, 후에 혼자 공부하고자 하시는 분들께 도움을 드리고자 만들었습니다.

    본 Blog의 주요 컨텐츠는 모두를 위한 컨벡스 최적화의 저자 분들의 동의를 구해 Migration한 내용들입니다. 원 컨텐츠는 Convex Optimization에 관한 한국어 컨텐츠 중 가장 잘 알려져 있으면서 내용적으로도 부족함이 없습니다.

    기존 WikiDocs 컨텐츠를 이어 받아 본 Blog에서는 이를 Open Source로 만들어 보고자 합니다. 따라서 누구나 컨텐츠에 이슈를 제기하고 직접 Pull Request를 생성하여 기여할 수 있습니다. 이를 통해 모두를 위한 컨벡스 최적화 저자분들의 뜻이기도 한 ‘전국민의 지적 성장과 컨벡스 최적화의 국내 대중화’에 작은 보탬이 될 수 있기를 바랍니다.

    wgm0601@gmail.com / 우경민 (마키나락스)

    만든 사람들

    모두를 위한 컨벡스 최적화 저자

    모두를 위한 컨벡스 최적화 리뷰어

    오픈 소스 관리자

    저자 소개

    김기범 (astroblasterr@gmail.com)

    김정훈 (placidus36@gmail.com)
    대학원 석박통합과정으로 재학 중이며, 자율주행차량의 판단 분야에 관심이 많고 이를 연구하고 있습니다. 주변의 차량, 사람들과 interactive하면서도, safe-guaranteed한 자율주행차를 개발하는 것을 목표로 하고 있습니다. 기초적인 딥러닝/강화학습을 공부하면서 해당 분야들의 많은 motivation, proof가 최적화 기반에서 왔다는 것을 깨닫고 컨벡스 최적화 프로젝트에 참여하게 되었습니다.

    노원종 (wnoh27@naver.com)
    현재 네트워크 시스템 개발 관련 일을 하고 있으며, 최근 많은 분야에서 적용되기 시작하고 있는 머신러닝/딥러닝기술들에 대해 관심을 가지고, 네트워크에서 적용가능한 기법들에 대해 공부하던 중, 그 안에 적용되고 있는 최적화 기법을 좀 더 자세히 이해하기 위해 컨벡스 최적화 프로젝트에 참여하게 되었습니다. 본 책이 머신러닝/딥러닝에 이용되는 최적화 원리를 좀 더 자세히 이해하고자 하시는 분들께 많은 도움이 되었으면 합니다.

    박진우 (www.jwpark.co.kr@gmail.com)
    모두의 연구소 풀잎스쿨의 컨벡스 최적화 과정을 기획하였고, 해당 과정에서 facilitator로 활동중입니다. 최적화가 기계학습에서 차지하는 중요도에 비해 참고자료가 너무나도 부족한 작금의 현실에 통탄을 금치 못하고 ‘모두를 위한 컨벡스 최적화’ 프로젝트를 제안하게 되었습니다. 현재는 다중 인물에 대한 합성 얼굴 이미지 생성을 연구중이며, 또한 강화학습을 이용한 game agent 학습에도 큰 관심을 가지고 있습니다. [LinkedIn]

    윤성진 (sjyoon@gmail.com)
    약 22년 동안 소프트웨어 연구개발 및 제품기획 업무를 해 왔으며 최근 5년에는 데이터 및 미들웨어 소프트웨어, 모듈형 로봇 플랫폼 제품기획을 하였습니다. 현재는 딥러닝 기반의 컴퓨터 비전에 관심을 갖고 있으며 다중 인물에 대한 합성 얼굴 이미지 생성을 연구중입니다. 모두의 연구소 풀잎스쿨에서 컨벡스 최적화를 공부하면서 학문의 중요도에 비해 진입 장벽이 높고 특히 한글 자료가 전무하다는 현실을 깨닫고 ‘모두를 위한 컨벡스 최적화’ 프로젝트에 참여하게 되었습니다. 머신러닝에 관심을 갖고 있는 많은 분들이 본서를 통해 최적화에 좀 더 쉽게 입문할 수 있으면 좋겠습니다.

    이규복 (gyubokl@gmail.com)
    산업공학과 석사과정으로 재학 중이며 자연어 처리, 이상 탐지, 강화학습에 관심이 많습니다. 기계학습을 연구하면서 기계학습과 최적화는 떼려야 뗄 수 없는 관계라는 것을 알게 되어 최적화에 자연스럽게 관심을 가지게 되었습니다. 하지만 공부를 하면서 조금 더 친절한 자료가 있으면 좋겠다는 생각을 끊임없이 하게 되었고, ‘모두를 위한 컨벡스 최적화’ 프로젝트에 참여하게 되었습니다. 최적화의 중요성을 알고 도전하려고 하지만 입문의 장벽이 높아 포기하는 사람들에게 이 책이 조그만 희망이 되길 바랍니다. [LinkedIn]

    한영일 (thinkingtoyihan@gmail.com)
    Computer Science와 무선통신을 공부하였으며 인지과학, 진화 심리학 그리고 인공 생명 등에 관심이 있습니다. 호기심에 시작한 최적화라는 거대한 지식의 산 아래에서 경이로움을 느끼며, 위대한 지식 앞에 또 다시 겸손을 배움니다. 본서가 저처럼 최적화라는 거대한 지식의 산 앞에서 오르기를 주저하시는 분들께 좋은 길잡이가 되어주길 바랍니다.

    황혜진 (brillianthhj@gmail.com)
    수학 전공 및 데이터마이닝 석사 과정을 졸업하였으며, 현재 컴퓨터비전 분야 관련 개발자로 일하고 있습니다. 딥러닝 공부를 하는 동안 쉽게 이해되지 않는 수식적 배경에 대해 좀 더 깊게 파헤쳐보고자 컨벡스 최적화 프로젝트에 참여하게 되었고, 공부한 내용들을 깊이 있게 이해하고, 실제 적용 단에서 최적화 된 방법론이 어떻게 사용될 지에 대해 지속적인 관심을 가지고 스터디에 임하고 있습니다.

    Reviewer

    이주희 (juhee1108@gmail.com)
    現 이화여자대학교 수리과학연구소 연구교수
    이화여자대학교에서 수학박사 학위를 취득하였습니다. 주 연구 분야는 암호학으로 IoT, 머신러닝 등과 같은 다양한 응용 분야에서의 효율적인 암호 기술 개발 및 그 기반이 되는 수학적 이론을 연구합니다. 머신러닝 / 딥러닝을 활용한 암호 기술 개발을 위해 딥러닝에 관심 두게 되었고 최근 모두의 연구소 Deep Learning College에서 기초수학(선형대수/미적분학/최적화 /확률 및 통계)을 강의하였습니다. 이후 머신러닝 / 딥러닝에서 필요한 수학을 정리하면서 대부분의 문제가 논-컨벡스 최적화(non-convex optimization problem)에 해당하지만, 현재까지의 해결방안은 컨벡스 최적화 문제로 변환하는 방법이 아닐까하는 생각에 컨벡스 최적화를 공부하게 되었고, ‘모두를 위한 컨벡스 최적화’ 프로젝트에 참여하고 있습니다. 수학의 중요성을 체감하고 있는 많은 분께 이 책이 도움이 되기를 바랍니다.

    장승환 (schang.math@gmail.com)
    現 이화여자대학교 수리과학연구소 연구교수

    정태수 (tcheong@korea.ac.kr)
    現 고려대학교 산업경영공학부 부교수, 공과대학 연구부학장
    고려대학교 산업경영공학부 부교수로 재직 중이며, 최적화 기법을 활용한 다양한 연구를 수행하였으며 최근들어서는 머신러닝과 관련된 산학 프로젝트도 진행 중에 있습니다. 본 전공은 마르코브 의사결정 프로세스 (Markov decision process)를 활용한 물류 및 SCM 최적화이며 박사과정 중에서 Optimization 트랙으로 박사자격시험을 준비하면서 다양한 최적화 이론을 공부하였습니다. 머신러닝 관련해서는 K-MOOC의 “Mathematical Fundamentals for Data Science”와 “Machine Learning for Data Science” 강좌 개발 및 촬영에 참여하였습니다. 최적화와 관련하여 부족하지만 조금이나마 기여를 하고자 이렇게 참여하게 되었습니다.