데블스캠프2017/강화학습으로컴퓨터에게고전게임플레이시키기

machine learning

머신 러닝의 세가지 분류

1. Supervised learning
2. Unsupervised learning
3. Reinforcement learning

supervised learning

• 학습을 시킬 때 input으로 feature(입력값)와 label(원하는 결과값)을 함께 전달
• Learning from difference between prediction and label
• e.g. mnist, classification

unsupervised learning

• input: feature만 입력, 보통 projection등으로 feature의 차원을 축소시킨다.
• Cluster by distance between inputs
• Human can't predict the outcome
• e.g. clustering

reinforcement learning

• 일종의 unsupervised learning
• input : environment, reward, output : action
• Learn from try
  • Model free: 게임의 규칙을 알려주지 않음
• e.g. game play, stock trading

reinforcement learning

• Q learning
• Q learning + Neural Network
• DQN : Deep Q Learning
  • hidden layer를 늘리는게 다가 아니다!

Basic knowledge

• MDP : Markov Decision Process
• Bellman equation
• Dynamic programming
• Value, Polish
• Value function, Polish function
• Value iteration, Polish iteration

실습

• gym: Reinforcement learning을 위한 고전 게임들을 python으로 포팅한 toolkit. 직접 구현한 것도 있고 atari는 포팅함. github에 코드가 공개되어 있다.
  • 오늘 실습할 cartpole
• 필요한 라이브러리: numpy, gym, tensorflow 필요

  $ pip install gym
  $ pip install tensorflow 

순서

1. 일단 cartpole 실행을 해보자! - cartpole_init.py
2. random action(왼쪽, 오른쪽)을 하는 cartpole - cartpole_random.py
3. q-network(q-learning의 NN버전) - cartpole_qnetwork.py
4. DQN - cartpole_dqn.py
5. 2015에 Deep Mind에서 발표한 DQN - cartpole_dqn2015.py

Reference

• 발표 슬라이드: slide
• 실습코드: github
• DeepMind의 DQN 논문: Playing Atari with Deep Reinforcement Learning
• Tensorflow tutorial: DQN

Furthermore

• David Silver의 강의
  • 강의노트
  • 강의 영상
• Gitbook: Fundamental of Reinforcement Learning. 한글로 되어 있다!
• 레퍼런스 모음: Machine Learning