ZeroWiki - User contributions [en]

머신러닝스터디/2016/2016 05 28

2016-08-13T07:42:53Z

14.63.105.219:

[[머신러닝스터디/2016]]
[[머신러닝스터디/2016/목차]]
== 내용 ==
* Basic Logic Gate만들어보자!
** AND, OR, NXOR, XOR
=== 코드 ===
import tensorflow as tf
# AND OR NXOR XOR
# (0, 0) => 0 (0, 0) => 0 (0, 0) => 1 (0, 0) => 0
# (0, 1) => 0 (0, 1) => 1 (0, 1) => 0 (0, 1) => 1
# (1, 0) => 0 (1, 0) => 1 (1, 0) => 0 (1, 0) => 1
# (1, 1) => 1 (1, 1) => 1 (1, 1) => 1 (1, 1) => 0

W1 = tf.Variable(tf.random_uniform([2, 2]))
b1 = tf.Variable(tf.random_uniform([2]))

W2 = tf.Variable(tf.random_uniform([2, 1]))
b2 = tf.Variable(tf.random_uniform([1]))

def logic_gate(x):
hidden = tf.sigmoid(tf.matmul(x, W1) + b1)
return tf.sigmoid(tf.matmul(hidden, W2) + b2)

x = tf.placeholder("float", [None, 2])
y = tf.placeholder("float", [None, 1])

value = logic_gate(x)
// loss = tf.reduce_sum(tf.pow(y-value, 2))
loss = - tf.reduce_mean(y*tf.log(value) + (1-y)*tf.log(1-value))
optimize = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

init = tf.initialize_all_variables()

with tf.Session() as sess:
sess.run(init)
for i in range(30001):
result = sess.run(optimize, feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]})
if (i % 1000 == 0):
print("Epoch: ", i)
print(sess.run([value, loss], feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]}))
== 후기 ==
== 다음 시간에는 ==
* ML Week 5 Back Propagation 실습
== 더 보기 ==

머신러닝스터디/2016/2016 06 18

2016-07-02T07:07:40Z

14.63.105.219:

== 내용 ==
* 아래 코드에서 마지막 레이어의 아웃풋은 0~1 사이의 값이 나와야 하므로 relu가 아니라 sigmoid를 쓴다.
=== 코드 ===
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.datasets import mnist
from keras.layers.core import Reshape
from keras.utils.np_utils import to_categorical
import numpy as np

(X_train, y_train), (X_test, y_test) = mnist.load_data()

model = Sequential()
model.add(Reshape((28*28,), input_shape=(28,28)))
model.add(Dense(60000, input_dim=28*28, activation='relu'))

model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))

model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

model.compile(loss='categorical_crossentropy',
optimizer='adagrad',
metrics=['accuracy'])

model.fit(X_train, to_categorical(y_train, 10),
nb_epoch=3,
batch_size=200)

score = model.evaluate(X_test, to_categorical(y_test, 10), batch_size=10000)

print(score)

# output
print(model.predict(np.array([X_test[0]])))
print(y_test[0])

머신러닝스터디/2016/2016 06 04

2016-06-11T06:58:24Z

14.63.105.219:

[[pagelist(^(머신러닝스터디/2016))]]
== 내용 ==
=== 코드 ===
import tensorflow as tf
# AND OR NXOR XOR
# (0, 0) => 0 (0, 0) => 0 (0, 0) => 1 (0, 0) => 0
# (0, 1) => 0 (0, 1) => 1 (0, 1) => 0 (0, 1) => 1
# (1, 0) => 0 (1, 0) => 1 (1, 0) => 0 (1, 0) => 1
# (1, 1) => 1 (1, 1) => 1 (1, 1) => 1 (1, 1) => 0

W1 = tf.Variable(tf.random_uniform([2, 3]))
b1 = tf.Variable(tf.random_uniform([3]))

W2 = tf.Variable(tf.random_uniform([3, 2]))
b2 = tf.Variable(tf.random_uniform([2]))

W3 = tf.Variable(tf.random_uniform([2, 1]))
b3 = tf.Variable(tf.random_uniform([1]))

def logic_gate(x):
hidden1 = tf.nn.relu(tf.matmul(x, W1) + b1)
hidden2 = tf.nn.relu(tf.matmul(hidden1, W2) + b2)
return tf.nn.sigmoid(tf.matmul(hidden2, W3) + b3)

x = tf.placeholder("float", [None, 2])
y = tf.placeholder("float", [None, 1])

value = logic_gate(x)
loss = -tf.reduce_mean((y*tf.log(value) + (1-y)*tf.log(1-value)))
optimize = tf.train.AdagradOptimizer(0.01).minimize(loss)

init = tf.initialize_all_variables()

with tf.Session() as sess:
sess.run(init)
for i in range(30001):
result = sess.run(optimize, feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]})
if (i % 1000 == 0):
print("Epoch: ", i)
print(sess.run([value, loss], feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]}))
== 후기 ==
* [[서지혜]]: relu 좋은 거 같음. 튜닝 방법 일일이 값 바꾸는 것 뿐인가,,
== 다음 시간에는 ==
== 더 보기 ==

머신러닝스터디/2016/2016 05 28

2016-06-04T06:55:58Z

14.63.105.219:

[[pagelist(^(머신러닝스터디/2016))]]
== 내용 ==
* Basic Logix Gate만들어보자!
** AND, OR, NXOR, XOR
=== 코드 ===
import tensorflow as tf
# AND OR NXOR XOR
# (0, 0) => 0 (0, 0) => 0 (0, 0) => 1 (0, 0) => 0
# (0, 1) => 0 (0, 1) => 1 (0, 1) => 0 (0, 1) => 1
# (1, 0) => 0 (1, 0) => 1 (1, 0) => 0 (1, 0) => 1
# (1, 1) => 1 (1, 1) => 1 (1, 1) => 1 (1, 1) => 0

W1 = tf.Variable(tf.random_uniform([2, 2]))
b1 = tf.Variable(tf.random_uniform([2]))

W2 = tf.Variable(tf.random_uniform([2, 1]))
b2 = tf.Variable(tf.random_uniform([1]))

def logic_gate(x):
hidden = tf.sigmoid(tf.matmul(x, W1) + b1)
return tf.sigmoid(tf.matmul(hidden, W2) + b2)

x = tf.placeholder("float", [None, 2])
y = tf.placeholder("float", [None, 1])

value = logic_gate(x)
// loss = tf.reduce_sum(tf.pow(y-value, 2))
loss = - tf.reduce_mean(y*tf.log(value) + (1-y)*tf.log(1-value))
optimize = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

init = tf.initialize_all_variables()

with tf.Session() as sess:
sess.run(init)
for i in range(30001):
result = sess.run(optimize, feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]})
if (i % 1000 == 0):
print("Epoch: ", i)
print(sess.run([value, loss], feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]}))
== 후기 ==
== 다음 시간에는 ==
* ML Week 5 Back Propagation 실습
== 더 보기 ==

활동지도/2016

2016-06-04T06:33:50Z

14.63.105.219:

__TOC__
== 1학기 ==
=== 정모 ===
[[pagelist(^정모/2016.6)]]
[[pagelist(^정모/2016.5)]]
[[pagelist(^정모/2016.4)]]
[[pagelist(^정모/2016.3)]]

=== 스터디 ===
{| class="wikitable"
|-
| 스터디 이름
| 설명
| 참가자
| 시간
|-
| [[AlgorithmStudy/2016|Algorithm Study/2016]]
| 알고리즘 스터디
| [[조영준]], [[이원준]], [[유재범]], [[정진경]], [[홍성현]], [[강민승]], [[권준혁]], [[박인서]], [[15이원준]]
| 금요일 17시 ~ 19시
|-
| [[CppALL]]
| C++의 모든 것을 배운다!
| [[장용운]], [[박인서]], [[15이원준]]
| 목요일 18시 ~ 20시
|-
| [[CppALL/쒸뽈뽈]]
| CppALL 시즌2
| [[장용운]], [[김성원]], [[김민재]], [[김태헌]], [[양덕진]], [[여영호]], [[이정재]], [[남헌]], [[성훈]]
| 화요일 18시 ~ 20시
|-
| ~~[[알고하자]]~~
| ~~알고리즘이 뭔지 알고 대회 준비를 하자~~
| ~~[[박인서]], [[15이원준]], [[여영호]], [[이정재]]~~
| ~~목요일 13시 ~ 15시~~
|-
| ~~[[자바자바]]~~
| ~~Rewind Java~~
| ~~[[김민재]], [[김태헌]], [[김해천]], [[양덕진]]~~
| ~~화요일 15시 ~ 18시~~
|-
| [[SIN]]
| Machine Learning Study
| [[유재범]]
| 월요일 오후 2시 시작 예정
|-
| [[센토스7]]
| centos 서버 공부
| [[민준홍]], 이형주
| 화요일 3:00 pm ~ 4:50pm
|-
| [[ALPHAGO]]
| 아날로그 감성회복 본격 기타 스터디
| [[김성원]], [[김한성]], [[이민석]]
| 가능한 날 8:00 pm ~
|-
| [[머신러닝스터디/2016]]
| 머신러닝 스터디 in 강남(?)
| [[서지혜]], [[유재범]], [[이원준]], [[김수경]], [[강민승]], [[정의정]]
| 토요일 15시 ~ 17시(목표)
|-
| ~~[[RD의OS스터디]]~~
| ~~RD의 OS 스터디(정직)~~ ~~(RSS?)~~
| ~~[[황현]], [[권준혁]] [[강민승]] [[유재범]] [[김동환]] [[홍성현]], [[장우진]]~~
| ~~지피 정모 직후~~
|-
| [[C.C]]
| 리버싱
| [[송준호]], [[염승윤]]
| 수요일 4~6시
|-
| [[Python%20파보기]]
| 파이썬 내부구조 구경하기
| [[이원준]], [[한재민]]
| 월요일 15~17시
|-
| [[CS]]
| C# 스터디 (씨(C) 샾(S) 스터디(S))
| [[신형철]], [[이승현]], [[홍성현]], [[박인서]], [[김상렬]], [[유성현]], [[강민승]]
| 화요일 or 수요일 저녁
|-
| [[프로랭딸러]]
| 알고리즘 스터디
| 자유
| 온라인 진행
|}
=== 프로젝트 ===
{| class="wikitable"
|-
| 프로젝트
| 설명
| 참가자
|-
| ZPLibrary
| 도서 관리 웹 서비스를 만들자 https://skywave-dc.appspot.com/
| 자유(오픈소스)
|-
| ~~[[CAUScheduler]]~~
| ~~방학때까지 일시정지~~
| ~~ 자유(오픈소스)~~
|-
| [[NHDormitoryAlarm]]
| 농협장학관의 푸쉬알람 + @ 앱 제작 프로젝트
| 자유
|-
| [https://github.com/ardiefox/Wolframite Wolframite]
| C로 만들어나가는 웹 응용 프로그램 프레임워크 만들기
| [[황현]] + 자유 (오픈소스)
|}

=== 공모전 및 경진대회 ===
{| class="wikitable"
|-
| 대회명
| 일자
| 참가자
| 결과
|-
| [https://code.google.com/codejam Google Code Jam]
| 5월 28일 2라운드
| [[유재범]], [[신형철]], [[김성원]], [[홍성현]], [[강민승]], [[장우진]], [[김해천]], [[15이원준]]
| [[조영준]] 2라운드 진출
|-
| [http://coders-high.com/ Coder's high]
| 5월 24일까지 접수
| 추가바람
|
|}
=== 기타 ===
* [[새싹교실/2016]]
* [[졸지말고 딥러닝]]
== 겨울방학 ==
=== 정모 ===
[[pagelist(^정모/2016.2)]]
[[pagelist(^정모/2016.1)]]
=== 스터디 ===
{| class="wikitable"
|-
| 스터디
| 설명
| 참가자
| 시간
|-
| [[AlgorithmStudy/2016|Algorithm Study/2016]]
| 알고리즘 스터디
| [[권영기]], [[조영준]], [[이원준]], [[유재범]], [[정진경]], [[홍성현]], [[신형철]]
| 금요일 18시
|-
| [[CppALL]]
| C++의 모든 것을 배운다!
| [[장용운]], [[천준현]], [[박인서]], [[15이원준]], [[이종성]], [[곽정흠]]
| 화요일 15시~19시
|-
| [[미시Cpp]]
| Template
| [[장용운]], [[유재범]], [[신형철]], [[이승현]], [[홍성현]]
| 금요일 13시~15시
|}
=== 프로젝트 ===
{| class="wikitable"
|-
| 프로젝트
| 설명
| 참가자
|-
| ZPLibrary
| 도서 관리 웹 서비스를 만들자 https://skywave-dc.appspot.com/
| 자유(오픈소스)
|-
| [https://github.com/bluemir/wikinote WikiNote]
| nodejs를 이용한 개인 위키/블로그
| 자유(오픈소스)
|-
| [https://github.com/ZeroPage/vm-manager VM-Manager]
| QEMU-KVM 가상머신 관리 툴
| 자유(오픈소스)
|-
| [https://github.com/ZeroPage/zerobot ZeroBot]
| slack에 있는 ZeroBot ~~slackbot과는 다르다 slackbot과는!~~
| 자유(오픈소스)
|-
| [[CAUScheduler]]
| 중앙대 맞춤형 과제 스케줄러 제작 프로젝트
| 자유(오픈소스)
|-
| [[엔진소리죽이는데]]
| 라즈베리파이를 활용한 자판기 제작
| [[김한성]], [[홍성현]]
|-
| ~~[[JVM]]~~
| ~~Java 등을 이용한 Mighty 게임 제작~~
| [[김동환]], [[유재범]], [[이승현]], [[오영은]]
|-
| --ZombiePage--
| --Project Zomboid modding with lua(강해져서 돌아옴)--
| --[[김한성]], [[장용운]],[[김성원]],[[추성준]] ~~JDP의 시조~~--
|-
| [[네오프]]
| 네트워크 오목 프로젝트 By Java ~~네오플과는 다르다! 네오플과는!~~
| [[박인서]], [[15이원준]]
|}

=== 공모전 및 경진대회 ===
{| class="wikitable"
|-
| 대회명
| 일자
| 참가자
| 결과
|-
| 삼성 대학생 프로그래밍 경진대회
| 15년 10월 24일 ~ 16년 1월 14일
| [[조영준]], [[김정민]], [[신형철]], [[정진경]], [[추성준]], [[홍성현]]
| 조영준, 정진경 본선 진출(끝)
|-
| Naver D2 FEST
| 11/18 ~ 1/15
| [[유재범]]/[[김성원]],[[김한성]],[[장용운]]/[[송치완]],[[추성준]]/[bluemir],[[이병윤]]
| [bluemir], [[이병윤]] 본선 진출
|}
=== 기타 ===
* 메이커톤
== [[OMS]] ==
[[OMS/2016]]

----
[[Navigation(활동지도)]]

머신러닝스터디/2016/2016 05 28

2016-06-04T06:33:08Z

14.63.105.219:

[[pagelist(^(머신러닝스터디/2016))]]
== 내용 ==
* Basic Logix Gate만들어보자!
** AND, OR, NXOR, XOR
=== 코드 ===
import tensorflow as tf
# AND OR NXOR XOR
# (0, 0) => 0 (0, 0) => 0 (0, 0) => 1 (0, 0) => 0
# (0, 1) => 0 (0, 1) => 1 (0, 1) => 0 (0, 1) => 1
# (1, 0) => 0 (1, 0) => 1 (1, 0) => 0 (1, 0) => 1
# (1, 1) => 1 (1, 1) => 1 (1, 1) => 1 (1, 1) => 0

W1 = tf.Variable(tf.random_uniform([2, 2]))
b1 = tf.Variable(tf.random_uniform([2]))

W2 = tf.Variable(tf.random_uniform([2, 1]))
b2 = tf.Variable(tf.random_uniform([1]))

def logic_gate(x):
hidden = tf.sigmoid(tf.matmul(x, W1) + b1)
return tf.sigmoid(tf.matmul(hidden, W2) + b2)

x = tf.placeholder("float", [None, 2])
y = tf.placeholder("float", [None, 1])

value = logic_gate(x)
loss = tf.reduce_sum(tf.pow(y-value, 2))
# TODO: Can't use this. Because values are not one-hot encoded.
# loss = -tf.reduce_mean(y*tf.log(value) - (1-y)*tf.log(1-value))
# TODO: Why don't work?
# loss = -tf.reduce_sum(y*tf.log(value))
optimize = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

init = tf.initialize_all_variables()

with tf.Session() as sess:
sess.run(init)
for i in range(30001):
result = sess.run(optimize, feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]})
if (i % 1000 == 0):
print("Epoch: ", i)
print(sess.run([value, loss], feed_dict={x: [[0, 0], [0, 1], [1, 0], [1, 1]], y: [[1], [0], [0], [1]]}))
== 후기 ==
== 다음 시간에는 ==
* ML Week 5 Back Propagation 실습
== 더 보기 ==