https://mediawiki.zeropage.org/api.php?action=feedcontributions&feedformat=atom&user=165.194.35.21 ZeroWiki - User contributions [en] 2026-05-14T08:49:18Z User contributions MediaWiki 1.39.8 https://mediawiki.zeropage.org/index.php?title=LaLaLand/0706&diff=34131 LaLaLand/0706 2017-07-06T03:35:06Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 스터디 설명 =<br /> 7월 6일 스터디는<br /> * 1단원 내용을 위키에 정리하기<br /> ** 1-1 ~ 1-4 : [[박인서]]<br /> ** 1-5 ~ 1-7 : [[전현욱]]<br /> ** 1-8 ~ 1-10 : [[안재형]]<br /> ** ~~??? : [[정진욱]]~~<br /> <br /> = 스터디 내용 =<br /> * 단원명<br /> ** 단원 내용<br /> 식으로 작성해주시기 바랍니다.<br /> * 1.1 : Systems of Linear Equations<br /> ** linear equation : a1x1 + a2x2 + a3x3 + ... + anxn = b 꼴로 나타내지는 방정식<br /> ** linear equation을 푸는 법 : 그래프 이용(하지만 변수가 4개 이상일 경우 힘듬), 행렬 이용<br /> ** linear equation의 해 : 없음, 1개, 무한대(consist와 uniqueness에 대해서 알면 됨)<br /> ** 행렬 표현법<br /> ** coefficient matrix : 각 equation의 계수만 적어놓은 행렬<br /> ** augmented matrix : coefficient matrix에 상수항까지 적어놓은 행렬<br /> ** 행렬로 linear equation 풀기 : elementary row operations 이용<br /> ** Replacement : 한 row에 대해서 다른 row와 더하거나 빼는 것<br /> ** Interchange : 두개의 row를 변경<br /> ** Scaling : 한 row의 모든 entry에 특정 값을 곱함<br /> * 1.2 : Row Reduction and Echelon Forms<br /> ** echelon form<br /> ** nonzero rows가 zero rows 위에 있어야 됨<br /> ** leading entry(pivot)이 왼쪽에 있는 것이 위로 가야됨<br /> ** leading entry 아래에 있는 column의 값은 0이여야 됨<br /> ** reduced echelon form<br /> ** 기존의 row echelon form의 조건은 모두 만족<br /> ** leading entry가 1이여야 됨<br /> ** leading entry가 있는 column의 나머지 entry는 모두 0이여야 됨<br /> ** pivot position : echelon form을 만들 때 기준이 되는 position<br /> ** row reduction algorithm : elementary row operations를 이용<br /> ** solution of linear system<br /> ** basic variable : pivot position이 있는 variable<br /> ** free variable : pivot position이 없는 variable<br /> * 1.3 : Vector Equations<br /> ** vector : matrix의 각각의 column을 vector라고 볼 수 있음.<br /> ** vector는 교환법칙, 결합법칙, 분배법칙이 성립한다.<br /> ** linear combination : 각 vector의 스칼라 곱의 합(a1v1 + a2v2 + ... + anvn)<br /> ** span : span{u, v} = 벡터 u, v를 linear combination 해서 만들 수 있는 벡터들의 집합<br /> * 1.4 : The Matrix Equation Ax=b<br /> ** matrix equation Ax=b<br /> ** Ax = b &lt;=&gt; x1a1 + x2a2 + ... + xnan = b &lt;=&gt; [[a1 a2 ... an b]]<br /> <br /> <br /> <br /> * 1.5 : Solution Set of Linear Systems<br /> *Homogeneous Linear Systems<br /> *Ax=0 라는 Homogeneous 방정식이 있을 때, 방정식이 최소한 하나의 free variable이 있어야만 x가 zero vector가 아닌 해를 가진다. <br /> 즉 nontrivial solution을 가진다.<br /> *Parametric Vector Form<br /> *parametric vector equation은 x = su + tv(s,t in R)로 표현할 수 있다. 예를 들어서 x = tv(t in R)이라는 방정식은 직선의 방정식을 <br /> 표현한 것이 된다. 만일 solution set이 x = s(3,1,2) + t(2,0,1)의 벡터형태로 표현된다면 그 solution을 parametric vector form이라<br /> 고 한다.<br /> * Ax=b와 Ax=0의 solution set관계<br /> ** Ax=b가 consistent하고, p를 solution이라고 가정한다. 그러면 Ax=b의 solution set은 v = p + h의 형태로 표현할 수 있다. 여기서 h<br /> 는 Ax=0의 solution이다. 다만 Ax=b는 nonzero solution인 p가 최소한 하나 이상있어야 한다. 만일 Ax=b가 해가 없다면 solution set<br /> 은 존재하지 않게된다.<br /> <br /> *1.6 : Applications Of Linear Systems<br /> *이 단원은 많은 솔루션을 갖춘 linear system이 우리들의 일상생활에서 어떻 형태로 나타나는지 가르쳐준다. 경제학, 화학반응식, 네트<br /> 워크의 흐름등이 이 책에서 예시로 나왔다. 내용의 특성상 간단하게 경제학으로 예시를 들겠다.<br /> *국가의 경제를 구성하는 요소 중에는 물품생산, 통신, 오락, 서비스 등이 있다. 우리가 각 영역의 1년 동안의 총 output을 알고, 그 <br /> output들이 다른 분야로 배분되고, 다른 분야와 교환되는 양을 한다고 가정한다. 그렇다면 우리는 각 영역의 소득이 정확한 균형을 이루<br /> 도록 할 수 있는 평형가격을 구할 수 있다. <br /> <br /> *문제를 꼭 풀어보길 바랍니다. (제발)<br /> *추천하는 문제는 David C.Lay - Linear Algebra and its applications에서 1.6장 exercise 문제 4번이다.<br /> 정답은 저에게 문의하시길.<br /> <br /> *1.7 : Linear Independence<br /> *Independent<br /> *{v1,v2,......vp}라는 벡터들의 집합이 Rn에 있다고 가정했을 때, x1v1 + x2v2 + ...... + xpvp = 0이라는 vector equation에서 x=0이<br /> 라는 trivial solution만 존재한다면 이것을 linearly independent하다고 표현한다.<br /> *Dependent <br /> *{v1,v2,......vp}라는 벡터들의 집합이 Rn에 있다고 가정했을 때, c1v1 + c2v2 + ...... + cpvp = 0에서 c1...cp중에서 하나라도 0이 <br /> 아닌 것이 존재한다면 이것을 linearl dependent라고 표현한다.<br /> *Linear Independence of Matrix Columns<br /> *Matrix A = {a1...an}(여기서 a1...an은 각각 A의 column vector이다)라고 해보자. 그러면 Ax=0를 x1a1 + x2a2 +....+ xnan으로 표현할 <br /> 수 있는데, 여기서 x1...xn이 모두 0인 경우에 A가 linearly independent가 된다. <br /> *Sets of One or Two Vectors<br /> *벡터v가 1개 있을 때, v가 0이 아니라면 linearly independent하다. 벡터 2개 {v1,v2}가 있을 때 한 벡터가 다른 벡터의 스칼라배(예를 <br /> 들어서 v1=2v2)라면 dependent하고, 그렇지 않다면 independent하다. <br /> *Sets of Two or More Vectors<br /> *S={v1....vp}라는 벡터집합에서 적어도 하나의 벡터를 다른 벡터들의 combination으로 만들 수 있다면, dependent라고 한다.<br /> <br /> *보충내용<br /> *만약에 각 vector의 원소개수보다 column vector의 수가 더 많다면, 무조건 linearly dependent하다.<br /> *왜냐하면 이 경우에는 방정식보다 미지수의 수가 더 많게 되고, 무조건 free variable이 생기기 때문이다. free variable이 생기면 <br /> nontrivial한 solution set이 생기고 이것은 dependent하다는 것을 의미하게 된다.<br /> *만약에 S={v1....vp}라는 집합에서 zero vector가 존재한다면 linearly dependent하다.<br /> = 다음 차시 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=LaLaLand/0706&diff=34130 LaLaLand/0706 2017-07-06T03:34:09Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 스터디 설명 =<br /> 7월 6일 스터디는<br /> * 1단원 내용을 위키에 정리하기<br /> ** 1-1 ~ 1-4 : [[박인서]]<br /> ** 1-5 ~ 1-7 : [[전현욱]]<br /> ** 1-8 ~ 1-10 : [[안재형]]<br /> ** ~~??? : [[정진욱]]~~<br /> <br /> = 스터디 내용 =<br /> * 단원명<br /> ** 단원 내용<br /> 식으로 작성해주시기 바랍니다.<br /> * 1.1 : Systems of Linear Equations<br /> ** linear equation : a1x1 + a2x2 + a3x3 + ... + anxn = b 꼴로 나타내지는 방정식<br /> ** linear equation을 푸는 법 : 그래프 이용(하지만 변수가 4개 이상일 경우 힘듬), 행렬 이용<br /> ** linear equation의 해 : 없음, 1개, 무한대(consist와 uniqueness에 대해서 알면 됨)<br /> ** 행렬 표현법<br /> ** coefficient matrix : 각 equation의 계수만 적어놓은 행렬<br /> ** augmented matrix : coefficient matrix에 상수항까지 적어놓은 행렬<br /> ** 행렬로 linear equation 풀기 : elementary row operations 이용<br /> ** Replacement : 한 row에 대해서 다른 row와 더하거나 빼는 것<br /> ** Interchange : 두개의 row를 변경<br /> ** Scaling : 한 row의 모든 entry에 특정 값을 곱함<br /> * 1.2 : Row Reduction and Echelon Forms<br /> ** echelon form<br /> ** nonzero rows가 zero rows 위에 있어야 됨<br /> ** leading entry(pivot)이 왼쪽에 있는 것이 위로 가야됨<br /> ** leading entry 아래에 있는 column의 값은 0이여야 됨<br /> ** reduced echelon form<br /> ** 기존의 row echelon form의 조건은 모두 만족<br /> ** leading entry가 1이여야 됨<br /> ** leading entry가 있는 column의 나머지 entry는 모두 0이여야 됨<br /> ** pivot position : echelon form을 만들 때 기준이 되는 position<br /> ** row reduction algorithm : elementary row operations를 이용<br /> ** solution of linear system<br /> ** basic variable : pivot position이 있는 variable<br /> ** free variable : pivot position이 없는 variable<br /> * 1.3 : Vector Equations<br /> ** vector : matrix의 각각의 column을 vector라고 볼 수 있음.<br /> ** vector는 교환법칙, 결합법칙, 분배법칙이 성립한다.<br /> ** linear combination : 각 vector의 스칼라 곱의 합(a1v1 + a2v2 + ... + anvn)<br /> ** span : span{u, v} = 벡터 u, v를 linear combination 해서 만들 수 있는 벡터들의 집합<br /> * 1.4 : The Matrix Equation Ax=b<br /> ** matrix equation Ax=b<br /> ** Ax = b &lt;=&gt; x1a1 + x2a2 + ... + xnan = b &lt;=&gt; [[a1 a2 ... an b]]<br /> <br /> <br /> <br /> <br /> <br /> * 1.5 : Solution Set of Linear Systems<br /> *Homogeneous Linear Systems<br /> *Ax=0 라는 Homogeneous 방정식이 있을 때, 방정식이 최소한 하나의 free variable이 있어야만 x가 zero vector가 아닌 해를 가진다. <br /> 즉 nontrivial solution을 가진다.<br /> *Parametric Vector Form<br /> *parametric vector equation은 x = su + tv(s,t in R)로 표현할 수 있다. 예를 들어서 x = tv(t in R)이라는 방정식은 직선의 방정식을 <br /> 표현한 것이 된다. 만일 solution set이 x = s(3,1,2) + t(2,0,1)의 벡터형태로 표현된다면 그 solution을 parametric vector form이라<br /> 고 한다.<br /> * Ax=b와 Ax=0의 solution set관계<br /> ** Ax=b가 consistent하고, p를 solution이라고 가정한다. 그러면 Ax=b의 solution set은 v = p + h의 형태로 표현할 수 있다. 여기서 h<br /> 는 Ax=0의 solution이다. 다만 Ax=b는 nonzero solution인 p가 최소한 하나 이상있어야 한다. 만일 Ax=b가 해가 없다면 solution set<br /> 은 존재하지 않게된다.<br /> <br /> <br /> *1.6 : Applications Of Linear Systems<br /> <br /> *이 단원은 많은 솔루션을 갖춘 linear system이 우리들의 일상생활에서 어떻 형태로 나타나는지 가르쳐준다. 경제학, 화학반응식, 네트<br /> 워크의 흐름등이 이 책에서 예시로 나왔다. 내용의 특성상 간단하게 경제학으로 예시를 들겠다.<br /> *국가의 경제를 구성하는 요소 중에는 물품생산, 통신, 오락, 서비스 등이 있다. 우리가 각 영역의 1년 동안의 총 output을 알고, 그 <br /> output들이 다른 분야로 배분되고, 다른 분야와 교환되는 양을 한다고 가정한다. 그렇다면 우리는 각 영역의 소득이 정확한 균형을 이루<br /> 도록 할 수 있는 평형가격을 구할 수 있다. <br /> <br /> *문제를 꼭 풀어보길 바랍니다. (제발)<br /> *추천하는 문제는 David C.Lay - Linear Algebra and its applications에서 1.6장 exercise 문제 4번이다.<br /> 정답은 저에게 문의하시길.<br /> <br /> <br /> *1.7 : Linear Independence<br /> <br /> *Independent<br /> *{v1,v2,......vp}라는 벡터들의 집합이 Rn에 있다고 가정했을 때, x1v1 + x2v2 + ...... + xpvp = 0이라는 vector equation에서 x=0이<br /> 라는 trivial solution만 존재한다면 이것을 linearly independent하다고 표현한다.<br /> *Dependent <br /> *{v1,v2,......vp}라는 벡터들의 집합이 Rn에 있다고 가정했을 때, c1v1 + c2v2 + ...... + cpvp = 0에서 c1...cp중에서 하나라도 0이 <br /> 아닌 것이 존재한다면 이것을 linearl dependent라고 표현한다.<br /> <br /> *Linear Independence of Matrix Columns<br /> *Matrix A = {a1...an}(여기서 a1...an은 각각 A의 column vector이다)라고 해보자. 그러면 Ax=0를 x1a1 + x2a2 +....+ xnan으로 표현할 <br /> 수 있는데, 여기서 x1...xn이 모두 0인 경우에 A가 linearly independent가 된다. <br /> <br /> *Sets of One or Two Vectors<br /> *벡터v가 1개 있을 때, v가 0이 아니라면 linearly independent하다. 벡터 2개 {v1,v2}가 있을 때 한 벡터가 다른 벡터의 스칼라배(예를 <br /> 들어서 v1=2v2)라면 dependent하고, 그렇지 않다면 independent하다. <br /> <br /> *Sets of Two or More Vectors<br /> *S={v1....vp}라는 벡터집합에서 적어도 하나의 벡터를 다른 벡터들의 combination으로 만들 수 있다면, dependent라고 한다.<br /> <br /> *보충내용<br /> *만약에 각 vector의 원소개수보다 column vector의 수가 더 많다면, 무조건 linearly dependent하다.<br /> *왜냐하면 이 경우에는 방정식보다 미지수의 수가 더 많게 되고, 무조건 free variable이 생기기 때문이다. free variable이 생기면 <br /> nontrivial한 solution set이 생기고 이것은 dependent하다는 것을 의미하게 된다.<br /> *만약에 S={v1....vp}라는 집합에서 zero vector가 존재한다면 linearly dependent하다.<br /> = 다음 차시 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=LaLaLand/0706&diff=34129 LaLaLand/0706 2017-07-06T03:26:59Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 스터디 설명 =<br /> 7월 6일 스터디는<br /> * 1단원 내용을 위키에 정리하기<br /> ** 1-1 ~ 1-4 : [[박인서]]<br /> ** 1-5 ~ 1-7 : [[전현욱]]<br /> ** 1-8 ~ 1-10 : [[안재형]]<br /> ** ~~??? : [[정진욱]]~~<br /> <br /> = 스터디 내용 =<br /> * 단원명<br /> ** 단원 내용<br /> 식으로 작성해주시기 바랍니다.<br /> * 1.1 : Systems of Linear Equations<br /> ** linear equation : a1x1 + a2x2 + a3x3 + ... + anxn = b 꼴로 나타내지는 방정식<br /> ** linear equation을 푸는 법 : 그래프 이용(하지만 변수가 4개 이상일 경우 힘듬), 행렬 이용<br /> ** linear equation의 해 : 없음, 1개, 무한대(consist와 uniqueness에 대해서 알면 됨)<br /> ** 행렬 표현법<br /> ** coefficient matrix : 각 equation의 계수만 적어놓은 행렬<br /> ** augmented matrix : coefficient matrix에 상수항까지 적어놓은 행렬<br /> ** 행렬로 linear equation 풀기 : elementary row operations 이용<br /> ** Replacement : 한 row에 대해서 다른 row와 더하거나 빼는 것<br /> ** Interchange : 두개의 row를 변경<br /> ** Scaling : 한 row의 모든 entry에 특정 값을 곱함<br /> * 1.2 : Row Reduction and Echelon Forms<br /> ** echelon form<br /> ** nonzero rows가 zero rows 위에 있어야 됨<br /> ** leading entry(pivot)이 왼쪽에 있는 것이 위로 가야됨<br /> ** leading entry 아래에 있는 column의 값은 0이여야 됨<br /> ** reduced echelon form<br /> ** 기존의 row echelon form의 조건은 모두 만족<br /> ** leading entry가 1이여야 됨<br /> ** leading entry가 있는 column의 나머지 entry는 모두 0이여야 됨<br /> ** pivot position : echelon form을 만들 때 기준이 되는 position<br /> ** row reduction algorithm : elementary row operations를 이용<br /> ** solution of linear system<br /> ** basic variable : pivot position이 있는 variable<br /> ** free variable : pivot position이 없는 variable<br /> * 1.3 : Vector Equations<br /> ** vector : matrix의 각각의 column을 vector라고 볼 수 있음.<br /> ** vector는 교환법칙, 결합법칙, 분배법칙이 성립한다.<br /> ** linear combination : 각 vector의 스칼라 곱의 합(a1v1 + a2v2 + ... + anvn)<br /> ** span : span{u, v} = 벡터 u, v를 linear combination 해서 만들 수 있는 벡터들의 집합<br /> * 1.4 : The Matrix Equation Ax=b<br /> ** matrix equation Ax=b<br /> ** Ax = b &lt;=&gt; x1a1 + x2a2 + ... + xnan = b &lt;=&gt; [[a1 a2 ... an b]]<br /> <br /> <br /> <br /> <br /> <br /> * 1.5 : Solution Set of Linear Systems<br /> *Homogeneous Linear Systems<br /> *Ax=0 라는 Homogeneous 방정식이 있을 때, 방정식이 최소한 하나의 free variable이 있어야만 x가 zero vector가 아닌 해를 가진다. <br /> 즉 nontrivial solution을 가진다.<br /> *Parametric Vector Form<br /> *parametric vector equation은 x = su + tv(s,t in R)로 표현할 수 있다. 예를 들어서 x = tv(t in R)이라는 방정식은 직선의 방정식을 <br /> 표현한 것이 된다. 만일 solution set이 x = s(3,1,2) + t(2,0,1)의 벡터형태로 표현된다면 그 solution을 parametric vector form이라<br /> 고 한다.<br /> * Ax=b와 Ax=0의 solution set관계<br /> ** Ax=b가 consistent하고, p를 solution이라고 가정한다. 그러면 Ax=b의 solution set은 v = p + h의 형태로 표현할 수 있다. 여기서 h<br /> 는 Ax=0의 solution이다. 다만 Ax=b는 nonzero solution인 p가 최소한 하나 이상있어야 한다. 만일 Ax=b가 해가 없다면 solution set<br /> 은 존재하지 않게된다.<br /> <br /> <br /> <br /> <br /> <br /> = 다음 차시 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=LaLaLand/0627&diff=34126 LaLaLand/0627 2017-07-06T02:14:52Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 스터디 설명 =<br /> * 스터디 책 변경<br /> ** 기존의 책에서 David. C. Lay - Linear Algebra and Its Applications 책으로 변경<br /> * 목차<br /> ** 제1장 선형대수학에서의 선형방정식 <br /> ** 제2장 행렬 대수 <br /> ** 제3장 행렬식 <br /> ** 제4장 벡터 공간 <br /> ** 제5장 고윳값과 고유 벡터 <br /> ** 제6장 직교성과 최소제곱법 <br /> ** 제7장 대칭행렬과 이차형식 <br /> ** ~~제8장 벡터공간의 기하~~<br /> <br /> = 스터디 내용 =<br /> == 스터디 진도 정하기 ==<br /> * 안재형 : Orthogonality 이후<br /> * 박인서 : Application 이후, 앞쪽 훑는거 상관없음<br /> * 전현욱 : Orthogonality 이후<br /> * 정진욱 : Orthogonality 이후<br /> == 스터디 계획 ==<br /> * 1차시 : 행렬 대수(기존의 고등학교 과정) + 1장 선형대수학에서의 선형방정식 개념, 문제풀이<br /> * 2차시 : Determinant, Orthogonality 문제풀이<br /> * 3차시 : Vector Space 문제풀이<br /> * 4차시 : EigenValue, Eigenvector 문제풀이<br /> * 5차시 : 7장 일부분 개념<br /> <br /> * 1~2차시정도는 유동적으로 움직일 수 있음<br /> * 총 차시는 8차시로 예정<br /> == 참고할만한 자료들 ==<br /> * MIT OCW : https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/video-lectures/<br /> * ~~EBS~~<br /> * OCW-HYU: https://www.youtube.com/watch?v=esuviuoljUo&amp;list=PLSN_PltQeOyjDGSghAf92VhdMBeaLZWR3&amp;index=19&amp;app=desktop<br /> <br /> = 다음 차시 =<br /> * 학기중 과제 hw_01 풀어오기<br /> * 책 1장 Exercise 부분 자율적으로 풀다가 막히는 문제 가져오기<br /> * 다른 이유 없으면 7월 6일 1시에 모이는걸로<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=LaLaLand/0627&diff=34125 LaLaLand/0627 2017-07-06T02:14:23Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 스터디 설명 =<br /> * 스터디 책 변경<br /> ** 기존의 책에서 David. C. Lay - Linear Algebra and Its Applications 책으로 변경<br /> * 목차<br /> ** 제1장 선형대수학에서의 선형방정식 <br /> ** 제2장 행렬 대수 <br /> ** 제3장 행렬식 <br /> ** 제4장 벡터 공간 <br /> ** 제5장 고윳값과 고유 벡터 <br /> ** 제6장 직교성과 최소제곱법 <br /> ** 제7장 대칭행렬과 이차형식 <br /> ** ~~제8장 벡터공간의 기하~~<br /> <br /> = 스터디 내용 =<br /> == 스터디 진도 정하기 ==<br /> * 안재형 : Orthogonality 이후<br /> * 박인서 : Application 이후, 앞쪽 훑는거 상관없음<br /> * 전현욱 : Orthogonality 이후<br /> * 정진욱 : Orthogonality 이후<br /> == 스터디 계획 ==<br /> * 1차시 : 행렬 대수(기존의 고등학교 과정) + 1장 선형대수학에서의 선형방정식 개념, 문제풀이<br /> * 2차시 : Determinant, Orthogonality 문제풀이<br /> * 3차시 : Vector Space 문제풀이<br /> * 4차시 : EigenValue, Eigenvector 문제풀이<br /> * 5차시 : 7장 일부분 개념<br /> <br /> * 1~2차시정도는 유동적으로 움직일 수 있음<br /> * 총 차시는 8차시로 예정<br /> == 참고할만한 자료들 ==<br /> * MIT OCW : https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/video-lectures/<br /> * ~~EBS~~<br /> * https://www.youtube.com/watch?v=esuviuoljUo&amp;list=PLSN_PltQeOyjDGSghAf92VhdMBeaLZWR3&amp;index=19&amp;app=desktop<br /> <br /> = 다음 차시 =<br /> * 학기중 과제 hw_01 풀어오기<br /> * 책 1장 Exercise 부분 자율적으로 풀다가 막히는 문제 가져오기<br /> * 다른 이유 없으면 7월 6일 1시에 모이는걸로<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49050 데블스캠프2017/DeepLearningDay 2017-07-01T13:22:30Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> <br /> ==== Keras 를 쓰기 좋은 경우 ====<br /> * 이미 알려진 모델을 사용하는 경우<br /> * 베이스 라인이 없는 경우<br /> * 원하는 결과를 빠르게 만들어야 할 경우<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49049 데블스캠프2017/DeepLearningDay 2017-07-01T13:22:21Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> <br /> ==== Keras 를 쓰기 좋은 경우 ====<br /> <br /> * 이미 알려진 모델을 사용하는 경우<br /> * 베이스 라인이 없는 경우<br /> * 원하는 결과를 빠르게 만들어야 할 경우<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49048 데블스캠프2017/DeepLearningDay 2017-07-01T13:18:03Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49047 데블스캠프2017/DeepLearningDay 2017-07-01T13:05:25Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일미, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49046 데블스캠프2017/DeepLearningDay 2017-07-01T13:04:58Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49045 데블스캠프2017/DeepLearningDay 2017-07-01T12:45:36Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> <br /> ==== 전체 구성 ====<br /> # 데이터 준비 : (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)<br /> # Neural network 모델의 디자인 : model.add(......)<br /> # 학습 프로세스 정의 : model.compile(optimizer, loss)<br /> # 학습: model.fit(x_train, y_train)<br /> # 평가: model.evaluate(x_test, y_test)<br /> # 예측: model.predict(x)<br /> <br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49044 데블스캠프2017/DeepLearningDay 2017-07-01T12:41:25Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF는 그냥 사용하기에는 추상화 수준이 낮음<br /> *** 직접적인 matrix 연산, 연산 = 노드 개념, 원하는 값을 얻기 위한 tensor eval 등<br /> *** 현재는 더 높은 추상화 수준의 라이브러리들도 제공<br /> * 쉽고 빠른 구현<br /> *** TF와 다르게 개별 연산 수준에서 NN를 만드는 게 아니라 레이어 단위로 NN을 구성<br /> *** NN 구성에 필요한 핵심 기능들 지원<br /> *** Training, prediction 등을 메소드 형태를 통해 쉽게 사용할 수 있음<br /> <br /> * 문제 : 영화 리뷰 데이터셋을 이용한 감정 분석(sentiment analysis)<br /> *** Keras에서 미리 단어를 빈도에 따라 indexing하였음<br /> *** Input : 25,000 영화 리뷰 : imdb<br /> *** Output : 긍정/부정 분류 결과(binary classification)<br /> *** Model : 1-D CNN + max pool + fully connected<br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49043 데블스캠프2017/DeepLearningDay 2017-07-01T12:35:07Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG 국내산, 상품<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용(?)<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> <br /> # 입력 문자열의 자모 분해<br /> <br /> # Neural network model<br /> <br /> * 식자재 검색 : 썬단무지 3kg 원형썰기<br /> 썬단무지, 무우, 국내산, 싱그랑 3KG PAC, 원형썰기<br /> 썬단무지, 무 국내산, NB 한아름 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 원형썰기<br /> 썬단무지, 무, 국내산, 일하, 3KG PAC, 반달썰기<br /> 썬단무지, 무우, 국내산, 싱그랑, 3KG PAC, 반달썰기<br /> <br /> === Keras 실습 ===<br /> * Theano/tensorflow를 이용한 상위 레벨의 deep learning library<br /> * Theano/TF <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49042 데블스캠프2017/DeepLearningDay 2017-07-01T12:23:59Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> * 언어를 특성이 다른 데이터(그림, 음성)와 같은 표현(vector)으로 나타냄으로 여러 데이터를 같이 사용한(multimodal model)의 구축이 쉬워짐<br /> <br /> ==== ESTsoft의 사례 ====<br /> * 문제 : 다양한 종류의 비정형적 주문 이력들로부터 올바른 상품명 찾기<br /> &quot;생표고버섯 KG 국내산&quot; -&gt; 표고버섯, 국내산, KG<br /> =&gt; 문자열 비교? 전통적인 방식<br /> <br /> 건표고버섯 KG 국내산, 상품<br /> 느타리버섯 KG 국내산, 상품<br /> 새송이버섯 KG 국내산, 상품<br /> 양송이버섯 KG rnrsotks, tkdvna<br /> 표고버섯(생) KG KG 국내산<br /> 엄지새송이버섯 KG 국내산, D-2 KG<br /> 느타리버섯 KG 찌개용 KG 국내산<br /> 전체 350,000 건<br /> <br /> * Deep learning 모델을 이용해 상품명을 찾음(= classification 문제)<br /> *** CNN 모델 사용<br /> *** RNN : 연속적 데이터들의 처리에 좋음, 불연속적인 심볼의 나열, 샘플(문장)별로 길이가 다를 수 있음<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49041 데블스캠프2017/DeepLearningDay 2017-07-01T12:16:42Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49040 데블스캠프2017/DeepLearningDay 2017-07-01T12:16:36Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> <br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49039 데블스캠프2017/DeepLearningDay 2017-07-01T12:15:57Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([IMAGE_PIXELS, hidden1_units],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden1_units]),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden1_units, hidden2_units],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([hidden2_units]),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([hidden2_units, NUM_CLASSES],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([NUM_CLASSES]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49038 데블스캠프2017/DeepLearningDay 2017-07-01T12:15:43Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([train_op, loss],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)<br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49037 데블스캠프2017/DeepLearningDay 2017-07-01T12:15:16Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== 딥러닝의 특징 ====<br /> * 데이터로부터 중요한 특징을 자동으로 학습<br /> * 수준 별 언어 특성에 대한 통일된 형태 제공 - vector<br /> * 음소 : 음성 특성을 벡터로 표현, 학습<br /> * 형태소 : 접두사, 접미사, 어간 등을 벡터로 표현, 결합<br /> * 문법 : 문장 내의 단어들을 벡터로 표현<br /> * 의미: 문장이나 구를 벡터로 표현<br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49036 데블스캠프2017/DeepLearningDay 2017-07-01T12:13:26Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49035 데블스캠프2017/DeepLearningDay 2017-07-01T12:13:21Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> <br /> ==== CNN ====<br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49034 데블스캠프2017/DeepLearningDay 2017-07-01T12:13:04Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> === 딥러닝과 자연언어처리 ===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> <br /> ==== CNN ====<br /> <br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ==== RNN ==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49033 데블스캠프2017/DeepLearningDay 2017-07-01T12:12:29Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> <br /> ===딥러닝과 자연언어처리===<br /> * 언어 데이터의 특징 : 불연속적인 심볼의 나열 샘플(문장)별로 길이가 다를 수 있음. 계층적, 재귀적인 구조를 지님<br /> * 딥러닝은 매우 유연한 모델을 제공함<br /> *** CNN : 지역적 특성을 가진 데이터의 처리에 좋음(주로 이미지)<br /> *** RNN : 연속된 데이터들의 처리에 좋음<br /> *** RecursiveNN: 계층구조를 가진 데이터의 처리에 사용가능<br /> <br /> ====CNN====<br /> <br /> *** 다음 층의 노드가 이전 층 &quot;일부&quot;에만 연결되어 있음<br /> *** 다음 층의 노드들은 같은 kernel로부터 만들어짐(= 똑같은 계수를 재사용)<br /> <br /> ====RNN==== <br /> *연속된 입력값에 대해 중간 층을 메모리처럼 보고 중간 층을 위한 계수를 재사용<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49032 데블스캠프2017/DeepLearningDay 2017-07-01T12:06:29Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 : ppt참고 ~~너무 빨라 판서를 못함~~<br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EB%8D%B0%EB%B8%94%EC%8A%A4%EC%BA%A0%ED%94%842017/DeepLearningDay&diff=49031 데블스캠프2017/DeepLearningDay 2017-07-01T12:05:30Z <p>165.194.35.21: </p> <hr /> <div>이스트소프트 AI Plus Lab<br /> * 컴퓨터 비전<br /> * 자연어 처리<br /> * 악성코드 탐지<br /> * 금융시장 예측<br /> <br /> __TOC__<br /> <br /> == 딥러닝의 원리 ==<br /> === 딥러닝의 이해 ===<br /> * 인공지능<br /> ** 사람만큼이나 사람보다 똑똑한 기계<br /> * 머신러닝 <br /> ** 더 많은 데이터를 더 빠르게 처리할 수 있지만, 처리 알고리즘은 사람이 만들어야 한다<br /> ** 사람보다 똑똑한 기계를 만들기 위해 사람(생물)이 학습하는 방법을 모델링<br /> ** 데이터로부터 경험적, 귀납적으로 만들어낸 알고리즘에 의해 추론<br /> ** feature와 label<br /> ** 더 좋은 feature들을 추출할 수 있다면, 더욱 쉽게 분류할 수 있다<br /> ** feature engineering <br /> *** 딥러닝 이전 머신러닝에서 반드시 수행되어야하는 작업<br /> *** 사람이 정답을 더 잘 찾기 위한 특징을 찾아내고 (-&gt;도메인 전문가) <br /> *** 사람이 데이터에서 그런 특징을 식별하고 추출하는 알고리즘을 설계하는 것 (-&gt;알고리즘)<br /> ** 단일 층으로 분류가 불가능하다면, 분류가 가능할 때까지 공간을 변형시키면 된다<br /> ** 즉, 다중 층을 사용하면 된다<br /> * 딥러닝<br /> ** 여러 층을 통째로 학습시키면(차원이 늘어나면) <br /> ** 사람이 찾을 수 있는 특징보다 더 좋은 특징을 찾아 분류를 할 수 있다<br /> ** 이 특징은 사람이 이해하기에는 어려울 수 있다<br /> ** 더 어렵고 복잡한 문제를 해결할 수 있는데 이를 수용력이라 함<br /> ** 딥러닝은 머신러닝 더 넓은 수용력을 가지는 학습 방법<br /> ** 학습할 데이터가 충분히 많아야 더욱 정확하고 복잡한 특징을 추출할 수 있게 된다<br /> * 딥러닝에 필요한 것들<br /> ** 선형대수학<br /> ** 확률과 통계<br /> ** 다변수 미적분<br /> ** 알고리즘, 최적화<br /> ** 기타 등등<br /> ** 정보이론(엔트로피 ..)<br /> ** 기타 수학적 이론들<br /> === 딥러닝의 원리 1 - similarity ===<br /> ** 딥러닝에서는 스스로 좋은 feature를 찾아가기 때문에 최대한 손실이 없는 데이터를 사용하는 것이 유리하다<br /> ** 벡터의 유사도를 나타내는 방법<br /> ** 유클리드 거리(두 벡터의 차이)<br /> ** 코사인 유사도(두 벡터의 내적)<br /> ** 하지만 유사한 데이터라고 해서 유사한 벡터인 것은 아니다<br /> ** 이를 해결하는 것이 머신러닝의 핵심적인 목교<br /> ** 입력층 벡터를 유사하게 -&gt; 입력 데이터의 모델링<br /> ** 마지막 은닉 층 벡터를 유사하게 -&gt; 네트워크 모델링<br /> ** Supervised Learning<br /> ** 분류의 정답인 함수 값을 통해 어떤 데이터들이 분류가 같아야 하고, 분류가 달라야하는지<br /> ** 기준을 가르치는 것<br /> ** 뉴럴 네트워크를 학습한다는 것<br /> ** 학습한다는 것은 정답과의 오차를 줄이는 방향으로 모델 파라미터를 수정해 나가는 것<br /> ** 학습이 잘 된 후에는 어떤 입력에 대해 강하게 반응하려면 가중치가 그 벡터와 유사해 진다<br /> ** 모델링<br /> ** 더 적은 데이터를 가지고 더 적합한 학습을 시킬 수 있도록하는 것이 모델링<br /> ** ex) CNN<br /> ** 응용<br /> ** 변종 악성코드의 탐지와 분류<br /> ** 악성코드의 유사도<br /> *** 메타데이터가 유사하다<br /> *** 파일 구조와 내용이 유사<br /> *** 코드 패턴, 행위 패턴이 유사<br /> *** 사용하는 API가 유사<br /> *** 개발자의 습관이 유사<br /> *** 노리는 대상이나 취약점이 유사<br /> *** 통신하는 대상이나 패킷이 유사<br /> *** 압축, 난독화, 암호화, 패키지 방식이 유사<br /> *** 악성 여부?<br /> *** 정말 모든 악성 코드를 유사한가?<br /> *** 정말 모든 정상 코드는 유사한가?<br /> *** 정말 정상코드와 악성코드는 유사하지 않은가?<br /> *** 탐지명<br /> *** 보안 분석가들이 오랜 기간동안 악성코드를 분류<br /> *** 유사한 악성코드를 같은 탐지명으로 분류할까?<br /> *** 같은 탐지명으로 분류된 악성코드들은 유사할까?<br /> *** 하나의 악성코드는 하나의 탐지명으로만 분류할 수 있을까?<br /> *** 탐지명을 label로 학습을 시킨다 하더라도<br /> ** 신종 악성코드의 탐지와 분류<br /> *** 학습한 데이터의 유사한 악성코드가 없다<br /> *** 학습한 훈련 데이터에 같은 분류로 분류된 악성코드가 없다<br /> === 딥러닝의 원리 2 - Probability ===<br /> * 변별 모델 <br /> ** classification, regression<br /> ** 입력 데이터 x가 주어질 때, 간단한 응답 y를 결정<br /> ** 조건부 확률을 사용<br /> ** 조건부 확률의 함정<br /> ** 조건부 활률 뒤집기<br /> *** 수 많은 경우의 수가 존재하므로 직접 계산하는 것은 굉장히 어렵다<br /> *** 결합 확률<br /> *** x,y가 동시에 일어날 확률<br /> *** 베이즈 정리에 의해 계산 <br /> *** 결합 확률을 계산<br /> * 생성모델<br /> ** y라는 속성을 같는 그럴듯한 x를 생성<br /> ** 딥러닝을 활용하면 y뿐만아니라 대량의 x로부터 숨겨진 특징 z를 찾아낼 수 있다<br /> ** 가르친 적 없는 x를 생성<br /> ** 딥러닝 기반 생성모델 VAEs, GANs, Auto-Regressive model, DBNs, RBMs<br /> <br /> <br /> == ~~(딥)~~러닝 ==<br /> [http://cs231n.stanford.edu/]<br /> 이미지 분류기 <br /> * 이미지 데이터를 각 픽셀에 대해 rgb로 표현 <br /> * 다른 시각에서, 다른 성질을 가진 같은 물체를 어떻게 같은 label로 분류할 것인가<br /> * hard-code로는 분류기를 만드는 것이 불가능함<br /> === K Nearest Neighbor Classifier ===<br /> ** 이미지를 학습하여 저장<br /> ** 새로 들어온 이미지를 차이가 가장 작은 값을 통해 분류<br /> ** 비교하는 방법<br /> ** 픽셀값으 절대값 거리 계산<br /> ** 이를 distance로 사용<br /> ** 분류 시간이 linear하게 증가<br /> ** CNN 모델에서는 학습시간은 증가하지만, 분류가 빠름<br /> ** hyper parameter<br /> ** L1 distance vs L2 distance <br /> ** K?<br /> ** 실험적으로 hyper parameter를 결정<br /> *** 학습 데이터 중 일부를 validation data로 사용<br /> *** cross-validation<br /> === Linear Classification ===<br /> * 선을 그어 분류하는 방법<br /> * non-parametric approach<br /> ** KNN 등<br /> * parametric approach <br /> ** 선의 기울기를 사용하여<br /> ** f(x, W) -&gt; 분류<br /> ** score function f = W*x + b = 점수의 벡터<br /> * loss function<br /> ** 학습 데이터에 대해 unhappiness를 측정하는 함수<br /> ** loss function을 작게 만드는 과정 -&gt; optimization<br /> ** ex) SVM loss function<br /> * softmax classifier<br /> ** score = 특정 분류에 대한 normalized 되지 않은 조건부 확률 <br /> ** loss function = -log(normalized score)<br /> * optimization<br /> ** loss function을 최소화하는 W을 구하는 과정<br /> ** random search <br /> ** W를 랜덤하게 생성하여 찾은 W 중 가장 loss 값을 가지는 W를 선택<br /> ** 낮은 정확도<br /> ** gradient descent<br /> ** 가능한 작은 h를 사용하여 gradient를 측정<br /> ** loss가 작아지는 방향으로 점진적으로 접근 <br /> <br /> == 고래 등에 태운 텐서플로 ==<br /> https://goo.gl/M1zJVP<br /> <br /> <br /> if(ubuntu version &lt; 16) instead 18~20page<br /> * command -&gt; sudo apt install docker.io<br /> <br /> <br /> without GPU(?) instead 22~23page<br /> # command -&gt; sudo docker rm -f tensorflow<br /> # command -&gt; sudo docker run -d --net=host --name tensorflow gcr.io/tensorflow/tensorflow<br /> # connect http://127.0.0.1:8888/<br /> # try login in webpage<br /> # command -&gt; sudo docker logs tensorflow<br /> # copy link to browser like this in log -&gt; http://localhost:8888/?token=00bca78fdb2b3ab7b23eab7105dc639dab72d021ecd5c54f &lt;- copy link like this to browser/<br /> === fully_connected_feed.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import argparse<br /> import os<br /> import sys<br /> import time<br /> <br /> from six.moves import xrange<br /> import tensorflow as tf<br /> <br /> from tensorflow.examples.tutorials.mnist import input_data<br /> from tensorflow.examples.tutorials.mnist import mnist<br /> <br /> FLAGS = None<br /> <br /> <br /> def placeholder_inputs(batch_size):<br /> images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,<br /> mnist.IMAGE_PIXELS))<br /> labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))<br /> return images_placeholder, labels_placeholder<br /> <br /> <br /> def fill_feed_dict(data_set, images_pl, labels_pl):<br /> images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size,<br /> FLAGS.fake_data)<br /> feed_dict = {<br /> images_pl: images_feed,<br /> labels_pl: labels_feed,<br /> }<br /> return feed_dict<br /> <br /> <br /> def do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_set):<br /> <br /> true_count = 0<br /> steps_per_epoch = data_set.num_examples // FLAGS.batch_size<br /> num_examples = steps_per_epoch * FLAGS.batch_size<br /> for step in xrange(steps_per_epoch):<br /> feed_dict = fill_feed_dict(data_set,<br /> images_placeholder,<br /> labels_placeholder)<br /> true_count += sess.run(eval_correct, feed_dict=feed_dict)<br /> precision = float(true_count) / num_examples<br /> print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' %<br /> (num_examples, true_count, precision))<br /> <br /> <br /> def run_training():<br /> data_sets = input_data.read_data_sets(FLAGS.input_data_dir, FLAGS.fake_data)<br /> <br /> with tf.Graph().as_default():<br /> images_placeholder, labels_placeholder = placeholder_inputs(<br /> FLAGS.batch_size)<br /> <br /> logits = mnist.inference(images_placeholder,<br /> FLAGS.hidden1,<br /> FLAGS.hidden2)<br /> <br /> loss = mnist.loss(logits, labels_placeholder)<br /> <br /> train_op = mnist.training(loss, FLAGS.learning_rate)<br /> <br /> eval_correct = mnist.evaluation(logits, labels_placeholder)<br /> <br /> summary = tf.summary.merge_all()<br /> <br /> init = tf.global_variables_initializer()<br /> <br /> saver = tf.train.Saver()<br /> <br /> sess = tf.Session()<br /> <br /> summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)<br /> <br /> sess.run(init)<br /> <br /> for step in xrange(FLAGS.max_steps):<br /> start_time = time.time()<br /> <br /> feed_dict = fill_feed_dict(data_sets.train,<br /> images_placeholder,<br /> labels_placeholder)<br /> <br /> _, loss_value = sess.run([[train_op, loss]],<br /> feed_dict=feed_dict)<br /> <br /> duration = time.time() - start_time<br /> <br /> if step % 100 == 0:<br /> print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))<br /> summary_str = sess.run(summary, feed_dict=feed_dict)<br /> summary_writer.add_summary(summary_str, step)<br /> summary_writer.flush()<br /> <br /> if (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps:<br /> checkpoint_file = os.path.join(FLAGS.log_dir, 'model.ckpt')<br /> saver.save(sess, checkpoint_file, global_step=step)<br /> print('Training Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.train)<br /> print('Validation Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.validation)<br /> print('Test Data Eval:')<br /> do_eval(sess,<br /> eval_correct,<br /> images_placeholder,<br /> labels_placeholder,<br /> data_sets.test)<br /> <br /> <br /> def main(_):<br /> if tf.gfile.Exists(FLAGS.log_dir):<br /> tf.gfile.DeleteRecursively(FLAGS.log_dir)<br /> tf.gfile.MakeDirs(FLAGS.log_dir)<br /> run_training()<br /> <br /> <br /> if __name__ == '__main__':<br /> parser = argparse.ArgumentParser()<br /> parser.add_argument(<br /> '--learning_rate',<br /> type=float,<br /> default=0.01,<br /> help='Initial learning rate.'<br /> )<br /> parser.add_argument(<br /> '--max_steps',<br /> type=int,<br /> default=2000,<br /> help='Number of steps to run trainer.'<br /> )<br /> parser.add_argument(<br /> '--hidden1',<br /> type=int,<br /> default=128,<br /> help='Number of units in hidden layer 1.'<br /> )<br /> parser.add_argument(<br /> '--hidden2',<br /> type=int,<br /> default=32,<br /> help='Number of units in hidden layer 2.'<br /> )<br /> parser.add_argument(<br /> '--batch_size',<br /> type=int,<br /> default=100,<br /> help='Batch size. Must divide evenly into the dataset sizes.'<br /> )<br /> parser.add_argument(<br /> '--input_data_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/input_data'),<br /> help='Directory to put the input data.'<br /> )<br /> parser.add_argument(<br /> '--log_dir',<br /> type=str,<br /> default=os.path.join(os.getenv('TEST_TMPDIR', '/tmp'),<br /> 'tensorflow/mnist/logs/fully_connected_feed'),<br /> help='Directory to put the log data.'<br /> )<br /> parser.add_argument(<br /> '--fake_data',<br /> default=False,<br /> help='If true, uses fake data for unit testing.',<br /> action='store_true'<br /> )<br /> <br /> FLAGS, unparsed = parser.parse_known_args()<br /> tf.app.run(main=main, argv=[sys.argv&amp;#91;0&amp;#93;] + unparsed)<br /> <br /> <br /> === mnist.py ===<br /> from __future__ import absolute_import<br /> from __future__ import division<br /> from __future__ import print_function<br /> <br /> import math<br /> <br /> import tensorflow as tf<br /> <br /> NUM_CLASSES = 10<br /> <br /> IMAGE_SIZE = 28<br /> IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE<br /> <br /> <br /> def inference(images, hidden1_units, hidden2_units):<br /> with tf.name_scope('hidden1'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[IMAGE_PIXELS, hidden1_units]],<br /> stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden1_units&amp;#93;),<br /> name='biases')<br /> hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)<br /> <br /> with tf.name_scope('hidden2'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden1_units, hidden2_units]],<br /> stddev=1.0 / math.sqrt(float(hidden1_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros(&amp;#91;hidden2_units&amp;#93;),<br /> name='biases')<br /> hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)<br /> <br /> with tf.name_scope('softmax_linear'):<br /> weights = tf.Variable(<br /> tf.truncated_normal([[hidden2_units, NUM_CLASSES]],<br /> stddev=1.0 / math.sqrt(float(hidden2_units))),<br /> name='weights')<br /> biases = tf.Variable(tf.zeros([[NUM_CLASSES]]),<br /> name='biases')<br /> logits = tf.matmul(hidden2, weights) + biases<br /> return logits<br /> <br /> <br /> def loss(logits, labels):<br /> labels = tf.to_int64(labels)<br /> cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(<br /> labels=labels, logits=logits, name='xentropy')<br /> return tf.reduce_mean(cross_entropy, name='xentropy_mean')<br /> <br /> <br /> def training(loss, learning_rate):<br /> tf.summary.scalar('loss', loss)<br /> optimizer = tf.train.GradientDescentOptimizer(learning_rate)<br /> global_step = tf.Variable(0, name='global_step', trainable=False)<br /> train_op = optimizer.minimize(loss, global_step=global_step)<br /> return train_op<br /> <br /> <br /> def evaluation(logits, labels):<br /> correct = tf.nn.in_top_k(logits, labels, 1)<br /> return tf.reduce_sum(tf.cast(correct, tf.int32))<br /> <br /> <br /> == 딥러닝과 자연어 처리 == <br /> === 자연 언어 처리 ===<br /> * 컴퓨터가 언어를 받아들이고 이해하여 다양한 작업들을 할 수 있게 하는 것<br /> * 간단한 것부터 어려운 것까지 문제의 범위가 넒음<br /> <br /> * 언어학 기반 : 분할(띄어쓰기, 형태소), 품사 태깅, 구문 분석(parsing)<br /> * 분석 : 문서 분류, 감정 분석, 주제 모델링, 정보 추출<br /> * 변형 <br /> * 대화<br /> <br /> === 수준별 언어 특성들 ===<br /> 음소 -&gt; 형태소 -&gt; 문법 -&gt; 의미(영어)<br /> * 음소(phoneme) 어떤 언어에서 의미 구별 기능을 갖는 음성 상의 최소 단위<br /> * 형태소<br /> * 문법(syntax) : 문장(, 단락)을 품사 단위로 분해, 분석트리를 생성<br /> * 의미(semantic) : 문장의 의미를 논리식으로 표현, 언어의 모호함을 제거<br /> == 인공지능의 미래 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/C%EC%96%B8%EC%96%B4%EA%B0%80%EB%A5%B4%EC%B3%90%EC%A1%B0/5%EC%9B%9430%EC%9D%BC&diff=58329 새싹교실/2017/C언어가르쳐조/5월30일 2017-05-30T09:09:32Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 예정 =<br /> * 다음 주(6/6) : 현충일<br /> ** 어쩔까요?<br /> * 다다음 주(6/13) : 시험대비 특강<br /> * 1학기 종료 후<br /> ** 1안 : 여름방학때 한다.<br /> ** 2안 : 2학기에 한다.<br /> ** 3안 : 이대로 안녕한다.<br /> * 오늘은 실습날<br /> * #1 : 배열 뒤집기<br /> ** 작성 후 위키에 올려주세요.<br /> ** 입력 : <br /> ** line 1 : 배열의 크기( 0 &lt; N &lt;= 1,000,000)<br /> ** line 2 ~ N + 1 : 배열에 들어갈 값(자연수, &lt; 1,000,000)<br /> ** 출력 : line N + 1 ~ line 2의 값<br /> ** tip : <br /> ** N번보다 적게 볼 수도 있다.<br /> ** (이 문제에서는)배열을 뒤집지 않아도 된다.<br /> * #2 : 정사각 행렬곱 함수 작성<br /> ** N * N 행렬을 곱한 결과를 반환하는 '''함수''' 작성<br /> ** int** matrix_mul(int **s, int **t, int N);<br /> * #3 : qsort 써보기<br /> ** void qsort(void* base, size_t n, size_t size, int (*comp)(void*, void*)); //&lt;stdlib.h&gt;에 있는 표준 함수<br /> ** 입력 : <br /> ** line 1 : 정렬 할 수의 개수 ( 0 &lt; N &lt;= 1,000,000)<br /> ** line 2 ~ : 정렬 할 수 (양의 정수, &lt; 1,000,000)<br /> ** 출력 : 정렬 된 N개의 수<br /> ** tip :<br /> ** 좋은 정렬법을 아시면 직접 짜보세요!<br /> ** '''좋은''' 정렬법!<br /> = 실습 =<br /> * #2 테스트 코드<br /> #include &amp;lt;stdio.h&amp;gt;<br /> #include &amp;lt;stdlib.h&amp;gt;<br /> <br /> int** matrix_mul(int **s, int **t, int N);<br /> <br /> int main(int argc, char** argv){<br /> int A[3][3] = {<br /> {1, 1, 2},<br /> {1, 0, 1},<br /> {0, 3, 0}<br /> };<br /> int B[3][3] = {<br /> {2, 1, 3},<br /> {1, 3, 2},<br /> {1, 2, 0}<br /> };<br /> int *parr_A[3] = {A[0], A[1], A[2]};<br /> int *parr_B[3] = {B[0], B[1], B[2]};<br /> int **AB = (void*)0;<br /> int i, j, N = 3;<br /> <br /> printf(&quot;A : \n&quot;);<br /> for(i = 0; i &amp;lt; N; i++){<br /> for(j = 0; j &amp;lt; N; j++){<br /> printf(&quot;%d &quot;, A[i][j]);<br /> }<br /> printf(&quot;\n&quot;);<br /> }<br /> <br /> printf(&quot;B : \n&quot;);<br /> for(i = 0; i &amp;lt; N; i++){<br /> for(j = 0; j &amp;lt; N; j++){<br /> printf(&quot;%d &quot;, B[i][j]);<br /> }<br /> printf(&quot;\n&quot;);<br /> }<br /> AB = matrix_mul(parr_A, parr_B, N);<br /> if(AB){<br /> printf(&quot;A x B : \n&quot;);<br /> for(i = 0; i &amp;lt; N; i++){<br /> for(j = 0; j &amp;lt; N; j++){<br /> printf(&quot;%d &quot;, AB[i][j]);<br /> }<br /> printf(&quot;\n&quot;);<br /> }<br /> }<br /> <br /> return 0;<br /> }<br /> <br /> <br /> int** matrix_mul(int **s, int **t, int N){<br /> //여기 작성<br /> }<br /> * 안재형<br /> ** #1<br /> #include &amp;lt;stdio.h&amp;gt;<br /> <br /> int main(void)<br /> {<br /> int *i = (int *)malloc(sizeof(int) * 1000000);<br /> int *count_i = (int *)malloc(sizeof(int) * 1000000);<br /> int input;<br /> <br /> scanf(&quot;%d&quot;, &amp;amp;input);<br /> <br /> for (int sentinel = 0; sentinel &amp;lt; input; sentinel++)<br /> {<br /> scanf(&quot;%d&quot;, &amp;amp;i[sentinel]);<br /> }<br /> <br /> for (int sentinel = 0; sentinel &amp;lt; input; sentinel++)<br /> {<br /> count_i[sentinel] = i[input - sentinel - 1];<br /> }<br /> <br /> for (int sentinel = 0; sentinel &amp;lt; input; sentinel++)<br /> {<br /> printf(&quot;%d &quot;, count_i[sentinel]);<br /> }<br /> printf(&quot;\n&quot;);<br /> <br /> return 0;<br /> }<br /> <br /> <br /> ** 이민지<br /> *** #1<br /> #include &amp;lt;stdio.h&amp;gt;<br /> <br /> int main()<br /> {<br /> int arr[10000];<br /> int min[10000];<br /> int i,j, temp;<br /> <br /> printf(&quot;자연수를 몇개 입력하실 건가요? : &quot;);<br /> scanf_s(&quot;%d&quot;, &amp;amp;i);<br /> <br /> printf(&quot;자연수를 입력하세요. : \n&quot;);<br /> for (j = 0; j &amp;lt; i; j++)<br /> {<br /> scanf_s(&quot;%d&quot;, &amp;amp;arr[j]);<br /> }<br /> <br /> for (j = 0; j &amp;lt; i / 2; j++)<br /> {<br /> min[j] = arr[i - j - 1];<br /> }<br /> <br /> for (j = i/2; j &amp;lt; i; j++)<br /> {<br /> min[j] = arr[i - j - 1];<br /> }<br /> <br /> printf(&quot;배열을 뒤집으면! \n&quot;);<br /> for (j = 0; j &amp;lt; i ; j++)<br /> {<br /> printf(&quot;%d \n&quot;, min[j]);<br /> }<br /> <br /> return 0;<br /> }<br /> = 기타 / 후기 / 방명록 =<br /> <br /> -----------------------------------<br /> [[새싹교실/2017/C언어가르쳐조]]<br /> [[새싹교실/2017]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EC%BD%94%EB%93%9C%EB%A0%88%EC%9D%B4%EC%8A%A4&diff=59076 새싹교실/2017/코드레이스 2017-05-11T03:03:29Z <p>165.194.35.21: </p> <hr /> <div>= 일정 =<br /> 5월 12일 금요일 예정<br /> 장소 : 208관 6층 pc실<br /> 오후<br /> 7:00 ~ 7:20 참가자 참석 확인, 장비 TEST 및 인터넷 환경 확인, 사용 컴퓨터 확정, 간식 및 식사 배부<br /> 7:30 ~ 9:30 대회 진행<br /> 9:30 ~ 10:00 순위 발표 시상 및 정리<br /> = 모집 방안 =<br /> 참가자 모집 : 5월 1일 ~ 5월 10일 까지<br /> 참가자 팀 : 새싹 + 강사 1팀으로 출전<br /> <br /> Task Force 모집 : 5월 1일 ~ 5월 7일<br /> Task Force 미팅 : 5월 10일 정모 직후 <br /> <br /> = 대회 규정 =<br /> 문제 SET 최종 확정 : 5월 11일<br /> 범위 : C언어 기준 일차원 배열 <br /> <br /> * 백준 온라인 저지가 지원하는 모든 언어로 참여 가능<br /> * 강사는 코딩에 직접적으로 관여할 수 없다.(대리 작성 금지, 오직 아이디어 제공만, 대리 작성 적발시 실격 처리)<br /> * 강사가 사정으로 참여를 못할 경우 다른 사람을 대신 강사로 참여시킬 수 있다. 다만 이 경우 확실한 사유를 증명해야 하며, 대신 강사로 참여한 사람은 강사 상품을 획득 하지 못한다.<br /> * 강사 없이 새싹들만 참여 가능하다. 대신 강사로 참여한 사람은 강사 상품을 획득하지 못한다.<br /> * 올해 문제는 백준 저지에서 TF들이 제작한 문제 set을 기반으로 2시간 진행하는 대회로 한다.<br /> <br /> [[새싹교실/2017/코드레이스/TaskForce]]<br /> = 행사 내용 =<br /> 참가 팀 전원에게 간식 및 저녁 식사 제공<br /> 전체 참가팀의 50% 상품 수여(순위에 따라)<br /> 1등팀 강사 특별 상품 수여<br /> <br /> = 대회 사이트 =<br /> <br /> = 후기 및 회고 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EC%BD%94%EB%93%9C%EB%A0%88%EC%9D%B4%EC%8A%A4/TaskForce&diff=59092 새싹교실/2017/코드레이스/TaskForce 2017-05-11T03:02:23Z <p>165.194.35.21: </p> <hr /> <div>= TF =<br /> <br /> 문제 : 박인서, 김성민, 정진경, 김상렬, 채기운, 한재민<br /> 진행 : 김상렬, TBA<br /> <br /> <br /> = 문제 set =<br /> <br /> 대회 종료 후 공개<br /> = 사전 모임 = <br /> TBA<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EC%BD%94%EB%93%9C%EB%A0%88%EC%9D%B4%EC%8A%A4&diff=59075 새싹교실/2017/코드레이스 2017-05-11T03:02:08Z <p>165.194.35.21: </p> <hr /> <div>= 일정 =<br /> 5월 12일 금요일 예정<br /> 장소 : 208관 6층 pc실<br /> 오후<br /> 7:00 ~ 7:20 참가자 참석 확인, 장비 TEST 및 인터넷 환경 확인, 사용 컴퓨터 확정, 간식 및 식사 배부<br /> 7:30 ~ 9:30 대회 진행<br /> 9:30 ~ 10:00 순위 발표 시상 및 정리<br /> = 모집 방안 =<br /> 참가자 모집 : 5월 1일 ~ 5월 10일 까지<br /> 참가자 팀 : 새싹 + 강사 1팀으로 출전<br /> <br /> Task Force 모집 : 5월 1일 ~ 5월 7일<br /> Task Force 미팅 : 5월 10일 정모 직후 <br /> 문제 SET 최종 확정 : 5월 11일<br /> 범위 : C언어 기준 일차원 배열 <br /> <br /> * 백준 온라인 저지가 지원하는 모든 언어로 참여 가능<br /> * 강사는 코딩에 직접적으로 관여할 수 없다.(대리 작성 금지, 오직 아이디어 제공만, 대리 작성 적발시 실격 처리)<br /> * 강사가 사정으로 참여를 못할 경우 다른 사람을 대신 강사로 참여시킬 수 있다. 다만 이 경우 확실한 사유를 증명해야 하며, 대신 강사로 참여한 사람은 강사 상품을 획득 하지 못한다.<br /> * 강사 없이 새싹들만 참여 가능하다. 대신 강사로 참여한 사람은 강사 상품을 획득하지 못한다.<br /> * 올해 문제는 백준 저지에서 TF들이 제작한 문제 set을 기반으로 2시간 진행하는 대회로 한다.<br /> <br /> [[새싹교실/2017/코드레이스/TaskForce]]<br /> = 행사 내용 =<br /> 참가 팀 전원에게 간식 및 저녁 식사 제공<br /> 전체 참가팀의 50% 상품 수여(순위에 따라)<br /> 1등팀 강사 특별 상품 수여<br /> <br /> = 대회 사이트 =<br /> <br /> = 후기 및 회고 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%82%AC%ED%83%95%EB%BD%91%EA%B8%B0&diff=52294 사탕뽑기 2017-04-12T06:46:44Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 소개 =<br /> ~~이사람 아직도 제목으로 목차만드는 방법 모릅니다~~<br /> ~~아니야 괜찮아 집단지성이 있어~~<br /> 축제 때 사탕뽑기 기계를 만들고 싶어하는 모임<br /> <br /> = 인원 =<br /> * [[고은진]], [[김유진]], 강나래, ~~[[이민욱]](미확정)~~<br /> * 인원 모집중입니다! 페이지에 이름을 추가해주세요!<br /> <br /> = 안내 =<br /> 10월경에 있다고 하는 축제 때 사탕뽑기 기계를 만들어서 ~~돈을 한 번 벌어보자는~~ 임베디드 소프트웨어의 기초를 배우고 기본적인 프로젝트를 해 보자는 것... 지원을 받거나 어떻게 잘 포장해서 공모전에 내는 것도 노려 볼 수 있을 것 같아요. 프로그래밍을 전혀 하지 못하는 사람들도 환영합니다 여기 프로그래밍 할 줄 아는 사람 없어요 ㅠㅠ(기본적으로는 어째 공작소가 될 것 같아요) 아마도 아두이노나 라즈베리파이같은 플랫폼을 이용할 것 같습니다. 같이 합시다 제발요...제발...제발...도와주시와요... 선배님들도 동기들도 커몬커몬...<br /> 사탕뽑기가 가장 어려울 것 같아서 사탕뽑기만 적어 두었지만 777 슬롯머신같은 간단한 기계를 더 만들면 더더욱 재밌을 것 같네요. 제로페이지 오락실٩(๑❛ᴗ❛๑)۶<br /> <br /> = 시간 =<br /> 차후 조정할 것 같습니다. 최대한 맞는 시간을 찾아 봐요<br /> <br /> = 잡담 =<br /> * 사탕 포장하는 업무로 들어가도 되나요 - [[박인서]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%9D%B4%EB%AF%BC%EC%9A%B1&diff=66450 이민욱 2017-04-12T06:45:53Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 개요 =<br /> 정식으로! 인사! 드리겠! 습니다!<br /> 이름만! 들어도! 너무나도! 자랑스런!<br /> 의혈중앙 통일공대 나라사랑 컴퓨터공학부<br /> 17학번 ~~'''카미카제'''~~ 이민욱입니다.<br /> ~~카미카제 아닙니다 선배님들, 저 '''술''' 안좋아해요~~<br /> <br /> * '''지방러'''<br /> * 17학번 ~~소프트웨어학부 읍읍 들어왔는데 일주일만에 학과가 사라진데~~ 컴퓨터공학부 재학중<br /> * 닉네임 : makerdark98 ~~중2때 지은거라 중2중2한 느낌~~<br /> * 집부는 ~~클린~~정보통신부<br /> <br /> = 관심사 =<br /> == 전공 ==<br /> * 관심있는분야 : 머신러닝, 빅데이터<br /> <br /> * 좋아하는 언어 : C/C++, <br /> <br /> 관심있는 언어 : Python, Scala<br /> ~~못해도 잘봐주세요~~= 활동 =<br /> <br /> == 2017 ==<br /> <br /> * [[새싹교실/2017/따라와반]]<br /> * [[대수능/미적분학]]<br /> * [[사탕뽑기]](미확정?)<br /> <br /> = 계획 =<br /> <br /> == 2017년 ==<br /> * 머신러닝 공부?<br /> * 학점 잘맞기???<br /> = 개인 =<br /> = 방명록 =<br /> * 다음 저격할 선배님은 누구인가요 - [[박인서]]<br /> * |- 형이요! - [[이민욱]]<br /> ** 역시 무서운 후배님이군요 ㄷㄷ - [[박인서]]<br /> * 재밌는 후배님 ㅋㅋㅋㅋ - [[김민재]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%82%AC%ED%83%95%EB%BD%91%EA%B8%B0&diff=52293 사탕뽑기 2017-04-12T06:36:44Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 소개 =<br /> ~~이사람 아직도 제목으로 목차만드는 방법 모릅니다~~<br /> ~~아니야 괜찮아 집단지성이 있어~~<br /> 축제 때 사탕뽑기 기계를 만들고 싶어하는 모임<br /> <br /> = 인원 =<br /> * [[고은진]], [[김유진]], 강나래, [[이민욱]]<br /> * 인원 모집중입니다! 페이지에 이름을 추가해주세요!<br /> <br /> = 안내 =<br /> 10월경에 있다고 하는 축제 때 사탕뽑기 기계를 만들어서 ~~돈을 한 번 벌어보자는~~ 임베디드 소프트웨어의 기초를 배우고 기본적인 프로젝트를 해 보자는 것... 지원을 받거나 어떻게 잘 포장해서 공모전에 내는 것도 노려 볼 수 있을 것 같아요. 프로그래밍을 전혀 하지 못하는 사람들도 환영합니다 여기 프로그래밍 할 줄 아는 사람 없어요 ㅠㅠ(기본적으로는 어째 공작소가 될 것 같아요) 아마도 아두이노나 라즈베리파이같은 플랫폼을 이용할 것 같습니다. 같이 합시다 제발요...제발...제발...도와주시와요... 선배님들도 동기들도 커몬커몬...<br /> 사탕뽑기가 가장 어려울 것 같아서 사탕뽑기만 적어 두었지만 777 슬롯머신같은 간단한 기계를 더 만들면 더더욱 재밌을 것 같네요. 제로페이지 오락실٩(๑❛ᴗ❛๑)۶<br /> <br /> = 시간 =<br /> 차후 조정할 것 같습니다. 최대한 맞는 시간을 찾아 봐요<br /> <br /> = 잡담 =<br /> * 사탕 포장하는 업무로 들어가도 되나요 - [[박인서]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%82%AC%ED%83%95%EB%BD%91%EA%B8%B0&diff=52292 사탕뽑기 2017-04-12T06:36:35Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> = 소개 =<br /> ~~이사람 아직도 제목으로 목차만드는 방법 모릅니다~~<br /> ~~아니야 괜찮아 집단지성이 있어~~<br /> 축제 때 사탕뽑기 기계를 만들고 싶어하는 모임<br /> <br /> = 인원 =<br /> * [[고은진]], [[김유진]], 강나래, 이민욱<br /> * 인원 모집중입니다! 페이지에 이름을 추가해주세요!<br /> <br /> = 안내 =<br /> 10월경에 있다고 하는 축제 때 사탕뽑기 기계를 만들어서 ~~돈을 한 번 벌어보자는~~ 임베디드 소프트웨어의 기초를 배우고 기본적인 프로젝트를 해 보자는 것... 지원을 받거나 어떻게 잘 포장해서 공모전에 내는 것도 노려 볼 수 있을 것 같아요. 프로그래밍을 전혀 하지 못하는 사람들도 환영합니다 여기 프로그래밍 할 줄 아는 사람 없어요 ㅠㅠ(기본적으로는 어째 공작소가 될 것 같아요) 아마도 아두이노나 라즈베리파이같은 플랫폼을 이용할 것 같습니다. 같이 합시다 제발요...제발...제발...도와주시와요... 선배님들도 동기들도 커몬커몬...<br /> 사탕뽑기가 가장 어려울 것 같아서 사탕뽑기만 적어 두었지만 777 슬롯머신같은 간단한 기계를 더 만들면 더더욱 재밌을 것 같네요. 제로페이지 오락실٩(๑❛ᴗ❛๑)۶<br /> <br /> = 시간 =<br /> 차후 조정할 것 같습니다. 최대한 맞는 시간을 찾아 봐요<br /> <br /> = 잡담 =<br /> * 사탕 포장하는 업무로 들어가도 되나요 - [[박인서]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43708 김성민 2017-04-06T02:02:08Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> ** Slack : atez<br /> ** Telegram<br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * Chaos 알고리즘 실력반 참여<br /> ** 푼 문제 : 13328, 11444, 2748, 10830, 1629, 1965, 12015, 1937, 2352, 11727<br /> ** 배운내용: LIS(NlogN, N^2), DP기초, Fast Exponential, Matrix Squaring, STL::lower_bound, Matrix Fast Exponential<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, ~~#406자살..~~, #Education 18, #407<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> * 스티머즈 부회장님 잘 부탁드려여 - [[박인서]]<br /> ** 헉 ZP작년회장님 너무 잘생기셨어요 - [[김성민]]<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일, 3월 29일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EA%BD%83%EB%B0%AD/0403&diff=58506 새싹교실/2017/꽃밭/0403 2017-04-03T06:43:23Z <p>165.194.35.21: </p> <hr /> <div>= 후기 =<br /> == 유진 ==<br /> <br /> 저번에 한 건 좀 어려웠는데, 오늘은 딱 적당한 난이도 였던거 같아요....ㅎㅎ<br /> 매번 잘 가르쳐 주셔서 감사하고, 열심히 할게요...ㅎ<br /> == 혜민 ==<br /> <br /> 이번에 배운건 적절한 난이도여서 좋았고 재밌었어요!!<br /> 계속 열심히 배우겠습니당<br /> == 현지 ==<br /> 수업시간에 교수님이 조건문에 대해서 말씀하실때 너무 다 알고 있다는 가정하에 수업하시는 것 같아서 이해가 안되었는데 오늘 조건문을 배우고 나니 정말 별거 아니였다는 것을 알게 되었다. 쉽게 이해가 되었고 생각보다 쉬운 내용인것 같다.<br /> 수업 피드백:이해가 쉽게 잘 되고 머리속에 쏙쏙 들어와요 ㅎㅎ<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EA%BD%83%EB%B0%AD/0403&diff=58503 새싹교실/2017/꽃밭/0403 2017-04-03T06:38:52Z <p>165.194.35.21: </p> <hr /> <div>= 후기 =<br /> == 유진 ==<br /> <br /> == 혜민 ==<br /> <br /> == 현지 ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EA%BD%83%EB%B0%AD/0403&diff=58502 새싹교실/2017/꽃밭/0403 2017-04-03T06:38:39Z <p>165.194.35.21: {CREATE}</p> <hr /> <div>= 후기 =<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EA%BD%83%EB%B0%AD&diff=58382 새싹교실/2017/꽃밭 2017-04-03T06:38:25Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 구성원 =<br /> {| class=&quot;wikitable&quot;<br /> |-<br /> | 물주는사람<br /> | 이지수<br /> | 14학번<br /> |-<br /> | rowspan=&quot;3&quot; | 꽃<br /> | 김혜민<br /> | rowspan=&quot;3&quot; | 17학번<br /> |-<br /> | 유진<br /> |-<br /> | 이현지<br /> |}<br /> <br /> 멘티들 너무 사랑스럽고 예뻐요!! 저는 행복한 멘토입니다..<br /> = 목표 =<br /> 어려운 실습, 내 힘으로 해보자!<br /> <br /> == 3월 24일(금) 수업 ==<br /> [[새싹교실/2017/꽃밭/0324|3월24일 수업]]<br /> <br /> * C언어란<br /> * C 소스코드가 .exe가 되는 과정<br /> * 변수, 자료형<br /> <br /> == [[새싹교실/2017/꽃밭/0328|3월 28일(화) 수업]] ==<br /> [[새싹교실/2017/꽃밭/0328|3월28일 수업]]<br /> <br /> * 아스키 코드<br /> * 버퍼 - 입력을 저장하는 공간<br /> * 반복문 for문<br /> <br /> == [[새싹교실/2017/꽃밭/0403|4월 3일(월) 수업]] ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43701 김성민 2017-03-28T10:48:23Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> <br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * Chaos 알고리즘 실력반 참여<br /> ** 푼 문제 : 13328, 11444, 2748, 10830, 1629, 1965, 12015, 1937, 2352, 11727<br /> ** 배운내용: LIS(NlogN, N^2), DP기초, Fast Exponentail, Matrix Squaring, STL::lower_bound<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, ~~#406자살..~~, #Education 18<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43700 김성민 2017-03-28T10:47:12Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> <br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * Chaos 알고리즘 실력반 참여<br /> ** 푼 문제 : 13328, 11444, 2748, 10830, 1629, 1965, 12015, 1937, 2352, 11727<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, ~~#406자살..~~, #Education 18<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43699 김성민 2017-03-28T10:37:07Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> <br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, ~~#406자살..~~, #Education 18<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43698 김성민 2017-03-28T10:36:47Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> <br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, #406, #Education 18<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EA%B9%80%EC%84%B1%EB%AF%BC&diff=43697 김성민 2017-03-28T10:36:35Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> = 개요 =<br /> 14학번 김성민 입니다.<br /> <br /> = 관심사 =<br /> * 글쎄요.. 요샌 글쎄..<br /> == Game ==<br /> ** 4년차(2017년 기준) 리듬게이머 입니다. 시작한지 얼마 안되었네요..<br /> ; : 님들이 하시는 대부분의 온라인 게임을 합니다.<br /> <br /> == SNS ==<br /> ** [http://www.facebook.com/luthnesia.kim 페이스북] 입니다. (일상생활)<br /> ** 트위터 합니다. (일상생활 + '덕질' )<br /> <br /> == Major ==<br /> ** [https://github.com/shieldnet github] &lt;&lt;별 거 없습니다.<br /> <br /> == Dream ==<br /> ** 가상현실 쪽으로 진로를 생각하고 있습니다.<br /> = Ability =<br /> * Language (Frequently Use)<br /> ** C++<br /> <br /> * Language (Usable)<br /> ** C / C++<br /> ** C#<br /> ** Java<br /> * Web<br /> ** JavaScript ( Learning... )<br /> * Drawing<br /> ** Tablet<br /> ** With Sharp Pencil<br /> <br /> * ETC<br /> ** 미숙한 알고리즘 문제풀이er(C++)<br /> ** Linux - Cent OS<br /> = 활동 내역 =<br /> == 2017 ==<br /> * 스티머즈 부회장(2017)<br /> * 군생활 마무리 및 복학 (~3.24)<br /> * JLPT N2(17년에 땄으니..)<br /> * [[AlgorithmStudy/2017]] 참여<br /> * [https://code.google.com/codejam '''''GoogleCodeJam 2017'''''] 참가<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #404, #406<br /> == 2016 ==<br /> * 군생활<br /> * Google Code Jam - Qulification Round 통과 (OK )<br /> * JM책으로 알고리즘 공부중... (OK )<br /> [https://algospot.com/ Algospot]<br /> * Dovelet.com에서 Algorithm 문제 풀면서 공부중... (OK )<br /> * Codeforces 꾸준히 참여중 (OK )<br /> * 군대에서 C++ 독학 완료 (OK )<br /> * C#, C++ STL, JM책 독학중... (OK )<br /> * 책 안사고 [http://www.w3schools.com/ Google-ing] 으로 JavaScript 독학하기.(new!)<br /> * JLPT N2 ( OK ) -떨어질 줄 알았는데-<br /> * [http://www.codeforces.com/ '''''Codeforces''''' 참가] <br /> #366, #368, #AIM Tech R3, #369, #371, #373, #374, #IntelCodeChallenge, #375, #TechnoCup, #376, #377,<br /> #CanadaCup 2016, #379,#384, #388<br /> == 2015 ==<br /> * 입대 ( 2015.06.25 )<br /> * 프로젝트 \ Project AI - Sub story Writing (종료)<br /> <br /> == 2014 ==<br /> * Zeropage 가입<br /> * 새싹하다가 반이..<br /> <br /> <br /> <br /> <br /> <br /> = 계획 =<br /> == 2017 ==<br /> * ~~진짜 전역..~~ 전역함(3.24)<br /> * Java 공부하기<br /> * C# 및 Unity 공부하기<br /> * JLPT N1<br /> * TOEIC 900↑<br /> * 교환학생 준비 (언어 및 정보)<br /> <br /> == 2016 ==<br /> * 전역 (빨리좀..)<br /> * Java 공부하기 (Js..도..?)<br /> * TOEIC &gt;= 900 <br /> == 관심있는 페이지 ==<br /> * [http://zeropage.org]<br /> <br /> <br /> = Visit =<br /> * 방명록 바랍니다 - [[김성민]]<br /> * 킁킁 - [[권준혁]]<br /> * 컹컹 - &amp;#91;starl1ght&amp;#93;<br /> ----<br /> [[ZeroPagers]]<br /> = 정모 =<br /> * 2017년 : 3월 17일, 3월 22일<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EA%BD%83%EB%B0%AD&diff=58359 새싹교실/2017/꽃밭 2017-03-24T09:56:14Z <p>165.194.35.21: {CREATE}</p> <hr /> <div>= 구성원 =<br /> {| class=&quot;wikitable&quot;<br /> |-<br /> | 튜터<br /> | 이지수<br /> | 14학번<br /> |-<br /> | rowspan=&quot;3&quot; | 튜티<br /> | 김혜민<br /> | rowspan=&quot;3&quot; | 17학번<br /> |-<br /> | 유진<br /> |-<br /> | 이현지<br /> |}<br /> <br /> = 목표 =<br /> 어려운 실습, 내 힘으로 해보자!<br /> <br /> == 첫번째 수업(3월24일) ==<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017&diff=58231 새싹교실/2017 2017-03-24T09:13:42Z <p>165.194.35.21: </p> <hr /> <div>__TOC__<br /> <br /> [[새싹교실/2017/진행]]<br /> [[새싹교실/2017/설명회]]<br /> <br /> 교육 참고 사이트<br /> http://www.soen.kr<br /> [http://zeropage.org/index.php?mid=fresh&amp;category=102321&amp;document_srl=103605 강사메뉴얼]<br /> <br /> = 반 =<br /> 연락이 완료된 반은 해당 테이블을 작성을 해 주세요.<br /> <br /> ex)<br /> {| class=&quot;wikitable&quot;<br /> |-<br /> | 강사<br /> | 반 페이지<br /> | 학생<br /> |-<br /> | 홍길동<br /> | /예시반<br /> | 김길동, 이길동, 박길동<br /> |}<br /> <br /> <br /> 페이지 제작시 '/예시반'으로 페이지명을 지어주세요!! <br /> <br /> {| class=&quot;wikitable&quot;<br /> |-<br /> | 번호<br /> | 반 페이지<br /> | 강사<br /> | 학생<br /> | 기타<br /> |-<br /> | 1<br /> | &amp;#91;a&amp;#93;<br /> | 김경찬<br /> | 서율아, 윤연경, 이민희<br /> | <br /> |-<br /> | 2<br /> | [[새싹교실/2017/작살나조]]<br /> | 김록기<br /> | 김두성, 범동권, 정재현<br /> | <br /> |-<br /> | 3<br /> | &amp;#91;c&amp;#93;<br /> | 김한성<br /> | 고은진, 박시현<br /> | <br /> |-<br /> | 4<br /> | [[새싹교실/2017/내무반]]<br /> | 남효민<br /> | 박채린, 조현민, 한윤진<br /> | 전과생<br /> |-<br /> | 5<br /> | [[새싹교실/2017/따라와반]]<br /> | [[박인서]]<br /> | 신원준, 이민욱, 정석우<br /> | <br /> |-<br /> | 6<br /> | [[새싹교실/2017/공기반소리반]]<br /> | [[박인서]]<br /> | 정인호, 최리나<br /> | 편입생<br /> |-<br /> | 7<br /> | &amp;#91;g&amp;#93;<br /> | 박주현<br /> | 강창훈, 손명성<br /> | <br /> |-<br /> | 8<br /> | &amp;#91;h&amp;#93;<br /> | 성 훈<br /> | 안재형, 이민지, 김경태<br /> | <br /> |-<br /> | 9<br /> | &amp;#91;i&amp;#93;<br /> | 이민규<br /> | 주광우, 최기수, 한재현<br /> | 전과생<br /> |-<br /> | 10<br /> | [[새싹교실/2017/무예이십사반]]<br /> | 15이원준<br /> | 김휘진, 정진욱<br /> | <br /> |-<br /> | 11<br /> | [[새싹교실/2017/꽃밭]]<br /> | 이지수<br /> | 김혜민, 유진, 이현지<br /> | <br /> |-<br /> | 12<br /> | [[새싹교실/2017/우리가최고조]]<br /> | 이 철<br /> | 강소정, 이서현<br /> | 전과생<br /> |-<br /> | 13<br /> | [[새싹교실/2017/한조]]<br /> | 장용운<br /> | 정재형, 조원희<br /> | <br /> |-<br /> | 14<br /> | [[새싹교실/2017/아이스크림]]<br /> | 정건모<br /> | 이해인, 정용준, 한승남<br /> | <br /> |-<br /> | 15<br /> | &amp;#91;o&amp;#93;<br /> | 정우현<br /> | 여일구, 최성진<br /> | <br /> |-<br /> | 16<br /> | [[새싹교실/2017/studio.h]]<br /> | 조현성<br /> | 문법식, 박상현, 조성민<br /> | <br /> |-<br /> | 17<br /> | [[새싹교실/2017/예쁘조]]<br /> | 천준현<br /> | 김유진, 박진영, 양수영<br /> | <br /> |-<br /> | 18<br /> | [[새싹교실/2017/로켓단]]<br /> | 한재민<br /> | 방성원, 임창환, 한태균<br /> | <br /> |}<br /> = 참고 자료 =<br /> 새싹교실의 진행은 반 내에서 자율적으로 이루어집니다. 각 반에서의 진행을 돕기 위해 이전 새싹교실 진행 기록 및 참고 자료들을 정리해 드립니다.<br /> <br /> == 수업 자료 ==<br /> * [[새싹교실/2011#s-2|2011년 가이드라인]]<br /> * [[새싹교실/2011#s-4|2011년 커리큘럼 예시]]<br /> * [[새싹교실/2012/새싹교실강사교육|2012년 새싹 강사 교육]]<br /> <br /> * [http://www.soen.kr/ 참고 커리큘럼 (좌측 목차)]<br /> * [http://www.compileonline.com/compile_c_online.php 온라인 컴파일러]<br /> * [http://www.cplusplus.com/reference/clibrary/ C 함수 라이브러리]<br /> <br /> * [[새싹교실/2013]]<br /> * [[새싹교실/2014]]<br /> * [[새싹교실/2015]]<br /> * [[새싹교실/2016]]<br /> * [[HowTo/StudyProgrammingLanguage]]<br /> == 위키 안내 ==<br /> 위키에는 가이드라인, 커리큘럼, 문제 등 이전 새싹 교실에서 쓰인 자료들이 많이 있습니다. 위키는 튜터와 튜티들이 이용 할 수 있는 학습 도구이기도 하며, 미래의 튜터 튜티를 위한 안내서가 되기도 하고, 활동양의 지표로 이용되기도 합니다. 추후 지원을 하게 될 경우 위키 페이지를 기준으로 지원을 해 드리게 됩니다.<br /> * 로그인 및 회원 가입: 상단 '환경설정' 클릭<br /> * 글 편집하기: 우상단 '편집' 아이콘 클릭<br /> * [[HelpOnEditing]]: 위키 편집 안내서<br /> ** [[HelpOnFormatting]]<br /> ** [[HelpOnHeadlines]]<br /> ** [[HelpOnLists]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EB%94%B0%EB%9D%BC%EC%99%80%EB%B0%98/%EA%B3%BC%EC%A0%9C%EB%B0%A9&diff=58804 새싹교실/2017/따라와반/과제방 2017-03-21T11:16:46Z <p>165.194.35.21: {CREATE}</p> <hr /> <div>__TOC__<br /> <br /> = 1회차 - 자바 =<br /> * [https://www.acmicpc.net/problem/2748 피보나치 수 2]<br /> == 이민욱 ==<br /> (여기에 코드를)<br /> <br /> == 정석우 ==<br /> (여기에 코드를)<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=%EC%83%88%EC%8B%B9%EA%B5%90%EC%8B%A4/2017/%EB%94%B0%EB%9D%BC%EC%99%80%EB%B0%98&diff=58800 새싹교실/2017/따라와반 2017-03-21T11:15:06Z <p>165.194.35.21: </p> <hr /> <div>어이 거기 모두 '''따라와반'''!<br /> <br /> __TOC__<br /> <br /> = 참가원 및 시간 =<br /> {| class=&quot;wikitable&quot;<br /> |-<br /> | 보스<br /> | [[박인서]]<br /> | 15학번<br /> |-<br /> | rowspan=&quot;3&quot; | 수행원<br /> | [[신원준]]<br /> | rowspan=&quot;3&quot; | 17학번<br /> |-<br /> | [[이민욱]]<br /> |-<br /> | [[정석우]]<br /> |}<br /> * 자료구조 : 목요일 15시 ~ 17시<br /> * 자바 : 화요일 17시 ~ 19시<br /> <br /> = 목표 =<br /> * 남들이 C언어에서 헤메이고 있을 때, 우리는 자료구조와 자바를 익힐 예정<br /> * 어디 한번 우리를 '''따라와반'''<br /> <br /> = 정복 계획 및 진행 =<br /> * 자료구조는 [[새싹교실/2017/따라와반/자료구조|항목]] 참조<br /> * 자바는 [[새싹교실/2017/따라와반/자바|항목]] 참조<br /> * 과제방은 [[새싹교실/2017/따라와반/과제방|항목]] 참조<br /> <br /> = 코멘트 =<br /> * 수행원들이 저 죽일까봐 무서워여 - [[박인서]]<br /> * 보스가 무서워여 - [[정석우]]<br /> ** 저는 무섭지 않습니다..ㅠ - [[박인서]]<br /> <br /> -----------------------------------<br /> [[새싹교실/2017]]<br /> </div> 165.194.35.21 https://mediawiki.zeropage.org/index.php?title=AlgorithmStudy/2017&diff=27668 AlgorithmStudy/2017 2017-03-16T02:07:17Z <p>165.194.35.21: </p> <hr /> <div>[[알고리즘]]<br /> <br /> == 구성원 ==<br /> <br /> 참가희망자 (셀프추가) : 정진경, 김성민(14)<br /> == 진행 방법 ==<br /> <br /> 논의 중<br /> <br /> [[AlgorithmStudy/2017/진행제안]]<br /> </div> 165.194.35.21