MachineLearning스터디 - Revision history

Maintenance script: Repair batch-0002 pages from live compare

2026-03-27T00:16:08Z

Repair batch-0002 pages from live compare

← Older revision		Revision as of 00:16, 27 March 2026
Line 180:		Line 180:
	구현 코드는 다음과 같다.		구현 코드는 다음과 같다.
	def create_tree(data_set, labels):		def create_tree(data_set, labels):
	class_list = [example[-1] for example in data_set]		class_list = [example[-1] for example in data_set]
	if class_list.count(class_list[0]) == len(class_list):		if class_list.count(class_list[0]) == len(class_list):
	return class_list[0]		return class_list[0]
	if len(data_set[0]) == 1:		if len(data_set[0]) == 1:
	return majority_cnt(class_list)		return majority_cnt(class_list)
	best_feat = choose_best_feature_to_split(data_set)		best_feat = choose_best_feature_to_split(data_set)
	best_feat_label = labels[best_feat]		best_feat_label = labels[best_feat]
	my_tree = {best_feat_label: {}} #서브 트리의 루트를 만들고,		my_tree = {best_feat_label: {}} #서브 트리의 루트를 만들고,
	del(labels[best_feat])		del(labels[best_feat])
	feat_values = [example[best_feat] for example in data_set]		feat_values = [example[best_feat] for example in data_set]
	unique_values = set(feat_values)		unique_values = set(feat_values)
	for value in unique_values: #가지를 뻗어나가는 과정이다.		for value in unique_values: #가지를 뻗어나가는 과정이다.
	sub_labels = labels[:]		sub_labels = labels[:]
	my_tree[best_feat_label][value] = create_tree(split_data_set(data_set, best_feat, value), sub_labels)		my_tree[best_feat_label][value] = create_tree(split_data_set(data_set, best_feat, value), sub_labels)

	return my_tree		return my_tree

imported>trailblaze at 01:07, 30 March 2015

2015-03-30T01:07:09Z

← Older revision		Revision as of 01:07, 30 March 2015
Line 154:		Line 154:
	이 정보량을 확률적 방식으로 표현함.		이 정보량을 확률적 방식으로 표현함.
	데이터 집합을 기반으로 섀넌 엔트로피를 적용시켰을 경우, 몇 번의 질문을 통해서 의사 결정이 가능한지를 알 수 있음.		데이터 집합을 기반으로 섀넌 엔트로피를 적용시켰을 경우, 몇 번의 질문을 통해서 의사 결정이 가능한지를 알 수 있음.
			[https://courses.cs.washington.edu/courses/cse455/10au/notes/InfoGain.pdf] 설명이 쉽게 잘 되있다.
	==== 데이터 집합 분할하기 ====		==== 데이터 집합 분할하기 ====
	엔트로피를 측정하고 데이터 집합을 분할하며, 분할된 집합의 엔트로피를 측정하고 분할이 올바르게 되었는지를 확인해야 한다.		엔트로피를 측정하고 데이터 집합을 분할하며, 분할된 집합의 엔트로피를 측정하고 분할이 올바르게 되었는지를 확인해야 한다.

imported>trailblaze at 01:05, 30 March 2015

2015-03-30T01:05:55Z

← Older revision		Revision as of 01:05, 30 March 2015
Line 161:		Line 161:
	set이라는 것인데, 집합이다.		set이라는 것인데, 집합이다.
	choose_best_feature_to_split 함수에서 set을 사용하는데, 어떤 속성에서 나올 수 있는 모든 값을 추출해내는데 쓸 수 있다.		choose_best_feature_to_split 함수에서 set을 사용하는데, 어떤 속성에서 나올 수 있는 모든 값을 추출해내는데 쓸 수 있다.

			* 모든 Decision Tree가 엔트로피를 활용해서 분기를 하는 것이 아니다. 강연에서는 주로 검정(F검정, t검정)을 이용해서 분기한다고 하더라... ---검정에 대한 내용은 다 까먹어서 생략하겠음...---
	==== 재귀적으로 트리 만들기 ====		==== 재귀적으로 트리 만들기 ====
	더 이상 분할할 속성이 없거나 하나의 가지에 있는 모든 사례가 전부 같은 분류 항목일 때 멈추게 할 것이다.		더 이상 분할할 속성이 없거나 하나의 가지에 있는 모든 사례가 전부 같은 분류 항목일 때 멈추게 할 것이다.

imported>trailblaze at 00:59, 30 March 2015

2015-03-30T00:59:50Z

← Older revision		Revision as of 00:59, 30 March 2015
Line 104:		Line 104:
	의 모습을 보이면, 우리는 트리의 분기점을 보고 규칙을 설명할 수 있다. 'Versicolour은 petal length가 2.45보다 크고, petal width가 1.75보다 작을 경우이다' 라는 식으로 가능하다.		의 모습을 보이면, 우리는 트리의 분기점을 보고 규칙을 설명할 수 있다. 'Versicolour은 petal length가 2.45보다 크고, petal width가 1.75보다 작을 경우이다' 라는 식으로 가능하다.

	반면에 ANN에서 위와 같은 데이터를 넣고 Classification을 돌린다고 생각하면 분류는 더 잘되나 규칙을 알 수가 없다. 전문가가 설명을 해주기 힘든 것이다.		반면에 ANN에서 위와 같은 데이터를 넣고 Classification을 돌린다고 생각하면 분류는 더 잘되나 규칙을 알 수가 없다. 전문가가 설명을 해주기 힘든 것이다. - 2015 3. 30

	=== 트리 구조 ===		=== 트리 구조 ===

imported>trailblaze at 00:57, 30 March 2015

2015-03-30T00:57:41Z

@@ Line 90: / Line 90: @@
   전문가 시스템(expert systems)에서 자주 사용된다.
 === 트리 구조 ===
   장점: 계산 비용이 적다. 학습된 결과를 사람이 이해하기 쉬우며 누락된 값이 있어도 처리 할 수 있다. 분류와 관련이 없는 속성이 있어도 처리 할 수 있다.

imported>qa22ahj at 17:22, 2 March 2014

2014-03-02T17:22:05Z

← Older revision		Revision as of 17:22, 2 March 2014
Line 51:		Line 51:
	Requires numpy, dateutil, pytz, pyparsing, six, and optionally pillow, pycairo, tornado, wxpython, pyside, pyqt, ghostscript, miktex, ffmpeg, mencoder, avconv, or imagemagick.		Requires numpy, dateutil, pytz, pyparsing, six, and optionally pillow, pycairo, tornado, wxpython, pyside, pyqt, ghostscript, miktex, ffmpeg, mencoder, avconv, or imagemagick.
	== 2장 k-최근접 이웃 알고리즘(K-Nearest Neighbor Algorithm) ==		== 2장 k-최근접 이웃 알고리즘(K-Nearest Neighbor Algorithm) ==
	기존에 훈련 집합이었던 예제 데이터 집합이 있다. 모든 데이터는 분류 항복 표시(labels)가 붙어 있으며, 따라서 각각의 데이터가 어떤 분류 항목으로 구분되는지 알 수 있다. 이후 분류 항목 표시가 붙어 있지 않은 새로운 데이터가 주어졌을 때, 기존의 모든 데이터와 새로운 데이터를 비교한다. 그리고 가장 유사한 데이터(가장 근접한 이웃)의 분류 항목 표시를 살펴본다. 이때 분류 항목을 이미 알고 있는 데이터 집합에서 상위 k개의 유사한 데이터를 살펴보게 된다. 마지막으로 k개의 가장 유사한 데이터들 중 다수결을 통해 새로운 데이터의 분류 항목을 결정하게 된다.		기존에 훈련 집합이었던 예제 데이터 집합이 있다. 모든 데이터는 분류 항복 표시(labels)가 붙어 있으며, 따라서 각각의 데이터가 어떤 분류 항목으로 구분되는지 알 수 있다. 이후 분류 항목 표시가 붙어 있지 않은 새로운 데이터가 주어졌을 때, 기존의 모든 데이터와 새로운 데이터를 비교한다. 그리고 가장 유사한 데이터(가장 근접한 이웃)의 분류 항목 표시를 살펴본다. 이때 분류 항목을 이미 알고 있는 데이터 집합에서 상위 k개의 유사한 데이터를 살펴보게 된다. 마지막으로 k개의 가장 유사한 데이터들 중 다수결을 통해 새로운 데이터의 분류 항목을 결정하게 된다.
	=== 예제: kNN을 이용하여 데이트 사이트의 만남 주선 개선하기. ===		=== 예제: kNN을 이용하여 데이트 사이트의 만남 주선 개선하기. ===
	==== 준비: 텍스트 파일의 데이터 구문 분석. ====		==== 준비: 텍스트 파일의 데이터 구문 분석. ====

imported>trailblaze at 12:18, 2 March 2014

2014-03-02T12:18:04Z

← Older revision		Revision as of 12:18, 2 March 2014
Line 152:		Line 152:

	예를 들어 의사 결정 트리가 다음과 같다고 하자.		예를 들어 의사 결정 트리가 다음과 같다고 하자.
	~~<nowiki>attachment~~:~~Example~~.~~jpg</nowiki>~~		[[File:kong.png]]

	{'저그 게이머인가?' : {0: '홍진호 아님', 2: {'춤을 잘 추는가?': {0: '홍진호 아님', 2: {'미소가 아름다운가?':{0: '홍진호 아님', 2:{'어떤 머리큰 게이머에게 똑같은 전략을 3번 당해 패배한적 있는가?':{0: '홍진호 아님', 2:'홍진호'		{'저그 게이머인가?' : {0: '홍진호 아님', 2: {'춤을 잘 추는가?': {0: '홍진호 아님', 2: {'미소가 아름다운가?':{0: '홍진호 아님', 2:{'어떤 머리큰 게이머에게 똑같은 전략을 3번 당해 패배한적 있는가?':{0: '홍진호 아님', 2:'홍진호'

imported>trailblaze at 12:17, 2 March 2014

2014-03-02T12:17:29Z

← Older revision		Revision as of 12:17, 2 March 2014
Line 140:		Line 140:
	==== 데이터 집합 분할하기 ====		==== 데이터 집합 분할하기 ====
	엔트로피를 측정하고 데이터 집합을 분할하며, 분할된 집합의 엔트로피를 측정하고 분할이 올바르게 되었는지를 확인해야 한다.		엔트로피를 측정하고 데이터 집합을 분할하며, 분할된 집합의 엔트로피를 측정하고 분할이 올바르게 되었는지를 확인해야 한다.
			각 속성으로 데이터 집합을 분할했을 때, 엔트로피를 측정하고 가장 엔트로피가 작게 나오는 속성을 찾는 것.
			알아두면 좋을 것이 하나 있다.

			set이라는 것인데, 집합이다.
			choose_best_feature_to_split 함수에서 set을 사용하는데, 어떤 속성에서 나올 수 있는 모든 값을 추출해내는데 쓸 수 있다.
			==== 재귀적으로 트리 만들기 ====
			더 이상 분할할 속성이 없거나 하나의 가지에 있는 모든 사례가 전부 같은 분류 항목일 때 멈추게 할 것이다.

			여기서 트리를 만드는 코드가 굉장히 큰 도움이 될 만한 요소가 많다.
			의사 결정 트리를 dictionary로 구현한다. (혁준이형의 말에 따르면 이런 방식은 JavaScript에서 많이 사용된다고 한다.)

			예를 들어 의사 결정 트리가 다음과 같다고 하자.
			<nowiki>attachment:Example.jpg</nowiki>

			{'저그 게이머인가?' : {0: '홍진호 아님', 2: {'춤을 잘 추는가?': {0: '홍진호 아님', 2: {'미소가 아름다운가?':{0: '홍진호 아님', 2:{'어떤 머리큰 게이머에게 똑같은 전략을 3번 당해 패배한적 있는가?':{0: '홍진호 아님', 2:'홍진호'
			}}}}}
			}}}
			이런 식으로 Dictionary가 만들어 질 것이다.

			구현 코드는 다음과 같다.
			def create_tree(data_set, labels):
			class_list = [example[-1] for example in data_set]
			if class_list.count(class_list[0]) == len(class_list):
			return class_list[0]
			if len(data_set[0]) == 1:
			return majority_cnt(class_list)
			best_feat = choose_best_feature_to_split(data_set)
			best_feat_label = labels[best_feat]
			my_tree = {best_feat_label: {}} #서브 트리의 루트를 만들고,
			del(labels[best_feat])
			feat_values = [example[best_feat] for example in data_set]
			unique_values = set(feat_values)
			for value in unique_values: #가지를 뻗어나가는 과정이다.
			sub_labels = labels[:]
			my_tree[best_feat_label][value] = create_tree(split_data_set(data_set, best_feat, value), sub_labels)

			return my_tree

imported>trailblaze at 10:49, 1 March 2014

2014-03-01T10:49:57Z

← Older revision		Revision as of 10:49, 1 March 2014
Line 16:		Line 16:
	== 1장 ==		== 1장 ==
	=== 올바른 알고리즘 선정 방법. ===		=== 올바른 알고리즘 선정 방법. ===

	# 목적을 고려해야 한다.		# 목적을 고려해야 한다.

	만약에 목적 값(target value)을 예측하려고 한다면 지도 학습 방법(Supervised Learning)을 살펴보고, 그렇지 않다면 비지도 학습 방법(Unsupervised Learning)을 살펴보라.		만약에 목적 값(target value)을 예측하려고 한다면 지도 학습 방법(Supervised Learning)을 살펴보고, 그렇지 않다면 비지도 학습 방법(Unsupervised Learning)을 살펴보라.

	지도 학습 방법		지도 학습 방법
	목적 값이 이산적인 값인가?		목적 값이 이산적인 값인가?
Line 26:		Line 23:
	목적 값이 연속적인 값인가?		목적 값이 연속적인 값인가?
	회귀(Regression)		회귀(Regression)

	비지도 학습 방법		비지도 학습 방법
	데이터가 이산적인 무리에 알맞은가?		데이터가 이산적인 무리에 알맞은가?
Line 32:		Line 28:
	무리에 알맞은 정도를 수치적으로 평가?		무리에 알맞은 정도를 수치적으로 평가?
	밀도 추정(Density estimation)		밀도 추정(Density estimation)

	# 보유하고 있는 데이터를 고려해야만 한다.		# 보유하고 있는 데이터를 고려해야만 한다.

	속성이 명목형인가?		속성이 명목형인가?
	속성이 연속형인가?		속성이 연속형인가?
Line 50:		Line 44:
	# 사용하기.		# 사용하기.
	=== NumPy 라이브러리로 시작하기. ===		=== NumPy 라이브러리로 시작하기. ===

	* numPy 설치 방법.		* numPy 설치 방법.
	64bit window를 사용하는 유저는 [http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy]에서 설치하면 됨.		64bit window를 사용하는 유저는 [http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy]에서 설치하면 됨.

	* matplotlib 설치.		* matplotlib 설치.
	[http://matplotlib.org/downloads.html]		[http://matplotlib.org/downloads.html]
Line 69:		Line 61:

	newValue = (oldValue - min) / (max - min)		newValue = (oldValue - min) / (max - min)

	==== 검사: 전체 프로그램으로 분류기 검사하기. ====		==== 검사: 전체 프로그램으로 분류기 검사하기. ====
	기계 학습에서 한 가지 공통된 작업은 알고리즘의 성능을 평가하는 것이다.		기계 학습에서 한 가지 공통된 작업은 알고리즘의 성능을 평가하는 것이다.
	성능을 평가하는 한 가지 방법은 현재 가지고 있는 데이터의 일부분, 즉 90% 정도를 가지고 분류기의 학습에 사용하는 것이다. 그런 다음 나머지 10%의 데이터를 가지고 분류기를 검사하여, 분류기의 성능이 어느 정도인지 알아본다.		성능을 평가하는 한 가지 방법은 현재 가지고 있는 데이터의 일부분, 즉 90% 정도를 가지고 분류기의 학습에 사용하는 것이다. 그런 다음 나머지 10%의 데이터를 가지고 분류기를 검사하여, 분류기의 성능이 어느 정도인지 알아본다.

	10%는 무작위로 선택.		10%는 무작위로 선택.
	오류율 = 잘못 분류된 데이터 개수 / 검사에 적용한 전체 데이터 개수		오류율 = 잘못 분류된 데이터 개수 / 검사에 적용한 전체 데이터 개수

imported>trailblaze at 09:09, 1 March 2014

2014-03-01T09:09:19Z

Show changes