MachineLearning스터디/LinearRegressionWithOneVariable - Revision history

imported>trailblaze at 03:12, 18 February 2014

2014-02-18T03:12:53Z

@@ Line 53: / Line 53: @@
 === Octave로 Linear Regression With One Variable 구현 ===
 ==== computeCost ====
   function J = computeCost(X, y, theta)
@@ Line 63: / Line 62: @@
   end
   J = J / (2 * m);
 ----
 [[MachineLearning스터디]]

2014-02-18T03:11:27Z

← Older revision		Revision as of 03:11, 18 February 2014
Line 54:		Line 54:
	=== Octave로 Linear Regression With One Variable 구현 ===		=== Octave로 Linear Regression With One Variable 구현 ===

			==== computeCost ====
			function J = computeCost(X, y, theta)
			% Initialize some useful values
			m = length(y); % number of training examples
			J = 0;
			for i=1:m,
			J = J + (X(i,:) * theta - y(i)) ^ 2;
			end
			J = J / (2 * m);
	----		----
	[[MachineLearning스터디]]		[[MachineLearning스터디]]

2014-02-18T03:10:28Z

← Older revision		Revision as of 03:10, 18 February 2014
Line 52:		Line 52:
	* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.		* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.

			=== Octave로 Linear Regression With One Variable 구현 ===

	----		----
	[[MachineLearning스터디]]		[[MachineLearning스터디]]

2014-02-10T01:55:37Z

← Older revision		Revision as of 01:55, 10 February 2014
Line 52:		Line 52:
	* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.		* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.

	---
			----
	[[MachineLearning스터디]]		[[MachineLearning스터디]]

2014-02-10T01:55:12Z

← Older revision		Revision as of 01:55, 10 February 2014
Line 51:		Line 51:
	* 각 Parameter는 동시에 갱신해야 한다.		* 각 Parameter는 동시에 갱신해야 한다.
	* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.		* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.

			---
			[[MachineLearning스터디]]

2014-02-10T01:54:14Z

← Older revision		Revision as of 01:54, 10 February 2014
Line 1:		Line 1:
	__TOC__		__TOC__
	* 수식 정리를 어떻게 해야할지 모르겠음.. 첫 장부터 포기해야하는가..		* 수식 정리를 어떻게 해야할지 모르겠음.. 첫 장부터 포기해야하는가..
			* 이 문서에 있는 사진이나 예제의 상당수는 [https://www.coursera.org/course/ml Coursera/ML강의]에 남겨져 있음. PPT도 제공하므로 꼭 확인하세요.
	=== Linear Regression ===		=== Linear Regression ===
	* 우리나라 말로 선형 회귀		* 우리나라 말로 선형 회귀

2014-02-10T01:50:44Z

← Older revision		Revision as of 01:50, 10 February 2014
Line 49:		Line 49:
	[[File:GradientDescentAlgorithm.PNG]]		[[File:GradientDescentAlgorithm.PNG]]
	* 각 Parameter는 동시에 갱신해야 한다.		* 각 Parameter는 동시에 갱신해야 한다.
			* [[File:gd7.png]] 는 매 Parameter 갱신 때마다 수정할 필요가 없다. 기울기에 의해서 수렴하는 정도가 조절되기 때문이다.

2014-02-10T01:49:52Z

← Older revision		Revision as of 01:49, 10 February 2014
Line 36:		Line 36:

	[[File:gd5.png]]		[[File:gd5.png]]
	* 이때 [[File:gd7.png]] 는 이동할 거리를 조절하는 매개변수이다.		* 이때 [[File:gd7.png]] 는 이동할 거리를 조절하는 매개변수이다. [[File:gd7.png]] 가 너무 작으면 수렴 속도가 느리다. [[File:gd7.png]] 가 크면 수렴 값을 넘어가버려서 수렴에 실패할 수 있다. 따라서 적절하게 잡아주는 것이 중요.

	* 이 알고리즘의 수렴 여부는 '''f의 성질과 [[File:gd7.png]] 의 선택에 따라 달라진다.''' 또한, 이 알고리즘은 '''지역 최적해로 수렴'''한다. 따라서 구한 값이 전역적인 최적해라는 것을 보장하지 않으며 '''시작점 [[File:gd8.png]] 의 선택'''에 따라서 달라진다. 이에 따라 다양한 시작점에 대해 여러 번 경사 하강법을 적용하여 그 중 가장 좋은 결과를 선택할 수도 있다.		* 이 알고리즘의 수렴 여부는 '''f의 성질과 [[File:gd7.png]] 의 선택에 따라 달라진다.''' 또한, 이 알고리즘은 '''지역 최적해로 수렴'''한다. 따라서 구한 값이 전역적인 최적해라는 것을 보장하지 않으며 '''시작점 [[File:gd8.png]] 의 선택'''에 따라서 달라진다. 이에 따라 다양한 시작점에 대해 여러 번 경사 하강법을 적용하여 그 중 가장 좋은 결과를 선택할 수도 있다.

2014-02-10T01:48:20Z

← Older revision		Revision as of 01:48, 10 February 2014
Line 36:		Line 36:

	[[File:gd5.png]]		[[File:gd5.png]]
	* 이때 [[File:~~gd6~~.png]] 는 이동할 거리를 조절하는 매개변수이다.		* 이때 [[File:gd7.png]] 는 이동할 거리를 조절하는 매개변수이다.

	* 이 알고리즘의 수렴 여부는 '''f의 성질과 [[File:gd7.png]] 의 선택에 따라 달라진다.''' 또한, 이 알고리즘은 '''지역 최적해로 수렴'''한다. 따라서 구한 값이 전역적인 최적해라는 것을 보장하지 않으며 '''시작점 [[File:gd8.png]] 의 선택'''에 따라서 달라진다. 이에 따라 다양한 시작점에 대해 여러 번 경사 하강법을 적용하여 그 중 가장 좋은 결과를 선택할 수도 있다.		* 이 알고리즘의 수렴 여부는 '''f의 성질과 [[File:gd7.png]] 의 선택에 따라 달라진다.''' 또한, 이 알고리즘은 '''지역 최적해로 수렴'''한다. 따라서 구한 값이 전역적인 최적해라는 것을 보장하지 않으며 '''시작점 [[File:gd8.png]] 의 선택'''에 따라서 달라진다. 이에 따라 다양한 시작점에 대해 여러 번 경사 하강법을 적용하여 그 중 가장 좋은 결과를 선택할 수도 있다.

2014-02-10T01:46:56Z

← Older revision		Revision as of 01:46, 10 February 2014
Line 46:		Line 46:

	* Gradient Descent를 이용해서 Parameter를 구해낼 경우, 다음과 같은 모습을 보여준다.		* Gradient Descent를 이용해서 Parameter를 구해낼 경우, 다음과 같은 모습을 보여준다.

			[[File:GradientDescentAlgorithm.PNG]]
			* 각 Parameter는 동시에 갱신해야 한다.