1.확률변수(random variable), RV

확률실험 결과 하나하나를 수치로 대응시키는 함수

몇 가지 예제를 통해 이해해보자.

ex1] 두 개의 동전을 전지는 화률실험에서 앞면이 낭는 횟수의 규칙으로 만들어지는 확률변수 X의 x는 {0, 1, 2}

ex2] 1개의 동전을 2회 던지는 시행에서 쌍을 관찰할 때

ex4] 두 개의 주사위 위에 있는 점들의 합의 규칙으로 만들어지는 확률변수 X의 값 x는{2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}

example5] 학생들의 키를 측정하는 실험(조사), "50kg 보다 크고 60kg보다 작은 몸무게에 관심이 있을 때

-표본 공간:

-확률변수  x 는 각 학생들의 키의 측정치이다.

경우의 수

2.확률분포(probability distribution)

 수치로 대응된 확률변수의 개별 값들이 갖는 확률값의 분포

ex1]의 경우는 확률변수 X가 x의 값을 가질 확률P(X=x) 혹은 p(x)라고 표시하고, 다음과 같은 확률분포표가 만들어 질 것이다.

example1] 동전을 2개 던지는 실험, 앞면이 나오는 횟수에 대한 확률분포표

	0	1	2
	1/4	(1/4)+(1/4)=2/4, 1/2	1/4

 example2] 주사위를 2개 던지는 실험, 두 개의 주사위 위에 있는 점들의 합에 대한 확률분포료

	2	3	4	5	6	7	8	9	10	11	12
	1/36	2/36	3/36	4/36	5/36	6/36	5/36	4/36	3/36	2/36	1/36

그리고 확률변수가 취할 수 있는 구체적인 값 하나 하나를 확률공간상의 확률값으로 할당해 주는 함수를 확률분포함수 혹은 확률함수하고 한다.

3.확률함수의 종류

확률변수가 이산확률변수면 이산적인 확률분포를 가지며, 그 분포는 확률질량함수(pmf)에 따른다

만약 연속확률변수면 연속적인 확률분포를 가지며 그 분포는 확률밀도함수(pdf)에 따른다. 확률함수에는 누적분포함수,(pcf), 확률밀도함수(pdf), 확률질량함수(pmf)가 있다.

1)누적분포함수(cdf, cumulative distribution function)

그림(a)연속확률변수 X의 누적분포함수

그림(b)이산확률변수 X의 누적분포함수

 

누적분포함수의 성질

1. 항상 0에서 1사이의 값만을 가질 수 있다.

2. x의 값이 커짐에 따라 증가하는 증가 함수이다.

3. 확률변수 X의 값이 어떤 구간안에 속할 확률은  cdf값의 차이와 같다.

 

연속이든 이산이든 상관없이 성립한다.

 

연속확률변수

어떤 확률변수 X의 cdf가 연속함수일 때 X는 연속확률변수이다. 

 

이산확률변수에서의 cdf는 일종의 계단형태의 모양을 가지게 된다.

특정 point에서 cdf값이 한번에 뛰어 오르기 때문에 연속한다고 하기 어렵다.

반면, 연속확률변수의 그래프는 직선 혹은 곡선, 혹은 두가지 복합된 형태로 나타날 수 있다.

계단 형태가 나온다면 최소한 연속확률변수라고 부르기 어렵다. 

 

ex1]

 

cdf 그래프로 나타내 보면 위와 같이 그릴 수 있다.

아래의 식으로 표현할 수 있다.

 

 

2)확률밀도함수(pdf, probability density function)

3)확률질량함수(pmf, probability mass function)

4.확률변수의 통계량

 

1)기대값(확률변수의 평균)

-일반 데이터의 성질을 표본 성질이라고 하는데, 확률분포의 성질은 모델 또는 모집단 성질이라고 한다

확률변수의 평균과 분산은 일반 데이터에 대한 평균()및 분산()과 구별하기 위해 모집단의 평균으로

를, 모집단의 표준편차로 를 사용한다.

 

일반적인 표본 평균은

만약 X의 모든 값들의 범위를  x라고 할 때, 를 x값을 가진 데이터점의 수라고 하자. 그러므로 위의 표본 평균은 이 되고, 여기서 는 상대도수가 된다. n값을 증가시키면 통계적 확률, 즉 근사 확률 p(x)에 접근하게 된다.

 

그러므로 이 되고, 이 식을 X의 기대값(expectation)이라고 한다.

연속확률변수인 경우는:

예를 들어

접기

예1]에서'두 개의 동전을 던지는 실험'을 5번 시행하여 앞면이 나오는 확률변수의 값을 차례로 0, 1, 2, 1, 1의 순으로 얻었다고 하자. 이들 값으로부터 우리는 이 실험을 반번 시행했을 때, 평균적으로 얻을 수 있는 X의 기대값은 5번해서 얻은 값들의 평균, 즉(0+1+2+1+1)/5 = 1 이라고 말할 수 있다.

그러나 이와 같이 계산된 기대값은 어디까지나 우리가 실행한 5번의 시행 결과에 의존하는 것으로 정확하다고 할 수는 없다.예1] 확률분포표에서 각 변수값이 관찰된 확률을 고려한 평균값은 다음과 같이 계산할 수 있다.

접기

 

2)분산과 표쥰푠처

연속확률변수인 경우는:

 

참조:

1. 패턴인식 개론, 한빛미디어

2.http://blog.daum.net/gongdjn/62

통계를 이용하면 통계적인 특성이 있는 표본을 숫자로 표현하고 설명할 수 있다. 즉 표본에 대한 통계적인 분석을 통하여 통계적 파라미터를 추정하고, 그 표본의 특징을 표현할 수 있다.

학생들의 표본은 다음과 같이 표현해 볼 수 있다.

평균(mean)

분산(variance)

표준편차

바이어스(bias)는 데이터의 편향된 정도를 나타낸다.

공분산(covvariance)

기본적인 확률 용어에 대한 설명

확률실험/시행(random experiment)

예를 들면, 주사위를 던지는 행위 자체는 확률실험이 된다.

표본공간(sample space)

이 예제에 있어서는 '1'은 '1이라는 눈이 나온 것', '2'는 '2라는 눈이 나온것'...을 의미한다.

사건(event)

짝수의 눈이 나오는 사건, 홀수의 눈이 나오는 사건, 2이하의 눈이 나오는 사건를 생각해 볼 수 있다.

이러한 특정 조건을 통해서 사건를 설정해 줄 수 있다.

사건역시 공간을 구성할 수 있는데, 각각의 사건의 원소들이 다른 사건의 원소와 중복되자 않으면서 모든 사건을 모은 집합을 사건공간이라고 표현한다.

결과적으로는 사건공간은 전체집합과 같게 된다.

예를 들면, 주사위에서 짝수의 눈이 나올 사건과 홀수의 눈이 나올 사건를 생각해보자.

각각의 사건을 A, B의 집합으로 표현해 보면 A={2, 4, 6}, B={1, 3, 5}가 된다.

각 사건의 원소들이 다른 사건원소들과 겹치지 않으며 A와 B를 모두 합하면 곧 전체집합이 된다.

확률을 숫자말고 그림으로 나타내는 방법 중 벤다이어그램

그림이 보다 직관적이기 때문에 쉽게 확인할 수 있다. 살펴보면 두 사건이 동시에 발생할 수 있는 교사건과 동시에 발생할 수 없는 배반사건을 볼 수 있다.

조건부 확률(Conditional Probabilities)

조건부 확률 P(A|B)은 'B가 일어났다고 가정할 때, A의 조건부 확률' 또는 '주어진 B에 대한 A의 확률

전체 확률 이론

베이즈 정리(Bayes's Theorem)

확률에 관한 정리

1번은 확률은 0과 1사이의 실수 값이다.

2번은 표본공간의 확률은 1이다.

3번은 두 사건 A,B가 동시에 일어날 수 없을 때 A,B는 서로 배반한다고 하는데, 서로 배반인 사건의 합의 확률은 각 확률의 합과 동일하다.

참조:

1. 패턴인식 개론, 한빛미디어

2. http://blog.acronym.co.kr/400

3. http://blastic.tistory.com/156

1. 벡터 이론

1)주요 개념와 용어

벡터(vector)

-크기와 방향을 갖는 어떠한 물리량

-패턴인식에서 인식 대상이 되는 객체가 특징으로 표현되고, 특징은 차원을 가진 벡터(열 벡터)로 표현 :특징벡터(feature vector) [[1 x N : 행 벡터, M x1 : 열 벡터, 1 x 1 : 스칼라]]

-행렬 A의 각 성분(entry)은 로 표현

백터의 전치(transpose)

-행과 열을 바꾼 행렬 (Nx1행렬을 1xN으로, 혹은 1xN행렬을 Nx1행렬로)

벡터의 크기(norm)

-원점에서 벡터 공간상의 한 점까지의 거리

단위 벡터(unit vector)

-벡터의 크기가 1인 벡터

-만약 벡터 v가 영(0)이 아닌 벡터라면 v방향의 단위 벡터 u는 다음과 같이 구함 :벡터의 정규화(normalization)

스칼라 곱

-임의의 벡터에 임의의 실수(스칼라) 를 곱하는 것

내적(dot product or inner product)

-차원이 동일한 두 개의 벡터 A, B에 대하여 성분별로 곱하여 합하는 것

-내적의 결과는 실수 스칼라가 됨

-두 벡터 사이의 각 가 주어질 경우의 내적 계산

외적(cross product)

-소행렬식을 이용한 determinent 구하는 방법

수직사영(vertical projection)

선형 결합(linear combination, 1차 결합)

-벡터 집합 를 스칼라 계수 집합 과의 곱의 합으로 표현할수 있을 때, 벡터 y를 벡터 x의 선형 결합이라고 함

선형 종속(linearly dependent), 선형 독립(linearly independent)

-벡터의 집합 중 적어도 하나를 다른 벡터들의 선형 결합으로 표현할 수 있다면, 이 벡터 집합은 "선형 종속" 이라고 함

-위 식을 만족하는 유일한 해가 라면 벡터 집합은 "선형 독립" 이라고 함

기저 집합(baseis set)

-행렬 Nx1로 표현되는 모든 벡터를 표현할 수 있는 벡터의 집합

유클리디안 거리

2.행렬 대수

-M(i)개의 행과 N(j)개의 열을 가진 실수 혹은 복소수로 이루어진 사각형 블록

-

: i번째 행과 j번째 열의 성분/원소

1)행렬의 종류

전치(transpose) 행렬

-원래 행렬(A)의 행과 열을 바꾸어 놓은 행렬

-

전방(square)행렬

-행의 수와 열의 수가 동일한 행렬

-역행렬, 행렬식, 고유식 계산은 모두 정방행렬인 경우만을 대상으로 함

대각(diagonal) 행렬

-행렬의 대각 성분을 제외하고는 원소가 모두 영인 행렬

-스칼라 행렬 : 대각 성분이 모두 같고 비대각 성분이 모두 0인 정방행렬

-상삼각 행렬 : 대각 성분 아래 성분이 모두 0인 정방행렬

-하삼각 행렬 : 대각 성분 위 성분이 모두 0인 정방행렬

항등(identity)행렬(단위행렬)

-대각 성분이 모두 1이고 그 밖의 성분이 모두 0인 정방행렬

 -항등행렬은 행렬 대수에서 1과 같은 역할을 하기 때문에 행렬의 곱셈 결과에 영향을 주지 않으면서 임의로 삽입 또는 삭제할 수 있음

대칭(symmetric)행렬

-대각선을 축으로 모든 성분이 대칭되는 행렬

-

영 행렬

-행렬 구성 원소가 모두 0인 행렬

-행렬 대수에서 0과 같은 역할

직교(orthogonal) 행렬

-주어진 행렬 A가 정방행렬일 때 를 만족하는 행렬

-요인 분석, 주성분 분석, 판별 분석 등에서 널리 사용

2)행렬의 곱셈

-행렬 A의 열의 수와 행렬 B의 행의 수가 같을 경우에만 곱셈이 가능

곱셈의 결과 (행렬 A의 행의 수) x (행렬 B의 열의 수)의 크기의 행렬

-

3)행렬의 트레이스 tr(A)

-정방행렬에서 대각 성분의 합

-행렬의 고유값 문제에서 고유근을 구할 때 매우 중요한 역할을 함

4)역행렬

-

-

-행렬 A가 정방행렬이어야 함

-행렬식의 값이 0이 아니어야 함

5)행렬식 (혹은 det(A)

-행렬을 어떠한 하나의 실수 값으로 표현한 것

-행렬식의 설질

-행렬식은 오직 정방행렬에서만 정의함

-구성 성분이 하나인 행렬의 행렬식은 그 성분 자체

-행렬식의 값은 하나의 상수, 즉 이므이의 실수

-n차의 행렬식 은 n개의 행과 열의 위치가 서로 다른 성분들의 곱의 합으로 표현

 -2x2 행렬에 대한 행렬식

-3x3 행렬에 대한 행렬식

6)고유값과 고유벡터

-통계학의 다변량 분석에서 많이 사용되는 주요 개념

-행렬 A가 nxn의 정방행렬이고, 인 벡터 가 존재할 때, 다음 관계를 만족하는 스칼라 를 행렬 A의 고유치(eigenvalue)라고 하고, 벡터 x 는에 대응하는 A의 고유 벡터(eigenvector)라고 함

7)선형 변환

-벡터 으로부터 벡터 상으로 매핑하는 것

-패턴인식에서 특징 벡터의 차원을 축소하는데 이용

참조:

1. 패턴인식 개론, 한빛미디어

2. Basic Mathematics for Pattern Recognition, 부경대학교, 2011