02-03. 확률, 통계 및 트래픽 이론

2.2 기본적인 확률 및 통계 이론

---

2.2.5 몇 가지 중요한 분포함수 (이산 랜덤 변수)

---

• 일반적인 사건의 발생이 어떠한 서로 다른 분포들로 표현될 수 있는지 알아본다.
• 확률 함수로부터 나온 확률들의 패턴

이산 랜덤 변수

• 질량 함수 → 이산형 확률분포(Discrete probability distribution)

분포 종류

• 베르누이 분포, Bernoulli distribution
• 바이노미얼 분포, Binomial distribution
• 푸아송 분포, Poisson distribution
• 지오메트릭 분포, Geometric distribution
• Negative Binomial distribution
• Hypergeometric distribution

Bernoulli Distribution (베르누이 분포)

• 확률 변수 X가 두 가지 값만 가지는 단순한 확률
  • 1 = "success" or 0 = "failure"

$$\begin{gathered} \text{Define }p=P[success]=P[X=1] \\ p=\{\begin{array}{ll}0,& \to 1-p\\ 1,& \to p\end{array} \end{gathered}$$

• 0과 1을 확률로 바꾸는 확률 함수가 필요하며, 아래 확률 함수를 따르는 확률 분포를 베르누이 분포라 한다.

$$f_X(x;p)=p^x\cdot (1-p{)}^{1-x},x=\text{0 or 1}$$

• 즉, 베르누이 분포는 위의 베르누이 확률 함수로부터 생성되는 확률들의 패턴을 그린 것

베르누이 확률 분포의 기대값과 분산

• 기대값 E[X] = p

$$\begin{gathered} \text{기대값의 정의: }E[X]=\sum x\cdot p^x\cdot (1-p{)}^{1-x} \\ \text{베르누이 확률 분포의 기대값: }E[X]=\sum _{x=\text{0 or 1}}x\cdot p^x\cdot (1-p{)}^{1-x}=0+p=p \end{gathered}$$

• 분산 V[X] = p(1-p)

$$\begin{gathered} V[X]=E[X^2]-{E[X]}^2 \\ E[X^2]=\sum _{x=\text{0 or 1}}{x}^2\cdot p^x\cdot (1-p{)}^{1-x}=0+p=p \\ \therefore p-p^2=p(1-p) \end{gathered}$$

• 예) 1
• 동전을 던져서 앞 또는 뒤가 나올 경우와 같은 상황에서 사용
• 동전을 던져서 앞은 1, 뒤는 0이라 설정, 그 상황에서 나오는 확률은 1/2로 정의

Binomial Distribution (이항 분포)

• 베르누이 분포로 부터 나온 분포
  • 베르누이를 한 번만 던지면 베르누이 시행(Bernoulli trial)이라 부름
  • 그런 베르누이 시행을 독립적으로 n번 시도한 것
    • 첫 번째 시행이 다음 시행에 영향을 주는 종속적인 관계가 아닌 것
• 이 때의 확률 변수 X를 정의한다.
  • X는 n번 시행해서 나오는 총 성공의 횟수
  • 여기서 X는 X={0, 1, 2, ... , n}으로 구성되며, 성공의 최대 횟수는 n번 모두 성공했을 때 즉, n이 된다.
  • 해당 실수 값들을 확률로 변경 해야 하며, 그 확률 함수는 아래와 같음
    $$\begin{gathered} p(x)=\left(\begin{array}{c}n\\ x\end{array}\right)p^x\cdot (1-p{)}^{n-x}\text{for }x=0,1,\dots ,n \\ \left(\begin{array}{c}n\\ x\end{array}\right)\text{: n 번 중에 성공한 x의 횟수 즉, n번 중에서 x개를 선택한 것} \\ {p}^x\text{: 성공한 횟수} \\ (1-p{)}^{n-x}\text{: 실패한 횟수} \end{gathered}$$
    • Parameter n and p: 위의 확률 함수로부터 나온 확률 분포의 모양을 결정하는데 영향을 주는 변수(or 모수)들
    • Parameter에 의한 그래프 모양의 예)

    

    베르누이 분포

    • 위의 x들을 확률 함수에 넣으면 0~1 사이의 값으로 생성
    • 이 함수의 분포는 이산형 확률 함수가 됨
• 이항 확률 함수의 모든 합이 1이 되는가?
  $$\begin{gathered} \sum _{x=0}^{n}p(x)=\sum _{x=0}^n\left(\begin{array}{c}n\\ x\end{array}\right)p^x(1-p{)}^{n-x}=1 \\ \text{Why?} \\ \text{Binomial Theorem에 의한 결과: }(x+y{)}^n=\sum _{i=0}^n\left(\begin{array}{c}n\\ i\end{array}\right)x^i\cdot y^{n-i} \\ \text{위의 식에서는 }x\text{가 }p\text{이고, }y\text{가 }1-p\text{로 표현 된 것} \\ \therefore (p+1-p{)}^n=1^n=1 \end{gathered}$$
• 확률 변수가 주어지고 parameter가 주어질 때의 기대값과 분산
  • 기대값 E[X]
    $$\begin{gathered} P\{X=k\}/P\{X=k-1\}\text{에서 비율을 계산 한 뒤에 어떤 k가 1보다 작거나 큰 값을 찾아 냄} \\ \frac{P\{X=k\}}{P\{X=k-1\}}=\frac{\frac{n!}{(n-k)!k!}{p}^k(1-p{)}^{n-k}}{\frac{n!}{(n-k+1)!(k-1)!}{p}^{k-1}(1-k{)}^{n-k+1}} \\ =\frac{(n-k+1)p}{k(1-p)}>1 \\ \because P\{X=k\}\ge P\{X=k-1\} \\ \therefore (n-k+1)p\ge k(1-p) \end{gathered}$$
  • 분산 V[X]
    $$\begin{gathered} E[X^2]=np[(n-1)\cdot p+1] \\ V[X]=E[X^2]-{E[X]}^2 \\ \therefore V[X]=np(1-p) \end{gathered}$$
• 예) 10 = 정상, 1 = 불량10개의 부품 중 2개가 불량일 확률은?
• 확률변수 정의
  $$\begin{gathered} X\text{: 불량품의 갯수} \\ X=0,1,2,...,10 \\ P[X=2]=\left(\begin{array}{c}10\\ 2\end{array}\right)(0.1{)}^2(0.9{)}^{10-2}=0.1937 \end{gathered}$$
  기대값 E[X]과 분산 V[X]
  $$\begin{gathered} E[X]=(10)\cdot (0.1)=1\text{, 평균적으로 1개의 불량이 나옴} \\ V[X]=(10)\cdot (0.1)\cdot (0.9)=0.9 \end{gathered}$$
• n = 10개의 부품, p=P[불량품]=0.1
• 불량의 갯수 파악
• 예) 2
• 불량률이 6%인 공정에서 매주 랜덤하게 50개를 뽑음
  1. 확률 변수 X는?
  $$X=0,1,2,3,...,50$$
  2. 그 중에서 불량이 3개 일 때의 확률은?
  $$\begin{gathered} X\text{~ Bino}(50,0.06) \\ P(X=3)=\left(\begin{array}{c}50\\ 3\end{array}\right)\cdot {0.06}^3\cdot (1-0.06{)}^{50-3} \end{gathered}$$
  3. P(X>3)일 확률은?
  $$\begin{gathered} 1-P(X\le 3)\text{을 이용} \\ 1-P(X=3)+P(X=2)+P(X=1) \\ =1-\sum _{i=0}^3\left(\begin{array}{c}n\\ i\end{array}\right){0.06}^i(1-0.06{)}^{50-i} \end{gathered}$$
• Binomial Distribution Proposition
  • 이산 확률 변수 X와 parameter n과 p가 있다.
  • 여기서 p는 0 < p < 1을 만족한다.
  • X가 가질 수 있는 값이 k라 할 때, k는 0 ~ n까지 가진다.
  • P{X=k}의 값이 증가했다 감소를 하게 되는 분포 그래프가 생긴다.
  • 이 때, 가장 꼭대기(가장 큰)값이 (n+1)p로 정의 된다.
  • 증명
        $$\begin{gathered} P\{X=k\}/P\{X=k-1\}\text{에서 비율을 계산 한 뒤에 어떤 k가 1보다 작거나 큰 값을 찾아 냄} \\ \frac{P\{X=k\}}{P\{X=k-1\}}=\frac{\frac{n!}{(n-k)!k!}{p}^k(1-p{)}^{n-k}}{\frac{n!}{(n-k+1)!(k-1)!}{p}^{k-1}(1-k{)}^{n-k+1}} \\ =\frac{(n-k+1)p}{k(1-p)}>1 \\ \because P\{X=k\}\ge P\{X=k-1\} \\ \therefore (n-k+1)p\ge k(1-p) \end{gathered}$$

Poisson distribution (푸아송 분포)

• 확률 변수 X={0, 1, 2, ...}와 같이 이산형 실수 값을 가지게 되며 아래의 확률 함수로부터 생성된 확률들의 패턴을 나타냄
• Parameter로 λ를 사용하게 되며 이 값은 0보다 큼
  • 단위 시간(or 공간) 안에 특정 사건이 몇 번 발생할 것 인지를 표현한 확률 분포

$$P\{X=i\}=\frac{e^{-\lambda }{\lambda }^i}{i!},\text{for }i=\{0,1,2,\dots \},\lambda >0$$

• 푸아송 분포의 성질

$$\begin{gathered} \text{모든 확률의 합} \\ \sum _{i=0}^{\mathrm{\infty }}P(X=i)=e^{-\lambda }\sum _{i=0}^{\mathrm{\infty }}\frac{{\lambda }^i}{i!}=e^{-\lambda }\cdot e^{\lambda }=1 \\ \because \sum _{i=0}^{\mathrm{\infty }}\frac{{\lambda }^i}{i!}\text{의 값은 테일러 급수에 의해서 }{e}^{\lambda }\text{로 만들어 짐} \end{gathered}$$

• Parameter λ에 따른 푸아송 분포의 그래프

푸아송 분포

• 푸아송 분포와 Binomial 분포의 관계
  • p(i; n, p) ≈ p(i; λ)
  • 좌측: Binomial 분포, 우측: 푸아송 분포
  • n이 무한대로 커지고, p가 작아질 때, λ = np 와 같아 지게 됨
    $$P\{X=i\}=\frac{n!}{(n-i)!\cdot i!}{p}^i\cdot (1-p{)}^{n-i}\approx e^{-\lambda }\frac{{\lambda }^i}{i!}$$
  
  • 증명
    $$\begin{gathered} p=\frac{\lambda }{n}\text{를 이용} \\ =\frac{n!}{(n-i)!\cdot i!}(\frac{\lambda }{n}{)}^i\cdot (1-\frac{\lambda }{n}{)}^{n-i} \\ =\frac{n(n-1)\cdots (n-i+1)}{n^i}\cdot \frac{{\lambda }^i}{i!}\cdot \frac{(1-\frac{\lambda }{n}{)}^n}{(1-\frac{\lambda }{n}{)}^i} \end{gathered}$$
    • 잠시 정리
            $$\begin{gathered} \text{앞의 }\frac{n(n-1)\cdots (n-i+1)}{n^i}\cdot \frac{{\lambda }^i}{i!}\text{를 1번}\text{ 뒤의 분모 }(1-\frac{\lambda }{n}{)}^i\text{를 2번, 분자 }(1-\frac{\lambda }{n}{)}^n\text{를 3번으로 지칭} \\ \text{1. }\underset{n\to \mathrm{\infty }}{lim}=1 \\ \text{2. }\underset{n\to \mathrm{\infty }}{lim}(1-\frac{\lambda }{n}{)}^i=1 \\ \text{3. }\underset{n\to \mathrm{\infty }}{lim}(1-\frac{\lambda }{n}{)}^n=\underset{n\to \mathrm{\infty }}{lim}\{(1-\frac{\lambda }{n}{)}^{\frac{n}{\lambda }}{\}}^{\lambda }=(e^{-1}{)}^{\lambda }=e^{-\lambda } \end{gathered}$$
  • 증명 이어서
    $$=1\cdot \frac{{\lambda }^i}{i!}\frac{e^{-\lambda }}{1}=\frac{e^{-\lambda }\cdot {\lambda }^i}{i!}=\text{푸아송 분포}$$
• 예제
  • 어떤 집단에서 사람 수 n중에 100세 이상인 사람의 수
  • 책의 모든 페이지에서 오타의 갯수
  • 매일 전화를 걸 때, 잘못 걸을 횟수
• 푸아송 확률 변수의 기대값과 분산
  • 결과적으로 기대값과 분산은 parameter λ와 같음
  • 기대값
  $$\begin{gathered} E[X]=\sum _{i=0}^{\mathrm{\infty }}i\cdot \frac{e^{-\lambda }{\lambda }^i}{i!} \\ =\lambda \sum _{i=1}^{\mathrm{\infty }}\frac{e^{-\lambda }{\lambda }^{i-1}}{(i-1)!}\text{, Let}k=i-1 \\ =\lambda \sum _{k=0}^{\mathrm{\infty }}\frac{e^{-\lambda }{\lambda }^k}{k!} \\ =\lambda e^{-\lambda }\sum _{k=0}^{\mathrm{\infty }}\frac{{\lambda }^k}{k!} \\ =\lambda e^{-\lambda }{e}^{\lambda }=\lambda \end{gathered}$$
  • 분산
    $$\begin{gathered} E[X^2]=\lambda (\lambda +1) \\ V[X]=E[X^2]-\{E[X]{\}}^2 \\ V[X]={\lambda }^2+\lambda -{\lambda }^2=\lambda \end{gathered}$$

Geometric Distribution (기하 분포)

• 베르누이 시행에서부터 시작
• 확률 변수 X: 첫 번째 성공이 일어나기 까지 필요한 시행 횟수
  • p = P[success]를 기반으로 아래 기하 확률 함수를 따름
    $$P\{X=n\}=(1-p{)}^{n-1}p\text{, for }n=1,2,\dots$$
  • 예)
  • 5번 시행에서 첫 번째 성공일 때를 가정
    1. Fail → (1-p)
    2. Fail → (1-p)
    3. Fail → (1-p)
    4. Fail → (1-p)
    5. Success → p
• 모든 확률의 합
  • 첫 번째는 먼저 시행을 해야 함 즉, 시행 횟수는 1 부터 시작 됨
   $$\sum _{n=1}^{\mathrm{\infty }}P\{X=n\}=p\cdot \sum _{n=1}^{\mathrm{\infty }}(1-p{)}^{n-1}=\frac{p}{1-(1-p)}=1$$
• X가 기하 확률 함수를 따르게 되며 기하 확률 분포는 parameter p를 가짐
• 기대값 E[X] = 1/p
  $$\begin{gathered} P(X=i)=\sum _{i=1}^{\mathrm{\infty }}i\cdot (1-p{)}^{i-1}\cdot p \\ =p\sum _{i=1}^{\mathrm{\infty }}i\cdot (1-p{)}^{i-1}\text{, Let }1-p=k\text{ \&}p=1-k \\ =p\sum _{i=1}^{\mathrm{\infty }}i\cdot k^{i-1} \\ =p\sum _{i=1}^{\mathrm{\infty }}\frac{d}{dk}{k}^i \\ =p\cdot \frac{d}{dk}\cdot \sum _{i=1}^{\mathrm{\infty }}{k}^i \\ =p\cdot \frac{d}{dk}\cdot (\frac{k}{1-k}) \\ =p\cdot \frac{1-k+k}{(1-k{)}^2} \\ =p\cdot \frac{1}{p^2}=\frac{1}{p} \end{gathered}$$
• 팁) i 곱하기 k의 i-1제곱은 k에 대하여 미분한 것
  $$i\cdot k^{i-1}=\frac{d}{dk}{k}^i$$
• 분산 $$V[X]=(1-p)p^2$$
  $$\begin{gathered} E[X^2]=\frac{2-p}{p^2} \\ V[X]=\frac{2-p}{p^2}-\frac{1}{p^2}=\frac{1-p}{p^2} \end{gathered}$$
• 예)
• 항아리에 N개의 흰색 공과 M개의 검은색 공이 있다.
  • 다음 공이 뽑힐 때는 뽑았던 공은 다시 넣는다. (복원 추출 or 독립 시행)
  (a) 검은색 공이 첫 번째 뽑힐 때 까지 필요한 횟수가 n번일 확률은?
  • 확률 변수 X: 검은색 공이 첫 번째 뽑힐 때 까지 필요한 시행 횟수(공 뽑기)
    $$P(W)=\frac{N}{N+M}\text{, }P(B)=\frac{M}{N+M}$$
  • n-1번째 까지는 흰색 공이 나와야 함
    $$\begin{gathered} P\{X=n\}=(\frac{N}{N+M}{)}^{n-1}\cdot \frac{M}{N+M} \\ =\frac{M\cdot N^{n-1}}{(N+M{)}^n} \end{gathered}$$
  (b) 검은색 공이 뽑힐 때 까지 적어도 k번이 필요할 확률은?
  • 확률 변수 X가 k를 포함한 횟수 이상을 시행
  $$\begin{gathered} P\{X\ge k\}=\frac{M}{N+M}\cdot \sum _{n=k}^{\mathrm{\infty }}(\frac{N}{N+M}{)}^{n-1} \\ =(\frac{M}{N+M})\cdot (\frac{N}{N+M}{)}^{k-1}/[1-\frac{N}{N+M}] \\ =(\frac{N}{N+M}{)}^{k-1} \end{gathered}$$
• 공을 랜덤하게 선택하는데, 검은색 공이 뽑힐 때 까지 시행한다.