02-02. 확률, 통계 및 트래픽 이론

2.2 기본적인 확률 및 통계 이론

---

2.2.4 기대치, n차 모멘트, n차 중심 모멘트 및 분산

---

• 랜덤 변수의 기대치(Expected value)
  • 변수의 평균 또는 중심 값
  • 기대치는 그 변수의 분포를 요약하는 값
  • 확률변수 X가 주어지고, pmf p(x)가 주어졌을 때의 기대값:
    $$
    E[X] = \sum_i{x_if_X(x_i)}
    $$
    • 참고)산술 평균: 모든 값이 동일하게 나온다는 가정을 가진 평균, 특별한 기대 값
      • 특히, 가중치를 의미하는 확률 fX(xi)가 모두 같을 필요가 없다. 하지만 확률 fX(xi)가 모두 같은 경우를 산술 평균이라 한다.
  • 기대값 E[X]란 가중 평균을 의미
    • 예) 1
    • 게임을 할 때 승리할 확률이 0.99, 승리시 $100을 받는다.
      • 해당 상황에서의 확률변수 X는 이 게임으로부터 얻을 수 있는 돈의 액수로 설정
      • 해당 게임에서 돈을 얼마나 얻을 수 있는지를 기대하는 기대값 E[X]를 구하면 다음과 같다.
      $$
      E[X] = (100 * 0.99)-(100000*0.01) \\
      = 99 - 1000 = -901
      $$
    • 이 게임은 평균적으로 $901를 잃게 되는 게임이 된다.
    • 하지만, 패배시 $100,000을 잃게된다.
    • 예) 2
    • 동전 2개를 던지는 게임이 있다.
      • 이 때, 앞면이 나올 기대값은?
      $$
      E[X] = (0)(1/4)+(1)(1/2)+(2)(1/4) = 1
      $$
    • 평균적으로 앞면이 나올 개수는 1이 된다.
    • 확률 변수 X는 동전의 앞면이 나오는 개수다.
      $$
      X = {0,1,2} \\
      p(0) = \frac{1}{4},\quad p(1)=\frac{2}{4},\quad p(2)=\frac{1}{4} \\
      $$
  • 정리)
    • 기대값을 가지려면 대상 즉, 확률 변수 X가 존재 해야 함
    • 확률 변수는 여러개의 실수 값을 가지게 되며, 그 여러개의 실수 값 각각의 확률값을 안다면 가중 평균을 취했을 때 기대값이 됨
    • 예) 3
    • 두 개의 동전을 독립적으로 던진다.
      • 그렇게 되면 뒷면이 나올 확률은 1-p가 된다.
      확률변수 X는 앞면이 나오는 개수로 정한다.
    • 기대값 E[X]를 구하는 방법은?
      $$
      P(X)=\begin{cases}
      \mbox{뒷면만 나올 확률}, & P(X=0) = P(t,t) = (1-p)^2 \\
      \mbox{앞면이 한 번 나올 확률}, & P(X=1)=P(h,t)+P(t,h) = p(1-p)+(1-p)p = 2p(1-p), \\
      \mbox{앞면만 나올 확률}, & P(X=2)=P(h,h)=p^2
      \end{cases} \\
      \therefore E[X]=0\cdot(1-p)^2+1\cdot2p(1-p)+2\cdot p^2=2p
      $$
    • 앞면이 나올 확률을 p라고 가정한다.
    • 랜덤 변수 함수의 기대값
    • 이산형 확률 변수 X가 pmf p(x)로 주어지면 그 이산형 확률 변수에 대한 기대값은 어떻게 구하는가
    • 어떠한 확률 변수의 기대값이 아닌 이 확률 변수의 함수에 대한 기대값을 구하는 것
      $$
      E[g(X)]=\sum_i g(x_i)p(x_i)
      $$
    • 예) 4
    • 두 개의 동전을 던진다.
    • 앞면이 나온 개수를 확률변수 X로 정의
      $$
      p(0)=1/4 \\
      p(1)=1/2 \\
      p(2)=1/4
      $$
      g(x)에 대한 정의가 다음과 같다.
      $$
      g(x)=\frac{3}{X+1}
      $$
      X의 함수의 기대값은 다음과 같다.
      $$
      \sum^2_{i=0}\frac{3}{i+1}\cdot P(X=i) \\
      E\Big[\frac{3}{X+1}\Big] = \left(\frac{3}{0+1}\right)\left(\frac{1}{4}\right) + \left(\frac{3}{1+1}\right)\left(\frac{1}{2}\right) + \left(\frac{3}{2+1}\right)\left(\frac{1}{4}\right) = \frac{7}{4}
      $$
• 기대값의 성질
  • c가 상수값으로 주어졌을 때의 E[c]=?
    $$
    E[c] = \sum c\cdot p(x)=c\cdot \sum p(x) = c\cdot \mbox{확률의 총 합은 }1 = c \\
    \mbox{ex) }E[100] = 100
    $$
  • E[cX]의 값은?
    $$
    E[cX] = \sum cx \cdot p(x) = c\cdot \sum x\cdot p(x) = c\cdot E[X]
    $$
  • E[cX + d]
    $$
    E[cX+d] = \sum (cx+d)\cdot p(x)= \sum cx\cdot p(x) + d\sum p(x) \\
    = c\sum X\cdot p(x) + d \\
    = cE[X] + d
    $$
• 랜덤 변수의 분산
  • 그 랜덤 변수의 실제 값이 어느 정도 퍼져 있는 정도를 표현하는 음수가 아닌 실수
  • 분산이 크면 관측값이 평균적으로 더 많이 퍼졌다는 뜻
  • Cell 내의 서로 다른 지역에 있는 가입자들의 호 발생 유형이 어떠한 가를 표현할 때 유용함
  • 해당 값을 알면 그 Cell에서의 동시 통화수를 예측하는데 이용 됨
  • 또, 새로운 호는 서로 다른 시간에 발생하고, 따라서 호 발생은 연속 랜덤 변수가 아닌 이산 랜덤 변수로 표현
• 호 지속 시간(가입자의 통화 시간)은 가변적
  • 어느 한 채널이 통화 중인 시간의 비율은 호 발생률과 호 지속 시간의 가중치에 좌우 됨
• 인접 채널들 간의 간섭
  • 각 채널이 얼마나 긴 시간 동안 사용되었는가 에 좌우 됨
• 트래픽의 특성을 표현하기 위해서는 해당 모멘트 함수(Moment Function)들을 모두 계산해야 함
  • 변수들을 정량화함으로써 시스템 성능에 대한 영향을 이해할 수 있게 됨

Moment (모멘트)

• 기대값의 형태가 X의 n제곱의 형태가 되는 것 (적률)

$$
E[X^n]=\sum_x x^n p(x)
$$

• 식 (2.9)와 동일한 형태
• 예) 1
• $$
  E[X] \mbox{ 1차 적률} \\
  E[X^2] \mbox{ 2차 적률} \\
  ...
  $$
• 확률 변수 X가 주어지고, 각각의 확률을 더한 뒤의 기대값을 구하는 것은 각각의 기대값을 모두 더한것과 동일

$$
E[X_1+X_2+X_3 +\cdots+X_n] = E[X_1]+E[X_2]+E[X_3]+\cdots+E[X_n]
$$

• 예) 2
• n개의 주사위를 굴렸을 때, 얻을 수 있는 결과들의 합에 대한 기대값을 구하라
• X를 합이라는 확률변수로 정할 때,
  $$
  X = \sum_{i=1}^n X_i \mbox{ 로 정의할 수 있음}
  $$
  X_i = i번째 주사위를 던졌을 때 나온 숫자
  $$
  E[X] = E\bigg[\sum_{i=1}^n X_i\bigg] = \sum_{i=1}^n E[X_i] \mbox{ 를 이용해야 함} \\
  $$
  주사위의 각 눈이 나올 확률은 모두 (1/6)로 동일
  $$
  E[X_i] = \sum_{i=1}^6 i\cdot \frac{1}{6} = \frac{21}{6} = \frac{7}{2} = 3.5
  $$
  이제 위의 각 확률 변수의 기대값의 합을 구하는 식을 적용할 수 있음
  $$
  E[X_1]+E[X_2]+E[X_3]+\cdots+E[X_n] = 3.5n
  $$

분산 (Variance)

• 기대값을 구했을 때, 각 확률 변수가 얼마나 기대값에서 떨어져 있는지를 수치로 보여주는 척도
• 예) 1
• 1, 2, 3, 4, 5의 분산을 구하라
  • 분산을 구하기 위해서는 기대값을 구해야 함
  • 각 변수에서 기대값과의 차이를 구하
    • -2, -1, 0, 1, 2
  • -를 없애기 위해서 제곱을 취함
    • 4, 1, 0, 1, 4
  • 이들의 기대값을 취하면 분산이 됨
• 분산의 정리
  • 기대값이 있어야 함(평균)
  • 이 기대값을 기점으로 얼마만큼 떨어져 있는지를 제곱의 스케일로 표현한 측도
  • 제곱이 되었기 때문에 분산은 음수가 될 수 없음
• 분산을 기대값으로 표현
  $$
  V(X)=E[{X-E(X)}^2] \\
  = E[X^2 - 2XE(X) + {E(X)}^2] \\
  = E(X^2) - 2{E(X)}^2-{E(X)}^2 \\
  = E(X^2) - {E(X)}^2 \\
  $$
  • 참고)
    $$
    -2XE(X) = 2E(X) \cdot E{E(X)} \\
    = -2\cdot E(X) \cdot E(X) \\
    = -2{E(X)}^2
    $$
• 즉, 분산이란
  • X의 제곱의 기대값에서 X의 기대값의 제곱을 뺀 것으로 표현할 수 있음
• 예) 2
• $$
  V(X) = E[{X-E(X)}^2] \\
  = \sum{X-E(X)}^2 \cdot P(X) \\
  = \sum{X^2-2XE(X)+E(X)^2} \cdot P(X) \\
  ...? \\
  = E(X^2) - {E(X)}^2
  $$
• 예) 3
• 동전 2개를 던짐, X를 앞면이 나올 개수로 정의
  $$
  V(X) = E(X^2)-{E(X)}^2 \\
  = \sum X^2 \cdot P(X) \\
  $$분산이 특정 함수형태로 주어졌을 때,
  $$
  V(-4X+3) = (-4)^2V(X) = (16)(1/2) = 8
  $$
• $$
  E[X^2] = (0^2)(1/4)+(1^2)(1/2)+(2^2)(1/4) = 3/2 \\
  V(X) = E[X^2] - {E[X]}^2 = 3/2 - 1^2 = 1/2
  $$
• 확률변수 함수에 대한 분산

$$
V(g(X)) = E[(g(X) - \mu_{g(X)})^2]
$$

• 상수 c, d가 주어질 때의 분산 값
• • V(c)
  $$
  V(c) = E[{c-E[c]}^2] = E[c-c] = 0 \\
  \mbox{예) }V(2) = 0
  $$
  • V(cX)
  $$
  V(cX) = E[{cX-cE[X]}^2] = E[c^2{X-E[X]}^2] \\
  =c^2E[{X-E(X)}^2] \\
  =c^2 \cdot V(X)
  $$
  • V(cX+d)
  $$
  V(cX + d) = E[{(cX+d)-E[cX+d]}^2] \\
  = E[{cX+d - cE[X]-d}^2] \\
  = c^2E[{X-E[X]}^2] = c^2 \cdot V(X)
  $$

표준 편차(Standard Deviation)

• 분산의 제곱근

$$
SD[X] = \sqrt{V[X]}
$$

이산 랜덤 변수

- 기대치 또는 평균값

$$
E[X] = \sum_{\mbox{all} k}{k^nP(X=k)}\qquad\qquad\cdots (2.9)
$$

• 이산 랜덤 변수 Χ로 정의된 함수 g(X)의 기대치는 X의 분포에 의거하여 g(X) 값으로 새로이 정의된 또 다른 변수 Y의 평균값이다.
• 이 값은 E[g(X)]로 표현하고, 식(2.10)과 같이 구할 수 있다.

$$
E[g(x)] = \sum_{\mbox{all} k}{g(k)P(X=k)}\qquad\qquad\cdots (2.10)
$$

- n차 모멘트

$$
E[X^n] = \sum_{\mbox{all} k}{k^nP(X=k)} \qquad\qquad\cdots (2.11)
$$

• X의 1차 모멘트는 바로 X의 평균이 된다.

- n차 중심 모멘트

• 중앙 평균은 평균값을 중심으로 한 평균을 말하며, 아래와 같이 표현된다.

$$
E[(X-E[X])^n] = \sum_{\mbox{all} k}{(k-E[X])^nP(X=k)} \qquad\qquad\cdots (2.12)
$$

• 1차 중심 모멘트의 값은 0이다.

- 분산 또는 2차 중심 모멘트

$$
\sigma^2 = \mbox{Var}(X) = E[(X-E[X])^2] = E[X^2] - (E[X])^2 \qquad\qquad\cdots (2.13)
$$

• 이 식에서 σ는 표준편차라 부름

연속 랜덤 변수

- 기대치 또는 평균값

$$
E[X] = \int_{-\infty}^\infty {xf_X(x)} {dx}\qquad\qquad\cdots (2.14)
$$

• 연속 랜덤 변수 X로 정의된 함수 g(X)의 기대치는 X의 분포에 의거하여 g(X) 값으로 정의된 또 다른 변수 Y의 평균값이다.
• 이 값은 E[g(X)]로 표현하고, 아래 식과 같이 구할 수 있다.

$$
E[g(X)] = \int_{-\infty}^\infty {g(x)f_X(x)} {dx}\qquad\qquad\cdots (2.15)
$$

- n차 모멘트

$$
E[X^n] = \int_{-\infty}^\infty {x^nf_X(x)} {dx}\qquad\qquad\cdots (2.16)
$$

- n차 중심 모멘트

$$
E[(X-E[X])^n] = \int_{-\infty}^\infty {(x-E[X])^nf_X(x)} {dx}\qquad\qquad\cdots (2.17)
$$

- 분산 또는 2차 중심 모멘트

$$
\sigma^2 = \mbox{Var}(X) = E[(X-E[X])^2] = E[X^2] - (E[X])^2\qquad\qquad\cdots (2.13)
$$