palefaceman's digital repository

t-test 정의, 공식, 예시

palefaceman — Fri, 14 Nov 2025 23:20:08 +0900

모집단의 평균이 특정값과 같은지 확인 할 때 사용한다.

1) 사용

바다 거북에 평균 무게가 700kg이라고 한다. 수천마리에 바다거북의 무게를 다 측정할 수 없다.

대신에 표본추출(simple random sample)을 40마리 추출한다.

표본 평균을 측정한다.

이때, 표본 평균(sample mean)은 700kg과 다르다.

여기에 떠오르는 질문은, 과연 표본 평균과 가정에 차이가 통계적으로 유효한가 하지 않은가 이다.

하나의 표본으로 하는 t-test는 여기에 적합하다.

2) 공식

H0: μ = μ0 (모집단 평균은 가정된 평균과 같다. μ0)
H1 (two-tailed): μ ≠ μ0 (모집단 평균은 가정된 평균과 같지 않다. μ0)
H1 (left-tailed): μ < μ0 (모집단 평균은 가정된 평균보다 작다. μ0)
H1 (right-tailed): μ > μ0 (모집단 평균은 가정된 평균보다 크다. μ0)

t-값

t = (x – μ) / (s/√n)

x: 표본 평균
μ0: 가정 평균
s: 표본 표준편차
n: 표본 크기

n-1에 자유도로 계산된 t-value 상응하는 p-value가 significance level보다 작으면 null hypothesis를 기각한다.

3)가정

1.표본은 독립적이다.

2.정규분포를 따른다.

3.이상치(outlier)가 없다.

4.t-test를 시행하는 표본값은 반드시 구간이 있는 값이거나 절대치 '0'을 포함하는 집합이여야 한다.

4)예시

1.표본데이터를 수집한다.

n = 40

x = 300

s = 18.5

2.가설을 선언한다.

H0: μ = 310 모집단 평균은 310이다
H1: μ ≠ 310 모집단 평균은 310이 아니다.

3. t-value를 구한다.

t = (x – μ) / (s/√n) = (300-310) / (18.5/√40) = -3.4187

4. p-value를 구한다.(t-test를 위한 테이블표 참조)

p-value = 0.00149

5. 결과를 해석한다.

p-value가 significance level α = 0.05 보다 작으므로 null hypothesis를 기각한다.

그러므로 모집단의 평균은 310이 아니다.

가설 검증(Hypothesis Testing)

palefaceman — Thu, 13 Nov 2025 22:52:03 +0900

통계 가설 검증(Statistical Hypothesis)은 모집단(popluation) 매개변수(parameter)에 대한 가정

예시

통계 가설(Statistical Hypothesis): 한국남성 평균 신장은 175cm이다.

통계 변수(Population parameter) : 실제 한국 남성의 평균 신장

가설 검증(Hypothesis Test)는 공식 통계 테스트로 기각/불기각 할 수 있다.

절차

1. 모집단으로부터 임의의 표본(random sample)을 채취한다.

2. 표본으로 가설 검증을 실시한다.

가설의 종류

1. null hypothesis: Ho, 100% 우연이다

2. alternative hypothesis: H1(or Ha), 어떤 인과성을 띈다.

가설검정(Hypothesis Test)

가설을 선언한다.

null과 alternative hypothesis를 선언한다. 다 가설은 상호 배타적이다. 즉, 하나가 참이면, 다른 하나는 반드시 거짓이다.

2. significance level을 선정한다.

signficance level을 설정한다. 0.01, 0.05, 0.1 대표적이다.

3. 검정 통계량을 찾는다.

검정 통계량과 p-value를 찾는다.

4. null hypothesis를 기각 또는 불기각 한다.

검정 통계량 또는 p-value를 이용해서 가설이 기각인지 불기각인지 정하는데, 이때 기준이 되는 것이 significance level이다.

p-value가 significance level보다 작으면 우리는 null hypothesis를 기각한다.

5. 결과를 해석한다.

처음 질문에 따라 가설 검정 결과를 분석한다.

두 가지 오류

- 타입1 오류

실제로는 사실인 null hypothesis를 기각한다. α라고 한다.

-타입2 오류

실제로 거짓은 null hypothesis를 불기각 한다. β라고 한다.

꼬리하나(one-tailed) 와 꼬리 두개 (two-tailed)테스트

one-tailed test는 크거나 작거나다. 예를 들어 대한민국 남성 평균 신장이 175cm이면 H0 ≥ 175cm, Ha < 175cm이다.

two-tailed test는 같거나 다르다. 예를 들어 대한민국 남성 평균 신장은 175cm이면 H0 = 175cm, Ha ≠ 175cm이다

인구와 투자의 미래 확장판, 홍춘욱

palefaceman — Tue, 18 Jun 2024 16:47:08 +0900

인구와 투자의 미래 확장판

한국의 출산율은 이미 세계 최저 수준으로 떨어졌다. 노령화 속도는 세계에서 가장 빠르게 진행돼 향후 50년도 못 가 65세 이상이 전체 인구의 절반까지 늘어날 것으로 전망된다. 국내 노동 공급의 큰 축을 맡아왔고 가장 부유한 세대인 베이비붐 세대의 은퇴가 겹치면서 “이러다간 나라 망하는 것 아니냐”는 우려의 목소리까지 나오고 있다. 현실로 닥친 인구절벽은 한국 경제에 어떤 영향을 미칠까? 투자자는 어떻게 판단해야 할까? ‘가장 신뢰받는 애널리스트’(조선일보·에프앤가이드 선정)로 명성을 쌓은 홍춘욱 박사(현 프리즘투자자문 대표)가 이 책에서 급격한 인구 구조 변화에 따른 자산시장 대변동에 대비하는 투자 지침을 제시한다. 베이비붐 세대가 은퇴하면 경제에 큰 충격을 주고 주식시장과 부동산시장이 암울해진다는 우려가 지배적이었다. 그러나 홍 박사는 향후 10년간은 경기 전망이 밝다고 본다. AI 시대가 열리면서 생산성 향상이 기대되고 기업의 비용이 절감되며 노동시장이 유연해지면서 자본 투자도 확대될 것으로 봐서다. 이 책은 투자자들에게 △실질금리 하락에 대비하고 △한국 자산과 미국 달러 자산에 분산 투자하며 △부동산은 클러스터 지역에 집중하는 한편 해외 부동산 상장 리츠(REITs)에 투자하는 등 다변화해 인구 변화로 인한 ‘자산시장 대변동’을 기회로 만들라고 주문한다. 금, 하이일드 채권 등 대체자산에 분산 투자하는 방안을 비롯해 추천 ETF와 미국 리츠 ETF 리스트까지 친절하게 제시한다. 글로벌 투자의 시대인 만큼 중국과 일본의 변화도 놓쳐서는 안 된다. 한국과 마찬가지로 급격한 고령화를 겪는 두 나라가 한국 경제에 미칠 영향을 분석하며 중국은 피하되 일본 시장을 노리라고 책은 권한다. 홍 박사는 “변화의 시기에는 멀리 보는 자가 이긴다”며 “장기 전망을 놓치지 말라”고 강조했다.

저자: 홍춘욱

출판: 에프엔미디어

출판일: 2024.02.20

1958년 개띠와 한국 경제 전망

1. 노동시장 전망에 대해

여성경제참여율증가와 유연한 일자리 수의 상관관계를 보면 여성 경제 참여율이 높은 美은 한국보다 유연한 일자리 수의 많다.

그리고, 연공서열에 따라 임금을 지불받던 58년생들로 대표되는 베이붐 세대가 2019년부터 대거 퇴직을 시작하고 있고, 연공서열제를 유지하기 위해 있던 공채시스템이 없어지고 노동시장에 고용와 해고가 자유로워 진다면 직무직급에 따른 유연한 일자리 수의 확장은 더욱 기대되는 전망이다.

유연한 일자리가 증가할 수록 가정과 개인사에 쏟을 시간이 늘어나기 때문에 변화된 문화와 근로환경에 맞춰 출산율이 지금보다 더 떨어지는 것을 예방할 수 있는 역할을 할 수 있을 것으로 기대된다. (더 올라 갈지는 모른다.)

2. 3~5년 금리 전망에 대해

1990부터 2020년까지 전 세계 저금리 기조에 따른 인플레이션 둔화는 전적으로 2가지 요인에 기인한다.
첫쨰로, 세계화(globalization)에 따른 생산비용 절감효과
둘째로, 기술발전에 따른 생산 효율성 증가에 따른 비용 절감효과이다.

하지만 세계화는 이제 美·中 대립에 따른 시장이 2분화 되어가는 양상을 띠고 있다.
더 이상 낮은 물가를 기대하기 어렵다는 말이다. 기준금리도 높게 유지될 것으로 전망된다.

3. 인구감소와 경제성장 전망에 대해

출산율 감소로 인구가 줄어들면 한국경제가 붕괴할 것이라는 전망이 있다. 이 말에 대해 경제 성장률과 인구의 상관관계를 알아본다. 그리고 경제 성장률과 총요소생산성의 상관관계를 찾아본다. 그렇게 본다면 경제 성장률은 총요소생산성과 강한 인과의 상관성을 보이는 것을 확인할 수 있다.

인구가 많다는 것은 노동집약 산업을 주력하는 단계에서는 효과적이다. 하지만 한국은 이미 선진국 중공업을 건너 정보지식산업으로 주력 산업군이 배치된 산업형태로 진화하고 있다. 그렇기 때문에 한국경제에 인구수보다 더 결정적 요인을 미치는 것은 총요소생산성이다.

총요소생산성은 3가지 조건에 의해 증감한다. 첫째로, 노동시장에 참여하는 근로자의 열의다. 잘하겠다는 마음, 근로환경의 여건이 총요소생산성을 끌어올린다. 두번째는, 교육률이다. 의지만으로는 끝이 있다. 하지만 고등교육을 받은 양질의 노동자가 근로의지까지 있다면 당장 변화무쌍한 기술변화 사회변화에 적응하고 새로운 기술을 배우고 익혀 적용하는 일을 가능하게 하므로 총요소생산성의 증가로 이어진다. 셋째로, 기술의 발전이다. 기술의 비약적 발전은 R&D 투자금 규모와 비례한다. 한국은 R&D 투자금 규모에서 결코 뒤처지지 않는다.

시간이 지날수록 교육이 중요해질 것이다. 반복비숙련 노동은 점차 로봇으로 채워질 것이다. 비(非)반복고숙련 노동이 남게 된다. 비(非)반복고숙련 노동은 고급 서비스업과 저급 서비스로 업으로 양극화되는 양상을 보인다. 양극화가 심화될 우려가 있다.

4. 3~5년 한국 부동산 전망

한동안 한국경제의 내수는 부진할 전망이다. 자산의 대부분이 부동산에 묶여있고, 기대수명증가로 돈을 쓰고 죽기보다 죽는 날까지 아껴 쓰자는 인구가 많을 것이기 때문이다.

한국의 부동산 전망은 美과 日에서 미래를 예견해 볼 수 있다.

美은 기대수명증가와 자금력을 바탕으로 한 오래 사는 부자 노인들이 세컨드하우스를 구매하여 펜션 같은 지역에 주택가격이 오르는 동향을 보여준다.

日은 클러스터 효과(cluster effect)로 설명할 수 있다. 대도시에 집값은 꾸준히 상승하고 있다. 하지만 외각 지는 빈집이 팔리지도 않고 버려져 있다.

한국과 미국과 일본의 부동산 시장 양상을 따라갈 것으로 전망한다.

5. 3~5년 한국경제와 주식의 전망

58년 개띠부터 시작하는 베이붐 세대는 모두 연공서열에 따른 생산성에 비해 높은 임금을 받는 고액연봉자들이었다. 이들의 은퇴와 함께 새롭게 채용될 신규직원은 양질의 교육을 받은 고급 인력이자 연공서열에 따른 저연차 연봉을 수령해 가게 된다. 절대적인 채용규모 감소와 함께 임금비용 감소는 향후 3~10간 한국 기업에 실적 개선에 크게 기여할 전망이다. 그렇게 되면 한국 기업의 수익성을 한동안 ~10년간 꾸준히 개선될 것으로 본다.

하지만 투자에 대해서 대기업은 미국 직접 투자, 중소기업은 동남아에 공장을 짓는 이른바 Friend Shoring이 한동안 이어질 것으로 보며, 기업수익률 개선과 국내 시장 경기와는 상반되게 흘러갈 가능성이 있다. 적어도 주식시장은 괜찮을 것이라 전망한다.

엑셀에서 tukey-kramer post hoc 검정(tukey-kramer post hoc Test) 하기

palefaceman — Fri, 30 Sep 2022 00:11:05 +0900

단 방향 ANOVA(one-way ANOVA)는 3개 이상의 독립적인 그룹의 평균 간에 유의미한 차이가 있는지 판별하는 검정 방법이다.

단 방향 ANOVA(one-way ANOVA)에서 사용된 가설은 귀무가설(null hypothesis), H0: μ1= μ2=μ3=...=μk (각각 그룹에 평균은 같다.)이다.

대립 가설(alternative hypothesis), Ha: 적어도 하나의 평균의 값이 다르다, 이다.

ANOVA에서 구해진 p-value가 유의 수준(siginificance level)보다 작으면, 귀무가설(null hypothesis)을 기각할 수 있다. 그리고, 적어도 하나의 평균이 다르다고 볼 수 있는 충분한 통계적 근거가 있다고 말할 수 있다.

그러나, ANOVA로 어느 그룹에 평균이 다른가에 대한 정보를 얻을 수 없다. 단지, 하나 모든 그룹의 평균이 같지 않다는 정보만 제공한다. 정확히 어느 그룹이 다른 평균을 가지는 지 알기 위해서 post hoc 검정(post hoc test)을 한다.

post hoc 검정(post hoc test)의 방법 중 가장 널리 사용되는 방법이 Tukey-Kramer 검정(Ukey-Kramer test)이다. Tukey-Kramer 검정(Tukey-Kramer test)은 2개의 그룹 평균을 비교한다.

아래 예시는 어떻게 엑셀에서 Tukey_kramer 검정을 하는 지 보여준다.

예시: 엑셀에서 Tukey-Kramer(Tukey-Kramer Test) 검정 하기

3개의 (독립)그룹, A, B, C에 대해서 단 방향 ANOVA(one-way ANOVA)을 시행한 결과가 아래처럼 나온다.

단 방향 ANOVA(one-way ANOVA) 시행

p-값(p-value)은 0.000588이다. p-값(p-value)는 유의 수준(siginificance level) 0.05보다 작다. 그러므로, 우리는 귀무가설(null hypothesis)을 기각(rejection)할 수 있다. 그 결과, 독립 그룹 3개의 평균은 같다고 할 수 없다.

어떤 그룹에 평균이 다른지 확인하기 위해서, Tukey-Kramer post hoc 검정(Tukey-Kramer post hoc Test)을 아래 단계 별로 시행한다.

단계 1: 각 그룹에 절대 평균 차(abosoute mean difference)를 구한다.

첫 째, ANOVA 분석 첫 번째 테이블에 있는 그룹들의 평균값 결과를 사용해서 절대 평균 차(absolute mean difference)를 구한다.

단계 2: Q 임계치(Q ciritical value)을 찾는다.

다음으로, Q 임계치(Q critical value)를 아래에 공식을 이용해서 찾는다.

Q_critical value = Q*√(s^2(pooled)/ n)

Q = Q 테이블에 있는 Q의 값
S^2(pooled) = 합동 분산(3개의 그룹에 값을 모두 포함한 변수들의 분산)
n = 주어진 그룹에 표본 크기

Q 값(Q value)를 찾기 위해서 Studentized Range Q 테이블을 사용한다.

지금 하고 있는 예시에서, k = 그룹의 수, k = 3이다. 자유도(The degrees of freedom, df)는 n - k = 30 -3 = 27이다. 27이 테이블에서 보이지 않는다. 그렇기 때문에, 보수적 추정(conservative estimate)을 한다. k =3 , df = 24에 Q = 3.53을 선택할 수 있다.

다음으로 s^2(pooled), 합동 분산(pooled variance)은 각 그룹에 분산의 평균을 이용하여 구한다. 그 값은 19.056이다.

마지막으로, 표본의 크기는 10이다.

그러므로, Q 임계값(Q critical value)을 계산하면 4.87이다.

Q 임계값(Q critical value) = Q*√(s^2(pooled) / n) = 3.53*√(19.056/10) = 4.87.

단계 3: 어떤 그룹에 평균이 다른 지 결정한다.

마지막 단계로, 각 그룹에 절대 평균 차(absolute mean difference)와 Q 임계값(Q critical value)을 비교한다. 만약에, 절대 평균 차(absolute mean difference)가 Q 임계값(Q ciritical value) 보다 크다면, 두 그룹 간 평균에 차이는 통계적으로 유의미하다.

Tukey_Kramer post hoc 검정(Tukey_Kramer post hoc Test)을 통해서 아래와 같이 분석할 수 있다.

A와 B 그룹 사이에 차이는 통계적으로 유의미하다.(평균이 다르다)
B와 C 그룹 사이에 차이는 통계적으로 유의미하지 않다.(평균이 다르지 않다)
A와 C 그룹 사이에 차이는 통계적으로 유의미하다.(평균이 다르다)

파이썬에서 기하평균(Geometric Mean) 계산하기

palefaceman — Mon, 26 Sep 2022 13:39:54 +0900

파이썬에서 기하평균(geometric mean)을 구하는 방법은 2가지가 있다.

방법 1: Scipy 라이브러리를 이용한 기하평균(geometric mean) 구하기

from scipy.stats import gmean

#기하평균(geometric mean) 구하기
gmean([value1, value2, value3, ...])

방법 2: Numpy 라이브러리를 이용하여 기하평균(geometric mean) 구하기

import numpy as np

#함수 생성
def g_mean(x):
	a = np.log(x)
    return np.exp(a.mean())
    
#기하평균(geometric mean) 구하기
g_mean)[value1, value2, value3, ...])

두 방법은 동일한 값을 반환한다.

실제 상황에서 두 가지 방법을 각각 어떻게 사용하는지 좀 더 살펴본다.

예시 1: Scipy 라이브러리를 이용한 기하평균(geometric mean) 구하기

아래 코드는 Scipy 라이브러리에서 어떻게 gmean()을 사용하여 어떻게 기하평균(geometric mean)을 구하는 지 보여준다.

from scipy.stats import gmean

#기하평균(geometric mean) 구하기
gmean([1,4,7,6,6,4,8,9])

4.81788719702029

기하평균(geometric mean)은 4.8179로 출력한다.

예시 2: Numpy 라이브러리를 이용하여 기하평균(geometric mean) 구하기

아래 코드는 Numpy 라이브러리에서 어떻게 gmean()을 사용하여 어떻게 기하평균(geometric mean)을 구하는 지 보여준다.

import numpy as np

#함수정의
def g_mean(x):
	a = np.log(x)
    return np.exp(a.mean())
    
#기하평균(geometric mean) 구하기
g_mean([1,4,7,6,6,4,8,9])

4.18788719702029

기하평균(geometric mean)은 4.8179로 Scipy에서 나온 기하평균(geometric mean) 값과 동일하다.

기하평균(geometric mean)이 '0'이 나올 경우

두 가지 기하평균(geometric mean)을 구하는 방법 모두 배열에 0이 하나라도 있으면 '0'을 반환한다.

그러므로 기하평균(geometric mean)을 구하기 전에 배열 안에 있는 '0'을 제거하는 코드를 실행한다.

#'0'이 포함된 배열 생성
x = [1,0,0,6,6,0,8,9]

#배열 안에 '0' 제거
x_new = [i for i in x if i !=0]

#업데이트 된 배열 보기
print(x_new)

[1,6,6,8,9]

엑셀에서 단 방향 ANOVA(One-Way ANOVA) 분석하기

palefaceman — Fri, 23 Sep 2022 07:41:15 +0900

단 방향 ANOVA(Analysis Of Variance)는 3개 이상의 독립적인 그룹에 평균값이 통계적으로 유의미한 차이가 있는지 판별할 때 사용한다.

이번 포스팅에서 단 방향 ANOVA(one-way ANOVA)를 해본다.

예시: 엑셀에서 단 방향 ANOVA(one-way ANOVA) 실습하기

30명의 학생이 연구에 참여한다고 가정해본다. 각각의 학생들은 무작위로 3개 중 하나의 그룹에 배치되었다. 각각의 그룹은 각기 다른 학습법으로 3주 동안 학생들을 학습시키고 3주 후에 동일한 시각에 시험을 본다.

시험 점수가 다음과 같이 나왔다.

실험 연구자들은 이제 시험 점수를 바탕으로 단 방향 ANOVA(one-way ANOVA)을 실시한다. 그리하여, 3개 그룹의 평균이 통계적으로 같다고 할 수 있는지 판별한다.

엑셀에서 단 방향 ANOVA(one-way ANOVA)를 하기 위해서

데이터 탭 -> 분석 -> 데이터 분석

만약 데이터 분석이 없다면 아래 포스팅을 보고 업로드한다. Analysis Toolpak 업로드 하기

데이터 분석을 클릭하면 화면에 여러가지 분석 방법을 선택하는 창이 뜬다. 여기서 분산 분석: 일원 배치법을 선택한다.

데이터 범위를 설정하는 값이 나온다.

여기서 열에 이름(첫 번째 행)을 제외한 데이터(숫자)들을 모두 선택한다.

유의 수준(alpha)을 선택한다. 디폴트 값은 0.05다. 이번 경우는 그대로 0.05로 둔다.

그리고 데이터를 출력한 범위를 선정하고 확인을 누른다.

그렇게 하면, 출력을 지정한 셀에서 결과가 프린팅 된다.

결과 해석하기

두 개의 표가 출력된다. 위에 표는 요약표다. 여기에는 각 그룹의 합, 평균, 분산이 계산된다.

단 방향 ANOVA(one-way ANOVA)는 3개의 서로 다른 평균이 통계적으로 유의미하게 다른지 판별하는 방법임을 다시 상기하면서,

위에 표에서 보면 3개 그룹에 평균이 유사함을 알 수 있다. 하지만, 이 값들이 통계적으로 유의미한 지 파악하기 위해서 두 번째 아래 테이블을 봐야 한다.

두 번째 테이블에서 F 테스의 값(F 비), F 기각치, p-값을 확인할 수 있다.

이 경우, F 비(F test statistics)는 2.3575, F 기각치(F critical value)는 3.3541이다. F 비가 F 기각치 보다 작으므로, 우리는 귀무가설(null hypothesis), H0: 세 그룹에 평균이 같다, 을 기각할 충분한 증거가 없다.

또한 p-값으로도 같은 결론에 내게 된다. 위에 분석표에서 p-값은 0.1138이다. 이는 초기에 설정한 유의 수준(alpha)의 0.05보다 크다.

이는 또한, 우리는 귀무 가설(null hypothesis), H0: 세 그룹에 평균이 같다, 을 기각할 충분한 증거가 없다 는 것을 의미한다.

※ 만약 귀무가설을 기각하게 될 시 Tukey-Kramer Post hoc 테스트를 하여 어떤 그룹에 다른지 정확히 판별할 수 있다.

파이썬에서 리스트 값 변경하기

palefaceman — Fri, 23 Sep 2022 06:59:22 +0900

한 번씩 파이썬에서 리스트(list)의 값을 변경해야 하는 경우가 있다.

다행히도, 파이썬은 이에대해 강력한 편리성을 제공하고 있다. 아래 예시와 함께 리스트(list)에 변수를 변경하는 다양한 방법을 실습해본다.

예시 1: 하나의 리스트(list) 값 변경하기

아래 문법은 하나의 리스트(list) 값을 변경한다.

#4개 크기 리스트(list) 만들기
x = ['a', 'b', 'c', 'd']

#첫 번째 리스트 값 변경하기
x[0] = 'z'

#업데이트된 값 확인
x

['z', 'b', 'c', 'd']

예시 2: 하나 이상의 리스트(list) 값 변경하기

아래 문법은 하나 이상의 리스트(list) 값을 변경한다.

#4 크기의 리스트(list) 생성
x = ['a', 'b', 'c', 'd']

# 첫 번째 3개의 값 변경
x[0:3] = ['x', 'y', 'z']

# 업데이트 된 값 확인
x

['x', 'y', 'z', 'd']

예시 3: 리스트(list)에서 특정 위치에 값 변경하기

아래 문법은 특정 위치에 리스트(list) 값을 변경한다.

#6 크기의 리스트(list) 생성
y = [1,1,1,2,3,7]

#1을 0으로 변환
y = [0 if x==1 else x for x in y]

# 업데이트 된 값 확인
y

['0,0,0,2,3,7]

유사한 방법으로 임계값(thereshold) 이상의 값을 변경할 수도 있다.

#6 크기의 리스트(list) 생성
y = [1,1,1,2,3,7]

#2보다 작은 값을 모두 0으로 변경
y = [0 if x<=2 else x for x in y]

# 업데이트 된 값 확인
y

['0,0,0,0,3,7]

Numpy: 넘파이(Numpy)에서 최소자승법(least squares method) 실행하기

palefaceman — Thu, 22 Sep 2022 11:05:20 +0900

회귀분석(regression analysis)에서 최소자승법(meothod of least squares)은 이용하여 데이터에 가장 적합한 직선을 찾아내는 데 사용한다.

넘파이(Numpy)에 linalg.lstsq() 함수를 사용하여 최소자승법(meothod of least squares)을 실행할 수 있다.

아래 순차적 예시에서 최소자승법(meothod of least squares)을 실행 해본다.

단계 1: 독립변수(independent variables)와 종속변수(dependent variables)를 입력한다.

첫째로, 넘파이(Numpy) 배열로 데이터를 생성한다.

import numpy as np

#x,y 변수 배열 변수 생성
x = np.array([6, 7, 7, 8, 12, 14, 15, 16, 16, 19])

y = np.array([14, 15, 15, 17, 18, 18, 19, 24, 25, 29])

단계 2: 최소자승법(meothod of least squares)을 실행한다.

#최소자승법(meothod of least squares)실행
np.linalg.lstsq(np.vstack([x, np.ones(len(x))]).T, y, recond=None)[0]

array([0.96938776, 7.76734694])

함수 실행 결과 반환되는 배열은 최소자승법(meothod of least squares)에 따라 구해진 기울기(slope)와 y-절편(intercept)을 보여준다.

배열을 보면

기울기: 0.969
y-절편: 7.767

을 알 수 있다.

단계 3: 결과를 해석한다.

다음으로 결과를 해석한다. 어떻게 결과를 해석하는지 해석 방법을 알아본다.

x(독립변수)가 0에서 시작할 때 평균값은 7.767이다.
x(독립변수)가 1씩 증가할 때마다 y(종속변수)가 평균 0.969만큼 커진다.(양의 상관관계)

최소자승법(meothod of least squares)을 이용하여 어느 값 x에 대한 y에 값을 예측하는 데 사용할 수도 있다.

예를 들어 보면,

ŷ = 7.767 + 0.969x
ŷ = 7.767 + 0.969(10)
ŷ = 17.457

x = 10 일 때 y 값은 17.457으로 예측할 수 있다.

Pandas: 넘파이(Numpy) where() 함수 Pandas에서 사용하기

palefaceman — Mon, 19 Sep 2022 13:49:12 +0900

넘파이(Numpy)에서 if-else 로직을 이용하여 배열(array)에 빠르게 값을 업데이트할 수 있었다.

예를 들어, 아래코드와 같이 넘파이(Numpy) where() 함수를 사용하여 배열(array)을 업데이트한다.

import numpy as np

#Numpy 배열 값
x = np.arraY([1,3,3,6,7,9])

#새로운 값 배열에 넣기
x = np.where((x < 5) | (x > 8), x/2, x)

#새로운 배열 값 보기

array([0.5, 1.5, 1.5, 6. , 7. , 4.5])

If, 기존 배열에 값이 5보다 작거나 8보다 크면, 그 값을 2로 나눈 값을 새로 저장한다.

Else, 나머지는 그대로 둔다.

판다스 데이터 프레임(pandas DataFrame)에서도 판다스(pandas) where() 함수를 사용하여 똑같은 입력을 할 수 있다. 하지만 문법(syntax)은 조금 다르다.

우선, 넘파이(Numpy) where() 함수에 문법을 본다.

x = np.where(condition, value_if_ture, value_if_false)

그리고 다음으로, 판다스(pandas) where() 함수다.

df['col'] = (value_if_false).where(condition, value_if_true)

아래 예시를 보며 판다스(pandas) where() 함수를 사용해 본다.

예시 1: 판다스(pandas) where() 함수

아래 판다스 데이터 프레임(pandas DataFrame)이 있다.

import pandas as pd

# 데이터프레임 생성
df = pd.DataFrame({	'A':[18,22,19,14,14,11,20,28],
					'B':[5,7,7,9,12,9,9,4]})

#데이터 프레임
print(df)
                 
                 
    A   B
0  18   5
1  22   7
2  19   7
3  14   9
4  14  12
5  11   9
6  20   9
7  28   4

판다스(pandas)에서 where() 함수를 사용해서 A 열 값을 변경한다.

# 데이터 프레임 업데이트하기
df['A'] = (df['A'] /2 ).where(df['A'] < 20, df['A'] *2)

# 업데이트 보기
print(df)

     A   B
0   9.0   5
1  44.0   7
2   9.5   7
3   7.0   9
4   7.0  12
5   5.5   9
6  40.0   9
7  56.0   4

If, 열 A에 값이 20보다 작다면 기존에 값에 x2를 하고 업데이트한다.

Else, 나머지는 /2로 나눈다.

Pandas: 문자열에서 판다스 데이터프레임(pandas DataFrame) 생성하기

palefaceman — Fri, 16 Sep 2022 07:47:44 +0900

문자열(string)에서 아래 간단한 코드로 판다스 데이터프레임을 생성할 수 있다.

import pandas as pd
import io

df = pd.read_csv(io.StringIO(string_data),sep=",")

위의 문법은 'string_data'라는 문자열에서 입력된 값(value)으로 판다스 데이터프레임을 생성한다.

아래 예시에서 어떻게 문법을 사용하는 지 알아본다.

예시 1: 콤마로 문자열 값 나눠 데이터 프레임 생성하기

아래 코드에서 문자열(string)에 입력된 값으로부터 어떻게 ','로 구분하여 판다스 데이터프레임을 생성하는지 보여 준다.

import pandas as pd
import io

#define string
string_data="""points, assists, rebounds
5, 15, 22
7, 12, 9
4, 3, 18
2, 5, 10
3, 11, 5
"""

#create pandas DataFrame from string
df = pd.read_csv(io.StringIO(string_data), sep=",")

#view DataFrame
print(df)

   points   assists   rebounds
0       5        15         22
1       7        12          9
2       4         3         18
3       2         5         10
4       3        11          5

생성된 판다스 데이터프레임은 5행, 3열로 구성된다.

예시 2: 세미콜론으로 문자열 값 나눠 데이터 프레임 생성하기

아래 코드에서 문자열(string)에 입력을 ' ; ' 로 구분된 판다스 데이터프레임을 생성한다.

import pandas as pd
import io

#define string
string_data="""points;assists;rebounds
5;15;22
7;12;9
4;3;18
2;5;10
3;11;5
"""

#create pandas DataFrame from string
df = pd.read_csv(io.StringIO(string_data), sep=";")

#view DataFrame
print(df)

   points   assists   rebounds
0       5        15         22
1       7        12          9
2       4         3         18
3       2         5         10
4       3        11          5

그 결과 생성된 판다스 데이터프레임은 5행, 3열로 구성된다.

어떤 문자열이든 구분하여 나누기 싶다면 read_csv() 함수에 sep 인수(argument)를 활용하면 된다.

NumPy: np.linspace 와 np.arange의 차이점

palefaceman — Thu, 15 Sep 2022 09:55:24 +0900

시퀀스(sequence)를 생성하는 NumPy에 linspace와 arange가 가장 널리 사용되는 함수다.

두 함수 사이에 조금 다른 점이 있다.

linspace: 간격의 크기를 결정할 수 있다.
arange: 간격 안에서 생성되는 수의 개수를 결정할 수 있다.

아래 예제를 통해서 함수들이 어떻게 작동하는지 알 수 있다.

예시 1: np.linspace 사용하기

np.linspace()의 함수는 아래 기본 신텍스(syntax)로 구성된다.

np.linspace(start, stop, num,...)

start: 시작하는 수
stop: 마지막 수
num: 생성하는 수

아래 코드에 np.inspace()를 이용해서 0~20까지 11개 변수를 생성하는 코드를 입력했다.

import numpy as np

# 0에서 20사이에 11개의 변수 생성
np.linspace(0,20,11)

array([ 0.,  2.,  4.,  6.,  8., 10., 12., 14., 16., 18., 20.])

그 결과 11개의 변수가 0~20 사이에 동일한 간격(2)으로 생성되었다.

np.linspace() 함수를 이용하면 시작과 마지막 수 사이에 생성하는 변수의 수에 따라 얼마나 나눌지에 자동으로 결정해준다.

예시 2: np.arange 사용하기

np.arange()의 함수는 아래 기본 신텍스(syntax)로 구성된다.

np.linspace(start, stop, step,...)

start: 시작하는 수
stop: 마지막 수
step: 수 간 간격

아래 코드에 np.arange()를 이용해서 0~20 사이에 2의 간격으로 생성하는 코드를 입력했다.

import numpy as np

# 0~20 사이에서 2간격으로 변수 생성
np.arange(0,20,2)

array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

그 결과 0~20 사이에 2 간격으로 변수가 생성되었다.

np.arange() 함수를 이용하면 얼마나 많은 변수를 생성해야 하는지 자동으로 결정해준다.

np.arange() 함수에 'step'에 2 대신에 4를 넣어 주면 거기에 맞춰 생성하는 수를 결정한다.

import numpy as np

#0~20 사이에 4 간격으로 변수 생성
np.arange(0,20,4)

array([ 0,  4,  8, 12, 16])

Numpy mean() vs average(): 차이점

palefaceman — Mon, 29 Aug 2022 00:14:08 +0900

파이썬에서 np.mean(), np.average()로 배열(array)에 평균을 구할 수 있다.

두 함수에서는 작은 차이가 있다.

np.mean(): 산술평균을 계산한다.
np.average(): 가중치가 옵션으로 추가 입력할 수 있어 가중평균을 구할 수 있다.

예시 1: np.mean(), np.average() 가중치 옵션 없이 사용하기

아래의 배열이 있다.

# 배열 생성
data = [1, 4, 5, 7, 8, 8, 10]

np.mean()과 np.average()를 사용하여 평균을 구해본다.

import numpy as np

# 평균 구하기
np.mean(data)

6.142857142857143

# 평균 구하기 2
np.average(data)

6.142857142857143

두 함수가 같은 값을 반환한다.

두 함수 모두 아래와 같은 수식을 통해 반환 값을 계산한다.

평균 = (1+4+5+7+8+8+10)/7 = 6.142857

예시 2: np.average()를 가중치를 넣어 사용하기

다시 한번 배열이 있다.

# 배열 생성
data = [1, 4, 5, 7, 8, 8, 10]

np.average()에 가중치 옵션을 사용하여 가중평균을 구할 수 있다.

import numpy as np

# 가중평균(weighted average) 구하기
np.average(data, weights=(.1, .2, .4, .05, .05, .1, .1))

5.45

가중평균은 5.45을 np.average() 함수를 이용해서 구할 수 있었다.

가중평균(weighted average) = 1*0.1 + 4*0.2 + 5*0.4 + 7*0.05 + 8*0.05 + 8*0.1 + 10*0.1 = 5.45

np.mean() 함수는 가중치를 사용하는 옵션을 제공하지 않으므로 가중평균(wiehgted average)을 구할 수 없다.

NumPy 실행하기: import numpy as np

palefaceman — Tue, 23 Aug 2022 23:45:05 +0900

NumPy는 Numberical python의 약어다. 파이썬 프로그래밍 언어에 만들어진 과학적 컴퓨팅 업무를 할 때 사용하는 라이브러리(library)다.

가장 쉬운 작동 방법은

import numpy as np

import numpy 코드는 파이썬에서 Numpy 라이브러리를 불러오는 명령을 수행한다.

as np 코드는 파이썬에서 Numpy에 np라는 명칭을 부여한다. 그럼으로써, Numpy 함수를 np.function_name으로 사용 할 수 있다. (그렇지 않을 경우 numpy.funciton_name)

Numpy를 improt하고 나면 Numpy에 내장된 함수를 자유롭게 사용가능하다.

Numpy 기본 어레이(array) 작성

Numpy에서 가장 흔히 쓰게될 데이터 타입은 array다.

np.array() 함수로 생성가능하다.

1차원 Numpy array를 보여준다.

import numpy as np

#define array
x = np.array([1,12,14,9,5])

#display array
print(x)

[ 1 12 14  9  5]

#display number of elemetns in array

print(x.size)

5

여러개의 1차원 배열(array)을 만들고 추가 하거나 더할 수 있다.

import numpy as np

#define arrays

x = np.array([1,12,14,9,5])
y = np.array([2,3,3,4,2])

#더하기
x+y

#빼기
x - y

#곱하기

x*y

지출품의서

palefaceman — Sat, 31 Jul 2021 10:14:24 +0900

지출품의서: 예산청구를 하기 위해서 보내는 서식

제출용 보관용 2개를 만들어야 한다.

출저: 블랙러블리의 최강실무 엑셀왕

엑셀에서 결정계수(coefficient of determination) R² 구하기

palefaceman — Sun, 11 Jul 2021 17:08:31 +0900

결정계수(coefficeint of determination)는 R²로 표기되면서 주로 선형 회귀 모델(Linear regression model)이 선형으로 잘 피팅되었는지 나타내는 지표다.

결정계수(coefficeint of determination)의 기술적 의의(意義)는 예측 변수(predictor variable)로 설명할 수 있는 반응 변수(response variable)의 분산(variance)이다.

R²의 범위는 0에서 1이다.

R²가 0일 때는 어떠한 반응 변수(reponse variable)도 예측 변수(predictor variable)로 설명되지 않는다.
R²가 1일 때는 모든 반응 변수(reponse variable)가 예측 변수(predictor variable)로 설명된다.

예: 결정계수(R²) 구하기

아래와 같은 공부 시간에 따른 시험 점수 결과 데이터가 있다.

다음으로 hours를 예측 변수(predictor varaible)로 score를 반응 변수(response variable)로 해서 선형 회귀 모델(simple linear regression model)을 만들어 본다고 가정했을 때 R²값을 찾기 위해서 엑셀에 내장 함수 =RSQ(y, x)을 이용한다.

= RSQ(y,x)

y: 반응 변수(response variable)
x: 예측 변수(predictor varaible)

예로 제시된 데이터에서 72.73%의 반응 변수(reponse variable)가 예측 변수(predictor variable)로 설명될 수 있다.

데이터를 가지고 데이터 분석에서 회귀 분석을 하면 아래와 같은 결과를 출력한다.

결정계수(coefficeint of determination)가 RSQ() 함수를 사용했을 때와 동일하게 0.7273으로 나옴을 알 수 있다.

엑셀에서 Q-Q플롯(Q-Q Plot) 그리기

palefaceman — Wed, 26 May 2021 17:46:40 +0900

Q-Q플롯(Q-Q Plot)은 'quantile-quantile plot'을 의미한다.

Q-Q플롯(Q-Q Plot)은 선택된 데이터가 이론적인 분포를 하고 있는지 파악할 때 쓰인다. 여기서 '이론적인 분포'란 정규분포(normal distribution)를 의미한다.

이번 포스팅에서는 Q-Q플롯(Q-Q Plot)을 만들어본다.

예시: 엑셀에서 Q-Q플롯(Q-Q Plot) 만들기

아래의 단계별로 Q-Q플롯(Q-Q Plot)을 그려본다.

1단계: 데이터 입력

우선 데이터를 오름차순으로 정리를 해야 한다. 위에 데이터는 오름차순으로 정리가 돼있다.

오름차순 정리를 하기 위해서 데이터 > 필터 > 오름차순으로 정렬한다.

2단계: 각 데이터에 순위를 찾는다.

엑셀에서 랭크 함수를 사용해서 데이터별 순위를 찾아낸다.

=RANK(A2, $A$2:$A$11, 1)

3단계: 백분위(percentile)를 찾아낸다.

아래 수식을 사용해서 백분위(percentile)을 찾아낸다.

=(B2-0.5)/COUNT($B$2:$B$11)

4단계: z-점수(z-score)를 구한다.

아래 수식을 사용해서 z-점수(z-score)을 구한다.

=NORM.S.INV(C2)

5단계: Q-Q플롯(Q-Q Plot)을 그린다.

A열에 데이터를 E열에 똑같이 복사한다. 그리고 D열, E열을 선택한다.

삽입 > 차트 > 분산형(X, Y)또는 거품형 차트 삽입에서 분산형을 선택한다.

아래와 같은 차트가 그려진다.

우측 상단에 + 마크를 클릭하고 추세선을 추가해준다.

보기 좋게 꾸며준다.

Q-Q플롯(Q-Q Plot)에 데이터가 45도 정도로 그어진 추세선에 맞아떨어질수록 데이터는 정규 분포(normal distiribution)에 가깝게 분포해있다. 왼쪽에선 아래로, 오른쪽에선 위로 살짝 벗어나 있어서 완전 정규 분포(normal distribution)가 아니다.

Q-Q플롯(Q-Q Plot)은 공식적인 통계 검정은 아니다. 하지만 정규 분포성을 검정할 수 있는 간편한 방법이다.

엑셀에서 Breusch-Pagan 검정(Breusch-Pagan Test) 하기

palefaceman — Tue, 25 May 2021 17:43:15 +0900

Breusch-Pagan 검정(Breusch-Pagan Test)은 회귀분석에서 이분산성(heteroscendasticity)을 확인할 때 사용한다.

이번 포스팅에서 Breusch-Pagan 검정(Breusch-Pagan Test)을 시행해본다.

예시: 엑셀에서 Breusch-Pagan 검정(Breusch-Pagan Test)하기

10명의 농구 선수에 기록이 담긴 데이터가 있다.

다중 회귀분석(multiple linear regression)을 '평가점수(y)'에 대해서, '득점(x1), 도움(x2), 리바운드(x3)'로 한다. 그리고 Breusch-Pagan 검정(Breusch-Pagan Test)을 해서 이분산성(heteroscendasticity)을 확인한다.

1단계: 다중 회귀분석(multiple linear regression)하기

데이터에서 데이터 분석에 들어간다. 만약 없다면 여기서 업로드한다.

데이터 분석을 누르고 회귀 분석을 선택한다. 그리고 설정창이 뜨면 아래와 같이 입력한다.

회귀 분석 결과가 출력된다.

2단계: 잔차(residual)의 제곱값 계산하기

다음으로 예측 변수(predicted value)와 잔차의 제곱(squared residuals)을 각각 구한다. 예측 값(predicted value)을 구하기 위해서 회귀 분석 결과에 사용된 계수(coefficient)를 사용한다.

그리고 드래그해서 아래셀 까지 채워준다.

다음으로, 잔차의 제곱(squared residual)을 구한다.

이 값도 드래그해서 아래 셀 까지 채워준다.

3단계: 잔차의 제곱(squared residual)을 가지고 새로운 다중회귀분석(multiple regression analysis)을 한다.

전에 했던 방법돠 동일하게 다중 회귀분석(multiple linear regression)을 한다. 이번에는 득점(x1), 도움(x2), 리바운드(x3)를 원인 변수(explanatory variables)로, 잔차의 제곱(squared residual)을 반응 변수(reponse variable)로 한다.

4단계: Breusch-Pagan 검정(Breusch-Pagan Test)을 한다.

마지막으로, Breusch-Pagan 검정(Breusch-Pagan Test)을 하여 회귀분석 결과에서 이분산성(heteroscendasticity)을 검정한다.

첫째로, 카이제곱검정 통계량(Chi-Square test statistics)을 구한다.

X²= n*R²[new]

n = 관측수
R² [new](결정계수) = 잔차의 제곱(squared residual)을 사용한 다중회귀 분석에서 R²(결정계수) 값

X²값은 '10 * 0.6000395 = 6.00395'가 나온다.

다음으로, p-값(p-value)을 찾는다. 엑셀에서 카이제곱 검정(Chi-Square test)의 p-값(p-value)을 찾는 함수를 사용한다.

=CHISQ.DIST.RT(test statistic, degrees of freedom)

자유도(degrees of freedom)는 3으로 회귀분석 결과에서 찾을 수 있다.

=CHISQ.DIST.RT(6.00395, 3) = 0.111418.

결과를 출력하면 0.111418로 0.05보다 작지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 회귀분석 결과에서 이분산성(heteroscendasticity)가 있다고 할 통계적 근거가 부족하다.

엑셀에서 회귀분석 표준오차(Standard Error of Regression) 구하기

palefaceman — Tue, 18 May 2021 22:12:07 +0900

선형 회귀 모델을 피팅하면 항상. 아래와 같은 식이 나온다.

Y = β0 + β1X + … + βiX + ϵ

'ϵ'은 오차항이며 X값에 대해 독립적이다.

그러므로, X가 아무리 정교하게 Y를 예측하더라도 항상 우연오차(random error)가 존재하기 때문에 오차항 'ϵ'가 존재한다.

우연오차(random error)에 대한 오차와 피팅에서 나타나는 오차의 분산(dispersion)을 파악하는 방법으로 회귀분석 표준오차(Standard Error of Regression)를 사용한다.

회귀분석 표준오차(Standard Error of Regression)는 잔차(residual)의 표준편차를 측정한다.

이번 포스팅에선 단계별로 회귀분석 표준오차(Standard Error of Regression)를 구한다.

1단계: 데이터 생성하기

아래와 같이 공부 시간 시험 결과, 평균 성적에 대한 12개의 데이터를 입력한다.

2단계: 회귀분석을 한다.

다음으로 데이터 분석에 들어가서 회귀분석을 한다.

데이터 분석이 없다면 여기서 다운 받는다.

데이터 분석을 하고 회귀분석을 선택하면 아래 창이 떠오른다. 그러면 빈칸을 채워준다.

아래와 같은 결과가 프린트된다.

3단계: 회귀분석 표준오차(Standard Error of Regression)를 해석한다.

표준오차(Standard Error)는 회귀분석 결과 출력에서 찾을 수 있다.

표준오차(Standard Error)는 2.79이다.

표준오차(standard error)는 실제 시험 점수와 회귀모델에서 예측되는 점수 사이에 평균 거리다.

실제 시험점수와 회귀모델에서 예측 점수 사이에 값들은 2.79보다 크기도 하고 작기도 하다. 모든 거리에 평균값이 2.79이다. 표준오차(standard error) 값이 작으면 작을수록 피팅이 잘 드러 맞다.

만약에 또 다른 회귀분석을 통해서 피팅을 했더니 표준오차(standard error)가 4.53이었다. 그렇다면 이 모델은 기존 모델보다 더 Y값 예측을 못한다고 할 수 있다.

엑셀에서 분산팽창계수(VIF) 구하기

palefaceman — Sat, 15 May 2021 11:22:28 +0900

회귀분석에서 두 개 이상의 원인 변수(explanatory variables)가 있을 때, 서로의 원인 변수(explanatory variables)가 서로 가깝게 관계되어있는 정도를 다중 공산성(Multicollinearity)이라고 한다.

다중 공산성(Multicollinearity)이 발생하면 결과(y-값)에 주요하게 영향을 미치는 원인 변수(explanatory variable)를 선정하기 어려운 문제가 발생한다. 그래서 회귀분석을 할 때 문제가 생긴다.

두 개 이상의 원인 변수(explanatory variables)에 다중 공산성(Multicollinearity)을 판별하는 방법이 필요하다. 그때 사용하는 방법 분산 팽창 계수(VIF)이다.

분산 팽창 계수(VIF)는 두 변수 간에 상관성(corrleation)과 상관성 정도를 측정한다.

이번 포스팅에서 엑셀에서 분산 팽창 계수(VIF)를 구해본다.

예시: 엑셀에서 분산 팽창 계수(VIF) 구하기

아래에 10명의 농구 선수들에 점수, 득점, 도움, 리바운드 기록이 있다. 여기서 점수를 반응 변수(reponse variable), 득점, 도움, 리바운드를 원인 변수(explanatory variable)로 하여 다중 회귀분석(Mutiple linear regression)을 한다.

1단계: 다중 회귀분석(multiple linear regression)을 한다.

데이터 분석 툴에 들어가서 데이터 분석을 한다.

데이터 분석이 없다면 여기서 다운 받는다.

데이터 분석을 클릭하고 회귀분석을 선택한다.

분석 창에 칸을 아래와 같이 채워 넣는다.

그러면 이와 같은 결과가 프린트된다.

2단계: 각 원인 변수(explanatory variable) 별로 VIF를 계산한다.

3개의 각 원인 변수(explanatory variable), 득점, 도움, 리바운드에 각각의 VIF를 계산한다.

그러기 위해서 하나의 변수를 반응 변수로, 나머지 2개의 변수를 원인 변수로 한 회귀분석을 한다. 예를 들어 득점을 반응 변수(reponse variable)로 하면 도움과 리바운드를 원인 변수(explanatory variable)로 한다.

그러면 이렇게 프린팅 된다.

VIF = 1 / (1- R²)

여기서 결정계수는 0.4331이다.

VIF = 1/(1-0.4331) = 1.76

도움과, 리바운드에 대해 똑같은 분석을 반복 시행한다.

득점: 1.76
도움: 1.96
리바운드: 1.18

해석하기

VIF 값은 항상 1보다 크며, 상한이 없다. VIF 값을 아래 방법으로 해석할 수 있다.

VIF = 1 : 주어진 원인 변수와 그 외 변수들 사이에 상관성이 없다.
1 < VIF ≤ 5 : 주어진 원인 변수와 그 외 변수들 사이에 어느정도 상관성이 있다. 하지만 통계 분석에 영향을 줄 만큼 크지는 않다.
VIF > 5 : 5보다 크다면, 원인 변수와 그외 변수들 간에 상당한 상관성이 있다. 그래서 이 경우 회귀 분석 모델의 계수와 p-값에 대해 신뢰할 수 없다.

예시에서 값은 모두 5 이하로, 여기서 득점, 도움, 리바운드 간에 상이한 상관성이 없다.

엑셀에서 표준화 잔차(Standardized Residuals) 구하기

palefaceman — Thu, 13 May 2021 22:17:50 +0900

잔차(residual)는 관측값과 회귀모델에서 구해진 예측값 사이에 차이 값이다.

잔차(residual) = 관측값(observed value) - 예측값(Predicted value)

'관측값'과 '회귀분석 모델에서 피팅된 값'의 같은 x축에서 세로간격이 잔차(residual)이다.

표준화 잔차(Standardized Residuals)를 이용해서 잔차(residual)중에 이상치(outlier)가 있는지 판별할 수 있다.

ri = ei / s(ei) = ei / RSE√1-hii

ei: i번째 잔차(residual)
RSE: 회귀분석 모델에서 잔차의 표준편차(Residual Standard Error)
hii: 관측값에 레버리지

이번 예시에서는 표준화 잔차(Standardized Residuals)의 절댓값이 3이상 보다 크면 이상치(outlier)로 본다.

아래 단계별로 표준화 잔차(Standardized Residuals)를 구해본다.

1단계: 데이터 입력

데이터를 입력한다.

2단계: 잔차(residual)을 구한다.

데이터 분석에 들어가서 잔차(residual)를 구한다.

만약 데이터 분석이 없다면 여기에서 업로드 한다.

데이터 분석을 클릭하고, 회귀분석을 선택한다. 아래와 같은 창이 뜨면 칸을 채워 넣는다.

각각 x값에 대한 잔차(residual)가 분석되어 나온다.

잔차 열을 복사해서 y값 옆 열(column) 붙여 넣기 한다.

3단계: 레버리지를 구한다.

레버리지(hii) = 1/n +(xi-u)^2/SS

표본에 개수 n
표본의 평균 u
편차의 제곱합 SS

4단계: 표준화 잔차(Standardized Residuals)를 구한다.

마지막으로, 표준화 잔차(Standardized Residuals)를 구한다.

ri = ei / s(ei) = ei / RSE√1-hii

RSE는 회귀분석 결과표에서 확인할 수 있다.

RSE는 4.44을 넣어서 구해본다.

구해본 결과 모든 x값에 대해서 표준화 잔차(Standardized Residuals)는 3을 넘지 않았다. 그러므로 모든 관측치는 이상치(outlier)가 아니다.

때때로 표준화 잔차(Standardized Residuals) 3 대신 2를 넘으면 이상치로 간주하기도 한다. 이는 데이터 분석의 이유와 목적에 따라 달라질 수 있다.

엑셀에서 잔차도(Residual Plot) 그리기

palefaceman — Wed, 12 May 2021 21:53:32 +0900

잔차도(Residual Plot)는 회귀분석 모델에 의해서 구해진 값과, 원래 데이터로 피팅되어 있는 값 사이에 차이값을 그림으로 나타낸다. 이와 같은 그림 분석은 회귀분석 모델이 적합한지 아닌지 판단하기에 좋다.

잔차도(Residual Plot)를 이용하면 heteroscedasticity도 점검해볼 수 있다. heteroscedasticity는 잔차(residual)이나 에러(error)가 불균일하게 변하는 것을 뜻한다. 이렇게 되면 회귀분석에서 구한 방정식의 계수(coefficient)의 분산이 커져서 회귀분석 모델에 신뢰도가 떨어지게 된다.

이번 포스팅에서 엑셀에서 잔차도(Residual Plot)를 그려본다.

엑셀에서 잔차도(Residual Plot) 그리기

단계별로 차례차례 잔차도(Residual Plot)를 그린다.

1단계: 데이터를 입력한다.

예측 변수(predictor variable)을 A2:A13에, 반응 변수(response variable)를 B2:B13에 그린다.

2단계: 분산그래프를 생성한다.

x, y 데이터 범위를 선택하고 삽입 > 차트 > 분산형(X,Y)또는 거품형 차트 삽입에서 분산형을 선택한다.

아래와 같은 차트가 그려진다.

3단계: 차트에서 '추세선'을 추가한다.

차트에서 점을 선택하고 오른쪽 마우스에서 추세선 추가를 선택한다.

추세선 서식에서 수식을 차트에 표시(E)를 선택한다.

차트에 추세선과 방정식이 추가되어 나온다.

4단계: 예측되는 'y' '값을 구한다.

C2칸에 추세선에서 구해진 방정식을 입력하고 'x' 대신에 각행 별로 A열에 값을 입력한다.

5단계: 잔차(residual)를 구한다.

y-y' 을 D열에 입력한다.

6단계: 잔차도(residual pot)를 그린다.

x와 y-y', A열과 D열을 선택하고 삽입 > 차트 > 분산형(X, Y)또는 거품형 차트 삽입에서분산형을 선택한다.

잔차(residual)의 분포가 그려진다. x-축은 'x'값, y-축은 'y-y' '의 잔차값이 분포된다.

보기 좋게 수정한다.

※ x값이 커져나감에 따라, 잔차의 절댓값이 커지는 경향이 보인다면 heteroscedasticity를 의심해볼 수 있다. 하지만 아래에 데이터 잔차도에서는 x 값이 무관하게 잔차가 분포돼있다.

엑셀에서 예측 구간(Prediction Interval) 구하기

palefaceman — Tue, 11 May 2021 21:26:09 +0900

통계에서 선형 회귀분석(simple linear regression)은 변수 x와 y 사이에 관계를 계량화 하는 데 사용한다.

선형 회귀분석(simple linear regression)에서 "최적의 선형 방정식"을 구하게 된다.

ŷ = b0 + b1*x

ŷ: (선형회귀분석 모델에서) 예측되는 반응 변수(response variable)
b0: y-절편
b1: 회귀분석 계수
x: 예측 변수(predictor variable) 값

때때로, 선형회귀분석(simple linear regression)을 통해 얻어진 선형 방정식을 통해 95%의 확률로 실제 모집단에 y값을 추종하는 예측값 'ŷ'의 범위를 구할 수도 있다.

'x'에 예측 구간(Prediction Interval)을 구하는 공식은 아래와 같다.

ŷ0 +/- t [α/2, df=n-2]* s.e.

s.e. = Syx√(1 + 1/n + (x0 – x)²/SSx)

공식이 다소 복잡해 보일 수 있지만, 엑셀에서는 쉽게 구할 수 있다. 아래 예시를 보면서 어떻게 예측 구간(Prediction Interval)이 계산되어지는지 따라가 보자

예시: 엑셀에서 예측 구간(Prediction Interval) 구하기

아래에 입력된 데이터는 15명에 학생에 대한 '공부 시간' vs '시험 점수'에 대한 통계량이다.

여기서 'x0 =3'에 대한 95% 예측 구간(Prediction Interval)을 만들어본다. 다시 말해, 3시간 공부한 학생에 대해서 95%의 확률로 몇 점을 받을 것인가에 대한 예측 가능한 구간을 구해본다.

아래 엑셀 칸에 입력된 데이터들이 어떻게 예측 구간(Prediction Interval)을 구하는지 과정을 보여준다.

x값 3에 대한 95% 예측 구간(Prediction Interval)은 [74.64, 86.90]이다. 공부를 3시간 한 학생이 95%의 확률로 얻을 수 있는 시험 점수에 대한 예측 구간(Prediction Interval)이다.

※ 계산에서 쓰인 함수에 대한 몇 가지 부가 설명

95%의 예측 구간에 대한 t값을 구하기 위해서 t [α/2, df=n-2], α/2 = 0.05/2 = 0.025을 사용했다.
99%의 예측 구간을 구할 시에는 더 넓은 범위를 구할 수 있다.
90%의 예측 구간을 구할 시에는 더 좁은 범위를 구할 수 있다.

=FORECAST()는 'ŷ0'에 예측되어지는 값을 반환한다. 이는 =FORECAST.LINEAR()과 정확히 똑같은 값을 반환한다.

엑셀에서 다항 회귀분석(Polynomial Regression) 하기

palefaceman — Mon, 10 May 2021 22:59:13 +0900

회귀분석은 원인 변수(explnatory variable)와 반응 변수(response variable) 간에 값의 관계를 분석하는 데 사용한다.

회귀분석에서 원인 변수(explnatory variable)과 반응 변수(response variable)의 관계는 대부분에 선형(linear)으로 선형 회귀분석(linear regression)으로 분석한다.

하지만 때때로, 비선형(non-linear) 관계일 때가 있다. 이때는 다항 회귀분석(Polynomial Regression)으로 분석할 수 있다.

이번 포스팅에서 단계별로 엑셀에서 다항 회귀분석(Polynomial Regression)을 해본다.

1단계: 데이터 생성

첫 번째로 데이터를 입력한다.

2단계: 분산형 그래프를 생성한다.

데이터를 선택하고, 삽입> 차트> 분산형(X,Y)또는 거품형 차트 삽입 > 분산형을 선택한다.

분산형을 선택하면 아래와 같이 나온다.

3단계: 추세선을 추가한다.

차트에서 데이터 점을 선택하고 오른쪽 마우스 클릭 > 추세선 추가를 선택한다.

추세선에서 다항식을 선택하고 차수를 3으로 한다.

차트에 추세선 방정식이 나오고, 추세선이 점선으로 그려진다.

4단계: 추세선에 도출된 방정식을 해석한다.

이 예시에 대해서 3차 방정식으로 회귀분석 모델 방정식을 선택했다. 그리고 결과가 아래와 같이 나왔다.

y = -0.1265x³ + 2.6482 x²– 14.238x + 37.213

이 방정식을 이용해서 임의의 원인 변수(explanatory variable) x에 대해, 반응 변수(response variable) y의 값을 도출해낼 수 있다. 예를 들어 x=4 일 때 y는 14.5362다.

y = -0.1265*(4)³ + 2.6482*(4)² – 14.238*(4) + 37.213 = 14.5362

엑셀에서 지수함수 회귀분석(Power Regression) 하기

palefaceman — Sat, 8 May 2021 14:08:46 +0900

지수함수 회귀분석(Power Regression)은 비선형(non-linear) 방정식으로 아래와 같은 형태를 가진다.

y = ax^b

y: 반응 변수
x: 원인 변수
a, b: 회귀 분석 계수(coefficient)로 x, y에 값을 계량치로 나타낸다.

이번 포스팅에서 단계별로 엑셀에서 지수함수 회귀분석(Power Regression)을 해본다.

1단계: 데이터 생성

첫 번째로 데이터를 입력한다.

2단계: y값을 자연로그값으로 변환한다.

옆에 새로운 열(column)에 x, y 값에 대한 자연로그 값을 구한다.

3단계: 지수 회지수 회귀분석(Exponential Regression) 모델에 피팅(fitting)한다.

지수함수 회귀분석(Power Regression)을 하기 위해서 데이터 분석에 들어간다.

데이터 분석 툴이 없다면 여기서 다운로드한다.

데이터 분석을 누르고 회귀 분석을 선택한다.

Y축: Y축에 범위를 입력한다.
X축: X축에 범위를 입력한다.
이름표(L): 체크 표시한다.
출력 범위(Q): 임의의 출력 범위를 지정한다.

확인을 누르면 아래와 같이 결과가 출력된다.

회귀 분석에 F 비(F-value)는 254.2367 그에 상응하는 p-값(p-value)은 4.61*10^-12 으로 매우 작다. 이는 분석한 모델이 사용하기에 타당함을 뜻한다.

다음으로, 계수를 이용해서 회귀 분석 모델에 방정식을 만들 수 있다.

ln(y) = 0.1533 + 1.4344*ln(x)

양변에 e를 씌워서 방정식을 변경한다.

y = e 0.15333 + 1.43439 ln(x)
y = 1.1657* x^(1.43439)

그러면 방정식이 지수 방정식 형태로 변환된다.

이 회귀 분석 모델 방정식을 이용하면 x 값에 대한 y값을 예측할 수 있다. 예를 들어 x=12, y= 41.167이다.

y = 1.1657*(12)^(1.43439) = 41.167

엑셀에서 로그 회귀분석(Logarithmic Regression) 하기

palefaceman — Fri, 7 May 2021 22:26:37 +0900

로그 회귀분석(Logarithmic Regression)은 처음에 빠르게 감소하다가 서서히, 변화가 평탄해지는 경우에 사용하기 적합한 회귀분석법이다. 주로 성장 감소, 자연 부식(decay)등에서 볼 수 있다.

로그 회귀분석(Logarithmic Regression)은 y = a + b*ln(x) 의 수식으로 표현한다.

y: 반응 변수
x: 원인 변수
a, b: 회귀 분석 계수(coefficient)로 x, y에 값을 계량치로 나타낸다.

이번 포스팅에서 단계별로 엑셀에서 로그 회귀분석(Logarithmic Regression)을 해본다.

1단계: 데이터 생성

첫 번째로 데이터를 입력한다.

2단계: y값을 자연로그값으로 변환한다.

옆에 새로운 열(column)에 y값에 대한 자연로그 값을 구한다.

3단계: 지수 회지수 회귀분석(Exponential Regression) 모델에 피팅(fitting)한다.

로그 회귀분석(Logarithmic Regression)을 하기 위해서 데이터 분석에 들어간다.

데이터 분석 툴이 없다면 여기서 다운로드한다.

데이터 분석을 누르고 회귀 분석을 선택한다.

Y축: Y축에 범위를 입력한다.
X축: X축에 범위를 입력한다.
이름표(L): 체크 표시한다.
출력 범위(Q): 임의의 출력 범위를 지정한다.

확인을 누르면 아래와 같이 결과가 출력된다.

회귀 분석에 F 비(F-value)는 828.18 그에 상응하는 p-값(p-value)은 3.7*10^-13 으로 매우 작다. 이는 분석한 모델이 사용하기에 타당함을 뜻한다.

다음으로, 계수를 이용해서 회귀 분석 모델에 방정식을 만들 수 있다.

y = 63.0686 - 20.1987*ln(x)

이 회귀 분석 모델 방정식을 이용하면 x 값에 대한 y값을 예측할 수 있다. 예를 들어 x=12, y= 12.87이다.

y = 63.0686 - 20.1987*ln(12) = 12.87

엑셀에서 지수 회귀분석(Exponential Regression)하기

palefaceman — Thu, 6 May 2021 15:17:08 +0900

지수 회귀분석(Exponential Regression)은 특별한 경우에 사용하기 적합한 회귀분석 법이다.

1. 기하급수적 성장: 처음에 성장이 서서히, 하지만 늘어나는 숫자에 비례해서 인구증가속도가 빨라지는 현상

2. 기하급수적 감소: 처음에 굉장히 빠르게 감소하다가. 나중에 감소 속도가 둔화되는 현상

지수 회귀분석(Exponential Regression)은 y=ab^x의 수식 형태로 표현한다.

y: 반응 변수
x: 원인 변수
a, b: 회귀 분석 계수(coefficient)로 x, y에 값을 계량치로 나타낸다.

이번 포스팅에서 단계별로 엑셀에서 지수 회귀분석(Exponential Regression)을 해본다.

1단계: 데이터 생성

첫 번째로 데이터를 입력한다.

2단계: y값을 자연로그값으로 변환한다.

옆에 새로운 열(column)에 y값에 대한 자연로그 값을 구한다.

3단계: 지수 회지수 회귀분석(Exponential Regression) 모델에 피팅(fitting)한다.

지수 회귀분석(Exponential Regression)을 하기 위해서 데이터 분석에 들어간다.

데이터 분석 툴이 없다면 여기서 다운로드한다.

데이터 분석을 누르고 회귀 분석을 선택한다.

Y축: Y축에 범위를 입력한다.
X축: X축에 범위를 입력한다.
이름표(L): 체크 표시한다.
출력 범위(Q): 임의의 출력 범위를 지정한다.

확인을 누르면 아래와 같이 결과가 출력된다.

회귀 분석에 F 비(F-value)는 204.006, 그에 상응하는 p-값(p-value)은 0.00001945로 매우 작다. 이는 분석한 모델이 사용하기에 타당함을 뜻한다.

다음으로, 계수를 이용해서 회귀 분석 모델에 방정식을 만들 수 있다.

ln(y) = 0.9817 + 0.2041(x)

양변에 e를 씌워 변환하면

y = 2.6689 * 1.2264x

이 회귀 분석 모델 방정식을 이용하면 x 값에 대한 y값을 예측할 수 있다. 예를 들어 x=14, y= 46.47이다.

y = 2.6689 * 1.226414 = 46.47

엑셀에서 3차회귀분석(Cubic Regression) 하기

palefaceman — Tue, 4 May 2021 18:12:30 +0900

3차 회귀분석(cubic regression)은 원인 변수(predictor variable)와 반응 변수(response variable) 사이에 비선형(non-linear) 관계일 때 사용하는 회귀분석 방법이다.

아래 차례차례 단계로 3차 회귀분석(cubic regression)을 시행해본다.

1단계: 데이터 생성

임의의 데이터 x, y 값을 입력한다.

2단계: 큐빅회귀분석(Cubic Regression)을 한다.

엑셀에 내장된 함수를 이용해서 3차 회귀분석(Cubic Regression)을 한다.

=LINEST(B2:B13, A2:A13^{1,2,3})

아래와 같은 값으로 출력된다.

반환된 계수들을 이용해서 3차 회귀 모델을 만들 수 있다.

ŷ = -32.0118 + 9.832x – 0.3214 x²+ 0.0033 x³

3단계: 시각화한다.

분산형 그래프로 데이터를 시각화한다.

삽입 > 차트 > 분산형(X, Y)또는 거품형 차트 삽입에서 분산형을 선택한다.

우측 '+'를 클릭하고 추세선에서 기타 옵션을 클릭한다.

추세선 옵션에서 다항식을 선택하고 차수를 3으로 한다.

아래와 같은 그래프로 나온다.

추세선 서식에서 나온 방정식의 계수와 LINST() 함수를 통해 구한 계수와 일치해야 한다.

엑셀에서 이차회귀분석(Quadratic Regression) 하기

palefaceman — Mon, 3 May 2021 22:17:13 +0900

회귀분석(regression)은 서로 다른 두 변수 간에 관계를 알아보기 위해서 사용한다. 가장 흔한 분석 방법은 선형 회귀(linear regression)로 원인 변수(explanatory variable)와 반응 변수(response variable)에 관계가 선형에 있을 때 사용한다.

선형에 관계에 원인 변수(explanatory variable)값이 증가하면, 반응 변수(response variable) 값도 따라서 증가하고, 또 감소하면 따라서 감사하게 된다.

하지만, 때때로 원인 변수(explanatory variable)와 반응 변수(response variable)에 관계가 비선형(non-linear) 관계에 있을 수 있다. 비선형 관계 중 가장 대표적인 예가 이차 관계(quadratic relationship)이다. 이차 관계(quadratic relationship)는 U자에 커브를 그리거나, 뒤집어진 U자 커브를 그린다.

이차 관계(quadratic relationship)에서 처음에는 원인 변수(explanatory variable)값이 증가하면, 반응 변수(response variable)도 증가하다가. 어떤 지점을 지나는 시점에서 원인 변수(explanatory variable)값이 증가하면, 반응 변수(response variable)는 감소하게 된다. 또는 원인 변수(explanatory variable)값이 증가하면, 반응 변수(response variable)는 감소하다가, 어떤 지점을 지나는 시점에서 증가하게 된다.

예를들어 직장에서 근무 시간과 직장에 만족도 사이에 관계를 구하고자 할 때 이차 회귀분석(Quadratic Regression)을 할 사용할 수 있다. 아마 일정 구간까지는 일을 하면서 만족도가 올라갈 것이다. 하지만 일정 시간을 지나게 되면, 피로감이 몰려오고 그때부터는 시간이 지날수록 만족도가 감소할 것이다. 이러한 경우 선형 회귀(linear regression)보다 이차 회귀분석(Quadratic Regression)이 더 유효한 분석 모델이다.

이차회귀분석(Quadratic Regression)을 시행해본다.

엑셀에서 이차회귀분석(Quadratic Regression) 하기

근무 시간과 직장에 만족도에 대한 16명에 직원에 대한 설문 데이터가 아래와 같이 나와있다. (직장 내 만족도는 0-100)

1단계: 분산형 그래프 그려보기

삽입 > 차트 > 분산형(X,Y) 또는 거품형 차트 삽입에서 분산형을 선택한다.

이와 같은 '근무시간'과 '만족도'는 비선형(non-linear)이면서, 뒤집어진 U 자형 관계임을 확인할 수 있다. 그러므로 이차 회귀분석(Quadratic Regression) 모델로 분석하는가 적절한 예시다.

2단계: 원인 변수(explanatory variable)에 대한 제곱 값을 입력한다.

하나에 열(column)을 더 만들어서 원인 변수(explanatory variable)에 대한 제곱 값을 입력한다.

C열을 선택하고 ctl++ 키를 눌러서 하나열을 왼쪽에 추가한다. 그리고 제곱 값을 각 칸에 입력한다.

데이터 분석 툴에 들어간다.

데이터 분석 툴이 없다면 여기서 다운 받는다.

데이터 분석 툴에 들어가서 회귀 분석을 클릭한다.

그리고 아래와 같이 Y와 X 값을 넣고, 이름표에 체크표시한 후, 출력 셀을 지정해준다.

확인을 누르면 아래와 같은 분석 결과가 출력된다.

3단계: 결과 해석하기

이제 주요 결과물들을 하나하나 해석해본다.

결정계수(R²): 0.9092, R²라고 쓰고, 결정계수(coefficient of determination)이다. 이 값은 원인 변수(explanatory variable)로 설명 가능한 반응 변수(response variable)의 변동성을 가리킨다. 예를 들어 지금 예시에서, 90.92%의 '만족도(y)'에 변동성이 '근무 시간(x)'과 '근무 시간^2(x^2)'로 설명 가능하다. 1로 갈수록 더 정확한 예측이 가능해진다.

표준오차(standard error): 5.366, 이 값은 관측값과 예측 모델 값 사이에 오차들에 평균이다. 예를 들어, 지금에 이차 회귀분석 모델에서 관측된 만족도와 생성된 이차회귀분석 모델의 값 사이에 오차는 평균 9.159 만큼 떨어져 있다.

F 비: 65.09, 이차회귀분석 모델의 F 통계량(F statistics)이다. 이 값은 회귀 모델이 값을 예측할만한지 아닌지 나타낸다. 여기서 F 통계량은 65.09 그리고 상응하는 p-값(p-value)은 < 0.0001보다 작다. 설정했던, 유의 수준에 알파 값 0.05 보다 매우 작기 때문에 회귀 모델은 유의미하며 사용 가능하다. 회귀 제곱 평균(MSR) / 잔차 제곱 평균(MSE), 5898.85/90.62 = 65.0

계수(Coefficients): 계수는 회귀 모델 방정식에 필요한 계수를 제공한다. 지금에 예제에서 선형 모델에 값은

y = b0 + b1*x1 + b2*x1 ²

지금에 예에서 회귀 모델 방정식은

만족도 = -30.252 + 7.173*(근무 시간) - 0.106*(근무 시간) ²

위 방정식으로 근무시간에 대해, 얼마만큼 만족도가 나오는지 예측할 수 있다. 예를 들어 30시간 근무했을지 만족도는 88.649가 나온다.

만족도 = -30.252 + 7.173(30) -0.106(30) ²² = 88.649

엑셀에서 다중 선형회귀분석(Multiple Linear Regression) 하기

palefaceman — Sun, 2 May 2021 16:56:18 +0900

다중 선형 회귀분석(Multiple Linear Regression)은 두 개 이상의 원인 변수(Explanatory variable)와 반응 변수(reponsive variable) 사이에 관계를 알아볼 때 사용하는 분석이다.

이번 포스팅에서 엑셀에서 다중 선형회귀분석(Multiple Linear Regression)을 시행해본다.

만약에 원인 변수(explanatory variable)가 하나가 있다면 선형 회귀분석(simple Linear regression)을 한다.

예시: 엑셀에서 다중 선형회귀분석(Multiple Linear Regression)하기

학생들의 공부시간과 지난 기출문제가 시험 성적과 어떤 관계가 있는 파악하고 싶다. 그래서 '공부시간'과 '기출문제'를 원인 변수(explanatory variable)로, '시험 성적'을 반응 변수(reponsive variable)로 해서 다중 선형회귀분석(Multiple Linear Regrsesion)을 시행한다.

엑셀에서 아래단계별로 따라가면서 다중 선형회귀분석(Multiple Linear Regrsesion)을 한다.

1단계: 데이터 입력

공부시간, 기출문제 수, 시험점수에 데이터를 엑셀에 입력한다.

2단계: 다중 선형회귀분석(Multiple Linear Regression) 하기

데이터 > 데이터분석에 들어간다. 데이터 분석 툴이 없다면 업로드한다.

데이터 분석 툴 업로드하기

데이터 분석 창에서 회귀분석을 선택한다.

y축 범위에는 반응 변수(reponsive variable), '공부시간', '기출시험 수'를 넣는다. 넣는다.
x축 범위에 원인 변수(explanatory variable)를 넣는다.
Labels 카네 체크 표시한다. 선택범위에 제목으로 첫 번째 칸은 데이터에서 제외된다.
출력 범위에 임의의 셀을 지정하고 확인을 한다.

아래와 같은 다중 선형 회귀분석(Multiple Linear Regression) 결과를 출력받을 수 있다.

3단계: 결과해석하기

이제 주요 결과물들을 하나하나 해석해본다.

결정계수(R²): 0.734, R²라고 쓰고, 결정계수(coefficient of determination)이다. 이 값은 원인 변수(explanatory variable)로 설명 가능한 반응 변수(response variable)의 변동성을 가리킨다. 예를 들어 지금 예시에서, 73.40%의 '시험 성적(y)'에 변동성이 '공부 시간(x1)'과 '기출문제 수(x2)'로 설명 가능하다. 1로 갈수록 더 정확한 예측이 가능해진다.

표준오차(standard error): 5.366, 이 값은 관측값과 선형 모델 값과의 오차들에 평균이다. 예를 들어, 지금에 선형 모델에서 관측된 시험 점수와 생성된 선형 모델 값 사이에 오차는 평균적으로 5.366 떨어져 있다.

F 비: 23.46, 선형 모델의 F 통계량(F statistics)이다. 회귀 제곱 평균(MSR) / 잔차 제곱 평균(MSE), 675.378/28.791 = 23.46

Significance F: 0.0000129, F 통계량에 상응하는 p-값(p-value)다. 이 값은 선형 모델이 통계적으로 타당한지 나타낸다. 한 마디로, 원인 변수(explanatory variable)가 반응 변수(reponse variable)와 통계적으로 유의미한 상관성이 있는지 나타낸다. 지금에 예제에서 p-값(p-value)은 0.05보다 작다. 그러므로 '공부 시간', '기출문제 수'와 '시험 점수'간에는 유의미한 상관관계가 있다.

P-값(P-value): 각 원인 변수(explanatory variable)의 p-value는, 각 원인 변수(explanatory variable)가 통계적으로 타당한지 검정해준다. '공부 시간'에 대한 p-값(p-value)은 0.00001로 유의 수준 알파 값: 0.05보다 작으므로 유의미한 지표다. 그에 반해, '기출문제 수'에 대한 p-값(p-value)은 0.52로 0.05보다 크기 때문에 통계적으로 유의미한 지표가 아니다. 그래서 '기출문제 수'를 원인 변수(explanatory variable)에서 제외하는 것이 타당하다.

계수(Coefficients): 계수는 선형 모델링을 위한 방정식에 필요한 계수를 제공한다. 지금에 예제에서 선형 모델에 값은

시험 점수 = 67.67 + 5.5557*(공부시간)

시험 성적은 공부시간당 평균 5.5557점씩 증가한다. 그리고 선형 모델에서 '공부 시간'이 0시간으로 갈 때 받게 될 최저 시험 점수는 67.67점이다. 단, 여기서 '기출문제(x2)'는 고정되었다고 가정한다. 예를 들어 A, B 모두 동일한 숫자에 기출문제를 풀었고 그리고 A가 B보다 한 시간 더 공부했다면, A는 5.5557 높은 점수를 받을 것이다.

다중 선형 회귀분석(Multiple Linear Regression)로 선형회귀 방정식: 두 개의 계수(coefficient)를 모두 이용해서 다중 회귀모형의 방정식을 만들 수 있다.

시험 점수 = 67.67 + 5.56*(공부시간) - 0.60*(기출문제 수)

그리고 회귀모형 방정식을 이용해서, 한 학생이 공부시간과 기출문제 수를 가지고 받을 시험 점수를 예측할 수 있다. 예를 들어, '공부 시간 = 3시간', '기출문제 수 = 1' 였다면 예상되는 시험 점수는 83.75다.

시험 점수 = 67.67 + 5.56*(3) – 0.60*(1) = 83.75

하지만 '기출문제 수(x2)'는 통계적으로 유의미한 변수가 아니었기 때문에 회귀모형 방정식에 추가된다고 해서 추정 값에 정확도가 증가하진 않는다. 이 경우, '공부 시간'을 단일 변수로 단순 선형 회귀분석(simple Linear Regreesion)을 할 수 있다.

엑셀에서 선형회귀분석(Simple Linear Regression) 하기

palefaceman — Sat, 1 May 2021 20:26:49 +0900

선형 회귀분석(simple linear regression)은 원인 변수(Explanatory variable)와 반응 변수(response variable) 사이에 관계를 파악하는 데 사용하는 분석이다.

이번 포스팅에서 엑셀에서 선형회귀분석(simple linear regression)을 시행해본다.

예시: 엑셀에서 선형회귀분석(linear regression)하기

학생들의 공부시간과 시험점수에 상관관계를 파악하고 싶다. 그래서 공부시간을 원인 변수(explanatory variable)로 시험성적을 반응 변수(response variable)로 해서 선형 회귀분석(simple linear regression) 시행한다.

엑셀에서 아래단계별로 따라가면서 선형 회귀분석(simple linear regression)을 한다.

1단계: 데이터 입력

공부시간과, 시험점수 데이터를 엑셀에 입력한다.

2단계: 데이터를 시각화한다.

선형 회귀분석(simple linear regression)을 하기에 앞서, 분산 그래프(scatterplot)를 그려보면 구하고자 하는 두 변수간 관계를 시각적으로 대략 가늠해볼 수 있다.

두 데이터를 선택하고, 삽입 > 차트 > 분산형(X, Y)또는 거품형 차트 삽입에서 분산형 클릭한다. 자동으로 아래와 같은 그래프가 나온다.

공부시간은 x축, 시험점수는 y축에 나온다. 그리고 두 변수 간에 대략적 선형 관계를 눈으로 확인할 수 있다. 공부 시간 x축이 늘어 남에 따라 시험 점수 y축도 올라가고 있다.

두 변수간에 선형 관계성에 대해 선형 회귀분석(simple linear regression)을 하여 관계를 계량적으로 분석한다.

3단계: 선형회귀분석(simple linear regression) 하기

데이터 > 데이터분석에 들어간다. 데이터 분석 툴이 없다면 업로드한다.

데이터 분석 툴 업로드하기

데이터 분석 창에서 회귀분석을 선택한다.

y축 범위에는 반응 변수(reponsive variable)를 넣는다.
x축 범위에 원인 변수(explanatory variable)를 넣는다.
Labels 카네 체크 표시한다. 선택범위에 제목으로 첫 번째 칸은 데이터에서 제외된다.
출력 범위에 임의의 셀을 지정하고 확인을 한다.

아래와 같은 선형 회귀분석(simple linear regression) 결과를 출력받을 수 있다.

4단계: 결과 해석하기

이제 주요 결과물들을 하나하나 해석해본다.

결정계수(R²): 0.7273, R²라고 쓰고, 결정계수(coefficient of determination)이다. 이 값은 원인 변수(explanatory variable)로 설명 가능한 반응 변수(response variable)의 변동성을 가리킨다. 예를 들어 지금 예시에서, 72.73%의 '시험 성적(y)'에 변동성이 '공부 시간(x)'으로 설명 가능하다. 1로 갈수록 더 정확한 예측이 가능해진다.

표준오차(standard error): 5.2805, 이 값은 관측값과 선형 모델 값과의 오차들에 평균이다. 예를 들어, 지금에 선형 모델에서 관측된 시험 점수와 생성된 선형 모델 값 사이에 오차는 평균적으로 5.2805점 떨어져 있다.

F 비: 47.9952, 선형 모델의 F 통계량(F statistics)이다. 회귀제곱평균(MSR) / 잔차제곱평균(MSE), 35.308/0.73569 = 47.9952

Significance F: 0.00000178, F 통계량에 상응하는 p-값(p-value)다. 이 값은 선형 모델이 통계적으로 타당한지 나타낸다. 한 마디로, 원인 변수(explanatory variable)가 반응 변수(reponse variable)와 통계적으로 유의미한 상관성이 있는지 나타낸다. 지금에 예제에서 p-값(p-value)은 0.05보다 작다. 그러므로 '공부 시간'과 '시험 점수'간에는 유의미한 상관관계가 있다.

계수(Coefficients): 계수는 선형 모델링을 위한 방정식에 필요한 계수를 제공한다. 지금에 예제에서 선형 모델에 값은

시험 점수 = 67.16 + 5.2503*(공부시간)

시험 성적은 공부시간당 평균 5.2503점씩 증가한다. 그리고 선형 모델에서 '공부 시간'이 0시간으로 갈 때 받게 될 최저 시험 점수는 67.16점이다.

구해진 선형 모델을 가지고 임의의 공부시간 a에 대해서 예상되는 시험 점수 b를 구할 수 있다. 예를 들어 3 시간 공부를 한 학생의 기대되는 예상 점수는 82.91이다.

엑셀에서 크래머 V 계수(Cramer's V) 구하기

palefaceman — Fri, 30 Apr 2021 18:17:09 +0900

크래머 V 계수(Cramer's V)는 두 이산형 변수(nomial variables)에 대한 관계를 측정하는 데 사용한다.

크래머 V 계수(Cramer's V)는 0 - 1에 값을 가진다.

0: 두 이산형 변수(nomial variables)간에 아무런 관련성도 없다.
1: 두 이산형 변수(nomial variables)간에 서로 강한 관련성이 있다.

크래머 V 계수(Cramer's V) = √(X²/n) / min(c-1, r-1)

X2: 카이제곱 통계량
n: 표본 크기
r: 행의 수
c: 열의 수

이번 포스팅에서 어떻게 엑셀에서 분할표(contingency table)에 쓰일 크래머 V 계수(Cramer's V) 구하는지 알아본다.

예시1: 2x2 표에서 크래머 V 계수(Cramer's V)

주입식 방법과, 학생들이 서로 토론하는 두 가지 수업을 다르기 진행한 후 시험을 처서 통과하는 학생들에 숫자를 알아보았다.

아래 표는 주입식 방법과 토론 수업에서 시험을 통과한 학생수와 통과하지 못한 학생수를 기록해놓았다.

아래 테이블에서 크래머 V 계수(Cramer's V)를 구하는 과정을 정리해 놓았다.

우선 카이제곱 통계량(Chi-Square statistiscs)을 구한다. 다음으로 행과 열의 수중 최솟값을 구하고, 표본 크기를 구한다. 그리고 크래머 V 계수(Cramer's V) 공식에서 크래머 V 계수(Cramer's V)를 구한다.

이런 결과가 나온다.

크래머 V 계수(Cramer's V)는 0.1617로 나왔다.

아래표에서 크래머 V 계수(Cramer's V)가 작은지, 중간인지, 큰지 결정한다. 자유도는 1, 0.1617을 표에서 찾으면 크래머 V 계수(Cramer's V)가 작다고 할 수 있다.

그러므로, 시험을 통과하는 경우에 주입식 방법과 토론식 방법에 아주 작은 관계만 있다.

※ 카이제곱 검정(Chi-Square Test) 관련 포스팅

엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test) 하기

엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence) 하기

엑셀에서 피셔 정확 검정(Fisher’s Exact Test) 하기

엑셀에서 피셔 정확 검정(Fisher's Exact Test) 하기

palefaceman — Thu, 29 Apr 2021 15:20:10 +0900

피셔 정확 검정(Fisher's Exact Test)은 두 분류의 변수간 유의미한 상관성이 있는지 판별하는 데 사용한다.

피셔 정확 검정(Fisher's Exact Test)은 카이제곱 독립성 검정(Chi-Square Test of Independence)의 대체 방법으로 하나 이상의 셀에 관측수가 5 이하 일 때 사용한다.

엑셀에서 피셔 정확 검정(Fisher's Exact Test)을 시행 해본다.

예시: 엑셀에서 피셔 정확 검정(Fisher's Exact Test) 하기

성별과 정치성향에 유의미한 상관성이 있는지 알아보고 싶다. 그래서 500명의 투표자를 무작위로 선별해서 정치성향에 대해 물어봤다. 그리고 결과를 아래 테이블로 정리했다.

성별과 정치성향의 두 분류가 서로 유의미한 상관성이 있는지 검정하기 위해서 피셔 정확 검정(Fisher's Exact Test) 시행한다.

=HYPGEOM.DIST(sample_s, number_sample, population_s, number_pop, cumulative)

sample_s = 표본에서 관측수
number_sample = 표본의 크기
population_s = 모집단(총계)에서 관측수
number_pop = 모집단(총계)의 크기
cumulative = TRUE: CDF, 누적 분포 함수, FALSE: PMF, 확률 함수, 여기에서는 목적에 맞게 'TRUE'값을 사용한다.

함수에 상수를 입력하기 위해서, 4개의 셀에서 하나의 셀만 선택한다. 하지만 총계의 값들은 상응하는 동일한 값을 사용한다.

이제 엑셀에서 구해본다.=HYPGEOM.DIST(4개 중 1셀 값, 열에 총 관측수, 행에 총 관측수, 전체 크기, TRUE)

단측(one-tailed)의 p-값(p-value)은 0.0812

p-값(p-value)이 0.05보다 작지 않으므로 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 성별과 정치성향에 관계에 유의미한 상관성이 있다고 할 수 없다. 두 변수는 서로 간 독립적(independent)이다.

양측(two-taied) p-값(p-value)도 찾을 수 있다.

우선, 관심 있는 관측값을 선택하고 확률을 구한다.=HYPGEOM.DIST(4개 중 1셀 값, 열에 총 관측수, 행에 총 관측수, 전체 크기, TRUE)그리고, 1 - 관심 있는 관측값(전체 확률 - 아닐 확률)을 구하고 두 값을 합한다.=1- HYPGEOM.DIST(정해진 셀에 같은 열에셀 값 외에 값, 열에 총 관측수, 행에 총 관측수, 전체 크기, TRUE)

양측(two-tailed)의 p-값(p-value)은0.11524

※ 카이제곱 검정(Chi-Square Test) 관련 포스팅

엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test) 하기

엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence) 하기

엑셀에서 크래머 V 계수(Cramer’s V) 구하기

엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence) 하기

palefaceman — Wed, 28 Apr 2021 17:19:42 +0900

독립성 카이제곱 검정(Chi-Square Test of Independence)은 두 변수 간에 유의미한 상관성이 있는지 없는지 결정할 때 사용한다.

이번 포스팅은 엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence)을 시행한다.

예시: 엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence)하기

차례차례 단계별로 독립성 카이제곱 검정(Chi-Square Test of Independence)을 시행해서, 성별과 정치성향에 상관관계를 파악해보자.

1단계: 가정 설정한다.

독립성 카이제곱 검정(Chi-Square Test of Independence)을 하기 위해서 가설을 설정한다.

H0: 성별과 정치성향은 관계없다(독립적이다.)
H1: 성별과 정치성향은 관계있다.(독립적이지 않다.)

2단계: 예상치 구하기

분할표(contingency table)에 아래에 공식을 이용해서 각 셀에 예상치(expexted value)를 구한다. 예상치 = (행의 합 * 열의 합) / 테이블 합.

예를 들어, 남자이면서 보수 지지자들에 예상치는 (230*250)/500 = 115

위 과정을 반복해서 예상치 분할표(contingency table) 칸을 채운다.

3단계: 각 셀마다 (O-E) ²/E 값을 구한다.

다음으로 각 셀마다 (O-E)2 / E 구한다.

O: 관측치
E: 예상치

예를들어, 남성이면서 보수성향이 사람의 값은 (120-115) ²/115 = 0.2174

위 과정을 반복해서 예상치 분할표(contingency table) 칸을 채운다.

4단계: 검정 통계량 X²값을 구한다. 그리고 검정 통계량에 상응하는 p-값(p-value)을 구한다.

검정 통계량 X²값은 마지막으로 만든 테이블에 값들에 합으로 구한다.

검정 통계량 X²에 상응하는 p-값(p-value)은 엑셀에 =CHISQ.DIST.RT(x, deg_freedom) 내장 함수로 구한다.

=CHISQ.DIST.RT(x, deg_freedom)

x: 검정 통계량 X²
deg_freedom: 자유도(#행-1) * (#열-1)

검정 통계량 X²은 0.8640, 상응하는 p-값(p-value)은 0.649198이다.5단계: 검정량을 해석한다.p-값(p-value)은 0.05보다 작지 않으므로 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 성별과 정치성향에 관계에 유의미한 상관성이 있다고 할 수 없다. 두 변수는 서로 간 독립적(independent)이다.

※ 카이제곱 검정(Chi-Square Test) 관련 포스팅

엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test) 하기

엑셀에서 피셔 정확 검정(Fisher’s Exact Test) 하기

엑셀에서 크래머 V 계수(Cramer’s V) 구하기

엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)하기

palefaceman — Tue, 27 Apr 2021 16:38:24 +0900

카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)은 주어진 데이터 분포가 예상되는 분포에 따르는지/아닌지 검증할 때 사용한다.

이번 포스팅에서 엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)을 실행해본다.

예시: 엑셀에서 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)하기

한 PC방 주인이 매주 똑같은 수에 손님이 온다고 했다. 이 가정을 검정해보자. 일주일간 온 손님 수를 관찰했다.

월	화	수	목	금
50	60	40	47	53

단계별로 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)을 통해서 PC방 주인의 말이 타당한지 판단해본다.

1단계: 데이터 입력

'매주 같은 수에 고객이 온다.' 라는 가정을 검증한다. 관측치는 5일 중에 250명이 왔다. 매일 50명이 온다면, 매주 똑같이 250명이 온다. 예측치는 50, 관측치는 관측된 값을 요일별로 입력한다.

2단계: 관측값과 예상값에 차이를 구한다.

카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)의 통계량은 아래 식으로 구한다.

X²= Σ(O-E)^2 / E

Σ: 합
O: 관찰 값
E: 예상치

엑셀에서 (O-E)2 / E 입력해서 검정 통계량(test statistiscs)을 구한다.

3단계: 카이제곱 적합도 검정(Chi-Square Test)의 통계량을 구하고, 상응하는 p-값(p-value) 구한다.

Goodness-of-fit

마지막으로 카이제곱 적합도 검정(Chi-Square Goodness-of-fit Test)의 통계량을 구한다. 그리고 그에 상응하는 p-값(p-value)을 구한다.

=CHISQ.DIST.RT(X², df)는 카이제곱 분포(Chi-Square distribution)의 오른쪽 꼬리 확률 값을 반환한다. 입력 상수 X² 는 구해진 검정 통계량, 자유도(df)는 관측수-1이다.

4단계: 결과 해석하기

X²은 4.36이다. 그리고 그에 상응하는 p-값(p-value)은 0.3595다. 이 p-값(p-value)은 0.05보다 크지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 관측치는 예상치와 다르다고 할만한 충분한 근거가 없다. 결과적으로 PC방 사장이 말한 매주 같은 수에 손님이 온다는 말은 틀린 말이라고 할 수 없다.

※ 카이제곱 검정(Chi-Square Test) 관련 포스팅

엑셀에서 독립성 카이제곱 검정(Chi-Square Test of Independence) 하기

엑셀에서 피셔 정확 검정(Fisher’s Exact Test) 하기

엑셀에서 크래머 V 계수(Cramer’s V) 구하기

엑셀에서 더빈-왓슨 검정(Durbin-Watson Test)하기

palefaceman — Mon, 26 Apr 2021 22:05:24 +0900

선형 회귀분석(linear regression)에 핵심 전제는 오차항(residuals)이 서로 독립적이어야 한다는 것이다.

오차항(residuals)이 독립인지 확인하는 방법 중, 더빈-왓슨 검정(Durbin-Watson Test)이 있다. 더빈-왓슨 검정(Durbin-Watson Test)을 통해서 자기 상관(autocorrelation)에 대해서 검정할 수 있다.

더빈-왓슨 검정(Durbin-Watson Test)은 아래의 귀무가설(null hypothesis)을 가진다.

귀무가설(null hypothesis): H0 = 오차항(residuals) 간에 관계는 없다.
대립가설(alternative hypothesis): Ha = 오차항(residuals) 간에 자기 상관(autocorrelation)이 있다.

엑셀에서 단계별로 더빈-왓슨 검정(Durbin-Watson Test)을 실행해본다.

1단계: 데이터 입력

우선 다중 선형회귀모델(multiple linear regression model) 분석을 하기 위한 데이터를 입력한다.

2단계: 다중 선형회귀모델(multiple linear regression model) 분석을 한다.

y를 반응변수(reponse variables)로, x1, x2를 원인 변수(predictor variables)로 해서 분석한다.

다중 선형회귀모델(multiple linear regression model) 분석을 하기 위해서 데이터 분석에 들어간다. 만약 데이터 분석이 업로드되지 않았다면 업로드하고 다시 돌아온다.

데이터 분석 툴 업로드하기

데이터 분석 툴에서 회귀분석(regression)을 클릭하고, x,y값을 입력해준다.

확인을 누르면 아래와 같은 분석 결과를 출력한다.

3단계: 더빈-왓슨 검정(Durbin-Watson Test) 하기

더빈-왓슨 검정(Durbin-Watson Test)의 통계량은 'd',로 표기한다. 그리고

이와 같은 공식으로 구해진다.

T: 관찰수
et: 회귀분석 모델의 t 번째 오차항(residual)

엑셀에서 더빈-왓슨 검정(Durbin-Watson Test)의 통계량 d를 구하기 위해서 아래 공식을 사용할 수 있다.

검정 통계량(test statistiscs) d는 1.3475

더빈-왓슨 검정(Durbin-Watson Test)의 통계량 d가 유의미한지 검정하기 위해서 더빈-왓슨 표(Durbin-Watson Table)를 이용한다.

알파 값 0.05, 관측수(n) =13, 독립변수(k) =2의 회귀모델(regression model)에 대응하는 값을 더빈-왓슨 표(Durbin-Watson Table)에서 찾으면

하한 값: 0.86
상한 값: 1.53

검정 통계량은 1.3475로 범위 안에 포함되고 있으므로, 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 오차항(residuals)은 아무런 관련 없이 독립적이다.

엑셀에서 신뢰구간(Confidence Interval) 구하기

palefaceman — Sun, 25 Apr 2021 15:23:47 +0900

신뢰구간(Confidence Interval) 안에 값은 모수(population parameter)를 포함하고 있다.

신뢰구간(confidence interval)은 아래에 공식으로 계산한다.

신뢰구간(Confidence Interval) = (point estimate) +/- (critical value)*(표준 오차)

위의 공식은 신뢰구간(confidence interval)의 상한 값(uppter bound)과 하한 값(lower bound)을 구한다.

어떻게 신뢰구간(confidence interval)을 구하는지 단계별로 알아본다.

1. 평균의 신뢰구간(confidence interval)

2. 평균차이의 신뢰구간(confidence interval)

3. 비율의 신뢰구간(confidence interval)

4. 비율차이의 신뢰구간(confidence interval)

예시 1: 평균의 신뢰구간(confidence interval)

평균의 신뢰구간(confidence interval)은 모집단(population)의 평균(mean)을 포함하는 구간에 범위다.

신뢰구간(confidence interval) = x +/- z*(s/√n)

x: 표본 평균
z: z-값
s: 표본 표준편차
n: 표본 크기

예를들어, 해양 생물학자는 관찰 중인 바다거북 무리 중에 무작위로 25마리를 뽑아 무게의 평균과 표준편차를 구했다.

표본크기: n= 25
표본 평균: x= 300
표본 표준편차: s= 18.5

평균의 신뢰구간(confidence interval) 95%을 어떻게 구하는지 아래에 엑셀 시트에서 보여준다. 95%에 대응하는 z-값은 1.96이다. 신뢰구간에 따른 z-값은 표를 보고 구한다.

바다거북 무게 평균(mean)의 95% 신뢰구간(confidence interval)은 [292.75, 307.25]이다.

즉 표본의 평균이 292.75와 307.25 사이에 있으면 95%의 확률로 모집단(population)의 평균을 대표할 수 있다.

예시 2: 두 집단의 평균 차의 신뢰구간(confidence interval)

두 집단의 평균 차의 신뢰구간(confidence interval)은 두 모집단(population) 사이에 평균(mean)의 차이를 포함하는 구간의 범위다.

신뢰구간(confidence interval) = (x1–x2) +/- t*√((sp²/n1) + (sp²/n2))

x1, x2:
t: 신뢰 수준과 자유도(n1+n2-2)에 대한, t-기각치(t-critical)
sp²: 합동 분산(pooled variance), ((n1-1) s1 ² + (n2-1) s2 ²) / (n1+n2-2)
n1, n2: 표본 1, 표본 2의 크기

예를 들어, 해양 생물학자는 관찰 중인 두 바다거북 무리 중에서 각각 무작위로 15마리를 뽑아 무게의 평균(mean)과 표준편차(standard deviation)를 구했다.

표본 1

표본크기: n= 15
표본 평균: x= 310
표본 표준편차: s= 18.5

표본 2

표본크기: n= 15
표본 평균: x= 300
표본 표준편차: s= 16.4

두 집단의 평균 차에 대한 신뢰구간(confidence interval) 95%을 어떻게 구하는지 아래에 엑셀 시트에서 보여준다. 95%에 대응하는 z-값은 1.96이다. 신뢰구간에 따른 z-값은 표를 보고 구한다.

두 무리 간 평균(mean)의 차이 95% 신뢰구간(confidence interval)은 [-3.08, 23.08]이다.

즉 두 무리 간 평균이 차이가 -3.08와 23.08 사이에 있으면 95%의 확률로 모집단(population)의 평균의 차이를 대표할 수 있다.

신뢰구간(confidence interval)에서 '0'을 포함하고 있다. 이는 두 무리에 무게 평균의 차이가 없는 경우도 있다. 그렇기 때문에 이는, 95%에 신뢰구간에서 두 집단의 무게 평균이 다르다고 할 수 없다.

예시 3: 비율의 신뢰구간(confidence interval)

비율의 신뢰구간(confidence interval)은 모집단(population) 비율(proportion)을 포함하는 구간의 범위다.

신뢰구간(confidence interval) = p +/- z*(√p(1-p) / n)

p: 표본 비율
z: z-값
n: 표본 크기

예를 들어, 우리 동네에 거주하는 주민들 중 이번 법률에 동의하는 사람들에 비율을 알고 싶다. 길을 가던 주민들을 무작위로 100에게 질문을 하고 동의하는지 하지 않는지 비율을 구했다.

표본크기: n= 100
동의 비율: p = 0.56

비율에 대한 신뢰구간(confidence interval) 95%을 어떻게 구하는지 아래에 엑셀 시트에서 보여준다. 95%에 대응하는 z-값은 1.96이다. 신뢰구간에 따른 z-값은 표를 보고 구한다.

실제 동의하는 비율에 95% 신뢰구간(confidence interval)은 [0.463, 0.657]이다.

즉 표본의 동의하는 주민의 비율이 0.463과 0.657 사이에 있으면 95%로 실제 동의하는 주민의 비율이다.

예시 4: 두 집단의 비례 차이의 신뢰구간(confidence interval)

두 집단의 비례 차이의 신뢰구간(confidence interval)은 두 모집단(population) 사이에 비율의 차이를 포함하는 구간의 범위다.

신뢰구간(Confidence interval) = (p1–p2) +/- z*√(p1(1-p1)/n1 + p2(1-p2)/n2)

p1, p2:표본 1, 표본 2의 비율
z: 신뢰 수준에 대한 z-기각치(t-critical)
n1, n2: 표본 1, 표본 2의 크기

예를 들어, 우리 동네에 거주하는 주민과 B동네 거주하는 주민들 간에 이번 법률에 동의하는 사람들에 비율 차이를 알고 싶다. 길을 가던 주민들을 무작위로 100에게 질문을 하고, B동도 100명 무작위로 물어서 비율을 구하고 그 차를 구했다.

표본 1

표본크기 1: n1= 100
비율 1: p1= 0.62

표본 2

표본크기 2: n2= 100
비율 2: p2=0.46

두 집단의 비율 창[ 대한 신뢰구간(confidence interval) 95%을 어떻게 구하는지 아래에 엑셀 시트에서 보여준다. 95%에 대응하는 z-값은 1.96이다. 신뢰구간에 따른 z-값은 표를 보고 구한다.

두 집단 간 비율 차이 95% 신뢰구간(confidence interval)은 [0.024, 0.296]이다.

즉 두 집단 간 비율 차이가 0.024와 0.296 사이에 있으면 95%의 확률로 새로운 법안에 동의하는 모집단(population)을 대표한다.

엑셀에서 상관계수 p-값(P-value for a correlation coefficient) 구하기

palefaceman — Sat, 24 Apr 2021 17:45:56 +0900

두 변수 간에 관계를 알고 싶을 때 쓰는 방법 중 하나로, 피어슨 상관계수(Pearson correlation coefficient)를 구하는 방법이 있다.

피어슨 상관계수(Pearson correlation coefficient)는 두 변수간 선형 관계를 측정하는 수치다.

피어슨 상관계수(Pearson correlation coefficient)는 -1에서 1사이에 값을 가진다.

-1 두 변수는 완벽하게 음(-)의 선형 관계가 있다.
0 두 변수간 선형 관계가 없다
1 두 변수는 완벽하게 양(+)의 선형 관계가 있다.

피어슨 상관계수(Pearson correlation coefficient)값이 통계적으로 유의미한지 검증하기 위해서, 피어슨 상관계수(Pearson correlation coefficient)의 t-점수(t-score)와 p-값(p-value)을 구할 수 있다.

t-점수(t-score)을 구하기 위한 식은 아래와 같다. 상관계수(correlation coefficient)는 'r'이다.

t = r√(n-2) / √(1-r²)

p-값(p-value)는 n-2 자유도(degrees of freedom)에서 t-분표(t-distribution)의 양측(two-sided) 값으로 구한다.

엑셀에서 상관계수(Correlation Coefficient)의 P-값(p-value) 구하기

아래에 식을 엑셀 셀에 입력해서 해당 상관계수(correlation coefficient)에 대한 p-값(p-value)을 구할 수 있어야 한다.

상관계수(correlation coefficient) r = 0.56, 표본 크기 n =14에 대해서

t-점수: 2.3415
p-값: 0.0373

상관계수 검정의 가설 조건은 아래와 같다.

귀무가설(null hypothesis) = H0: 두 변수간 상관성이 '0'이다.
대립 가설(alternative hypothesis) = H1: 두 변수간 상관성이 '0'이 아니다. 두 변수간 통계적으로 유의미한 상관관계가 있다.

유의 수준 alpah = 0.05로 선택했다고 하면, 0.0373은 0.05보다 작기 때문에 귀무가설(null hypothesis)을 기가 한다. 그러므로 두 변수 간에는 통계적으로 유의미한 상관성이 있다고 본다.

엑셀에서 쟈크베라의 정규성 검정(Jarque-Bera Normality Test)하기

palefaceman — Fri, 23 Apr 2021 23:35:13 +0900

쟈크베라의 검정(Jarque-Bera Test)은 적합도(Goodness-of-ift) 검정이다.

쟈크베라의 검정(Jarque-Bera Test)은 왜도(Skewness)와 첨도(Kurtosis)가 정규분포(normal distribution)로 보기에 적합한지에 대한 적합도(Goodness-of-fit) 검정에 사용한다.

쟈크베라의 검정(Jarque-Bera Test)에 결과값은 언제나 양의 숫자다. 그리고 결괏값이 0에서 멀리 떨어진 값이 나오면, 그때는 정규분포(normal distiribuiton)에 적합하지 않다고 판정한다.

쟈크베라의 검정(Jarque-Bera Test)의 통계량은 아래 식으로 구한다.

JB =(n/6) * (S² + (C²/4))

n: 관찰된 표본 수
S: 표본의 왜도(skewness)
C: 표본의 첨도(kurtosis)

쟈크베라의 검정(Jarque-Bera Test)에 대한 정규성 귀무가설(null hypothesis)은 JB ~ X²(2)

아래 예시와 함께 엑셀에서 쟈크베라의 검정(Jarque-Bera Test)을 구해보자

엑셀에서 쟈크베라의 검정(Jarque-Bera Test) 하기

단계별로 쟈크베라의 검정(Jarque-Bera Test)을 실행해본다.

1단계: 데이터 입력

엑셀 셀에 데이터를 입력한다.

2단계: 쟈크베라의 검정(Jarque-Bera Test) 통계량(statistics) 구하기

다음으로, JB 검정 통계량을 구한다. 엑셀에 입력된 공식대로 실행한다.

3단계: 검정에 p-값(p-value) 구하기

정규성 귀무가설(null hypothesis of normality)에서 JB 검정 통계량(test statistisc JB)은 자유도(degrees of freedom) 2의 카이제곱 분포 값과 같다고 했었다. JB ~ X²(2), 그래서 검정에 p-값(p-value)을 찾기 위해서 엑셀에서 카이제곱 분포를 구한다. =CHISQ.DIST.RT(JB test statistic, 2)

구해진 p-값(p-value)은 0.5921이다. p-값이 유의 수준(significance level) 0.05보다 작지 않기 때문에 귀무가설을 기각할 수 없다. 그러므로 위에 데이터가 정규분포(normal distribution)가 아니라는 통계적 근거가 없다.

엑셀에서 등분산 검정(Levene's Test) 하기

palefaceman — Thu, 22 Apr 2021 21:59:19 +0900

등분산 검정(Levene's Test)은 두 그룹 또는 두 그룹 이상이 서로 같은 분산을 가지고 있느냐/없느냐를 판별할 때 사용한다. 등분산 검정(Levene's Test)는 통계 분석에서 빈번하게 사용된다. 대부분에 통계 분석은 서로 다른 그룹 간에 분산이 같다고 가정을 하고 분석을 하기 때문에 등분산 검정(Levene's Test)을 선행하여 실제 같은 분산을 가졌다고 할 수 있는지 판별한다.

아래 예시를 따라서 엑셀에서 등분산 검정(Levene's Test)을 실습해본다.

예시: 엑셀에서 등분산 검정(Levene's Test)

연구자들은 서로 다른 3개의 비료를 개발했다. 3개의 비료의 효과에 대해 알아보고 싶다. 그래서 같은 식물을 3개의 서로 다른 비료를 이용해서 키운다면 한 달 후 식물의 성장이 같은지 다른지 측정하기로 했다. 30개의 표본을 임의로 채취했다. 그리고 10개씩 3그룹으로 나고 서로 다른 비료를 주고 키웠다. 그리고 한 달 후 세 그룹에서 자란 식물들의 높이를 측정했다.

세 그룹의 높이가 같은지 다른지 통계적 검증을 하기에 앞서, 우선 등분산 검정(Levene's Test)을 통해서 세 그룹이 등분산을 가지고 있는지 확인해 봤다.

1단계: 데이터 입력하기

측정한 세 식물의 데이터를 엑셀에 입력했다.

2단계: 입력된 데이터에 평균을 구한다.

AVERAGE() 함수를 이용해서 평균을 구한다.

3단계: 각 그룹에 데이터 입력 값과 평균에 차에 절댓값을 구한다.

각 그룹별로 각각 데이터 값과 그룹 평균간에 차를 절댓값으로 구한다.

ABS(xi - u)

xi = i번째 데이터값
u = 그룹의 평균

4단계: 일원 배치 분산분석(One-Way ANOVA)을 한다.

엑셀에선 등분산 검정(Levene's Test)을 바로 제공하는 기능을 제공하지 않고 있다. 하지만 절댓값 차이로 가공된 데이터 값을 일원배치 분산분석(One-Way ANOVA)하게 되면 등분산 검정(Levene's Test)과 같은 결과를 구할 수 있다. 만약에 구해진 p-값(p-value)이 지정한 유의 수준(significance level) 예(0.05) 보다 작으면 세 그룹 간에 등분산은 성립하지 않는 것으로 판정한다.

일원 배치 분산분석(One-Way ANOVA)을 하기 위해서 데이터 분석에 들어가야 한다. 만약 데이터 분석이 없다면 우선 업로드한다.

데이터 분석 도구 업로드하기

데이터 분석을 클릭하고 일원 배치 분산분석을 클릭한다.

입력 범위(I):에 B16:D25를 선택하고, 출력 범위(O):에 임의의 위치를 지정한다.

일원배치 분산분석(One-Way ANOVA)의 결과가 아래와 같이 나온다.

p-값(p-value)은 0.591351 임을 확인할 수 있다. 이 값은 0.05보다 작지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 3 그룹에 대해 분산이 서로 같다고 할만한 통계적인 근거가 없다.

엑셀에서 오즈비(Odds Ratio)와 상대 위험도(Relative Risk) 구하기

palefaceman — Wed, 21 Apr 2021 21:21:58 +0900

아래와 같은 2:2 테이블을 분석할 때 이따금씩 오즈비(Odds Ratio)와 상대 위험도(Relative Risk)를 사용한다.

오즈비(Odds Ratio)는 실험군에서 발생한 사건과 사건 비발생에 비와 대조군에서 발생한 사건 발생과 사건 비발생의 비를 나타낸다.

오즈비(Odds Ratio) = (A/B) / (C/D) = (A*D) / (B*C)

상대 위험도(Relative Risk)는 실험군에서 사건이 발생할 확률분에 대조군에서 사건이 발생할 확률의 비를 나타낸다.

상대 위험도(Relative Risk) = [A/(A+B)] / [C/(C+D)]

아래 설명에 따라 엑셀에서 오즈비(Odds Ratio)와 상대 위험도(Relative Risk)를 구해본다.

오즈비(Odds Ratio)와 상대 위험도(Relative Risk)를 구해보기

한 프로 농구팀에서 다음 시즌을 준비하기 위해 새로운 훈련 프로그램을 만들었다. 그래서 효과를 시험해보려고 한다. 우선 50명의 피실험자에게는 새로운 프로그램을, 또 다른 50명의 피실험자에게는 기존에 훈련 프로그램으로 2주간 훈련을 마친 후, 테스트를 치러 몇 명이나 테스트에 합격하는지 확인했다. 그 결과가 아래와 같이 나왔다.

오즈비(Odds Ratio)는 (34*11)/(16*39) = 0.599

새로운 훈련 프로그램을 통해 테스트를 통과한 피실험자의 오즈비(odds ratio)는 기존 훈련 프로그램으로 통과한 피실험자의 0.599배였다. 다르게 말하면 새로운 훈련 프로그램으로 통과한 사람은 기존 훈련 프로그램을 사용한 사람보다 40.1% 더 적었다.

상대 위험도(Relative Risk)는 [34/(34+16)] / [39/(39+11)] = 0.872

기존 훈련 프로그램에 비해서 새로운 훈련 프로그램을 통해서 테스트를 통과할 확률의 비는 0.871다. 이 값이 1 보다 작은 값은 실제 새로운 훈련 프로그램으로 통과할 확률이 기존 훈련 프로그램으로 통과할 확률보다 낮음을 의미한다.

바로 확률을 구해보면 차이를 적나라하게 볼 수 있다.

새로운 프로그램으로 테스트를 통과할 확률 = 34 / 50 = 68%

기존 프로그램으로 테스트를 통과할 확률 = 39 / 50 = 78%

신뢰구간 계산하는 법

오즈비(Odds Ratio)와 상대 위험도(Relative Risk)를 구하면, 구한 두 값에 대한 신뢰구간(confidence interval)을 구할 수 있다.

신뢰구간(confidence interval) 95%에 대한 오즈비(odds ratio)는 다음과 같은 방법으로 구한다.

95% C.I(OR) = exp(ln(OR) – 1.96*SE(ln(OR))) to exp(ln(OR) – 1.96*SE(ln(OR)))

C.I : 신뢰구간(confidence interval)
OR: 오즈비(odds ratio)
SE(ln(OR)) =√1/A + 1/B + 1/C + 1/D

오즈비(odds ratio)에 대한 95% C.I는 (0.245, 1.467)이다. 엑셀에서 아래와 같이 입력하면 값을 구할 수 있다.

신뢰구간(confidence interval) 95%에 대한 상대 위험도(Relative Risk))는 다음과 같은 방법으로 구한다.

95% C.I(RR) = exp(ln(RR) – 1.96*SE(ln(RR))) to exp(ln(RR) – 1.96*SE(ln(RR)))

C.I: 신뢰구간(confidence interval)
RR: 상대 위험도(Relative Risk)
SE(ln(RR)) =√1/A + 1/C – 1/(A+B) – 1/(C+D)

상대 위험도(relative risk)에 대한 95% C.I는 (0.685, 1.109)이다. 엑셀에서 아래와 같이 입력하면 값을 구할 수 있다.

엑셀에서 효과크기(Cohen's D) 구하기

palefaceman — Tue, 20 Apr 2021 18:14:47 +0900

두 데이터 세트, 또는 두 그룹 간에 차이가 있는지 없는지 확인하고 싶을 때 가설 검증(hypothesis test)을 한다. 그 결과 값으로 p-값(p-value) 계산한다.

그리고 p-값(p-value)과 유의 수준(significance level)과 비교하여 가설의 기각 여부를 판별하여, 두 세이터 세트, 또는 두 그룹 간에 차이가 있는지 없는지 통계적을 판별할 수 있다.

p-값(p-value)으로 정성적으로 두 그룹간에 차이가 있고/없고를 알 수 있다면, 효과 크기(Cohen's D)는 실제로 차이에 정량 값을 구한다.

효과 크기(effect size)를 구하는 방법은 여러 가지가 있지만, Cohen's D가 가장 많이 쓰이고 있다.

Cohen’s D = (x1 – x2) / pooled SD

x1 = 그룹 1에 평균
x2 = 그룹 2에 평균
pooled SD(합동 표준편차)= √(s₁² + s₂²) / 2

아래에서 효과 크기(Cohen's D)를 구해본다.

예시: 효과크기(Cohen's D) 구하기

1단계: 데이터 입력

두 그룹의 평균과 표준편차, 표본크기 데이터를 입력한다.

2단계: 두 그룹 간 평균의 차를 구한다.

두 그룹의 평균에 차를 구한다.

3단계: 두 그룹의 합동 표준편차(pooled standard deviation) 구하기

다음으로 그룹 1,2의 합동 표준편차(pooled standard deviation)를 구한다.

4단계: 효과 크기(Cohen's D)를 구한다.

마지막으로, 효과크기(Cohen's D)를 구한다.

효과크기(Cohen's D)는 0.29851이 나왔다.

효과크기(Cohen's D) 해석가기

효과크기(Cohen's D)를 해석할 땐 어림잡아 3가지로 분류한다.

0.2 = 효과크기 작음
0.5 = 효과크기 중간
0.8 = 효과크기 큼

예시에서 구한 효과 크기는 0.29851로 '효과 크기 작음'에 가깝다. 이는 비록 두 그룹 1,2간에 차이는 있지만, 실제 그 차이는 크지 않고, 작은 차이가 있다.

엑셀에서 상관계수 검정(Correlation Test) 하기

palefaceman — Mon, 19 Apr 2021 17:55:45 +0900

두 변수(two variables) 간에 관계를 파악하기 위해서 피어슨 상관계수(pearson correlation coefficient)를 이용한다. 피어슨 상관계수(pearson correlation coefficient)는 서로 다른 두 변순(two variables) 간 선형 관계를 지시하는 통계 값이다.

피어슨 상관계수(pearson correlation coefficient)는 -1에서 1의 범위를 갖는다.

-1: 두 변수간 완벽한 음에 상관관계가 있다.
0 두 변순간 선형관계가 없다.
1: 두 변수간 완벽한 양에 상관관계가 있다.

피어슨 상관계수(pearson correlation coefficient)가 사용하기에 적합한지 확인하는 방법으로 상관계수 검정(Correlation Test)을 한다. 검증을 위한 t-점수(t-score)를 구하고, 적절한 p-값(p-value)을 찾는다.

상관계수 검증(Correlation Test)에서 t-점수(t-score)는 아래 식으로 구해진다.

t = r√(n-2) / (1-r2)

r: 상관계수(Correlation coefficient)
n: 표본크기(The sample size)

p-값(p-value)는 t-분포(t-distribution)에 n-2에 자유도(degrees of freedom)의 양측 검정(two tailed test) 값으로 찾는다.

엑셀에서 상관계수 검증(Correlation Test)을 단계별로 시행해본다.

1단계: 데이터 입력

x, y 두 변수에 데이터 값이 주어졌다.

2단계: 상관계수(correlation coefficient) 구하기

CORREL()함수를 이용해서 x, y 두 변수간 상관계수(correlation coefficient)를 구한다.

상관계수(correlation coefficient)는 0.8037로 나왔다.

상관계수(correlation coefficient)가 양의 값이고 1에 가까운 값이기 때문에 x, y 두 변수 간에 양에 선형 관계가 있음을 알 수 있다. 하지만 결과를 내리기 전에, 구해진 상관계수(correlation coefficient)가 사용하기에 적합한 값인지 t-점수(t-score)와 p-값(p-value)을 구해서 검정해봐야 한다.

3단계: t 통계량과 p-값 구하기

상관계수 검정(Correlation Test) t 통계량(t-score) 구하는 공식을 이용해서 t 값을 구하고, T.DIST.2T() 함수를 이용해서 t-분포(t-distiribution)에서 p-값(p-value)을 구한다.

t 통계량= 4.27124

p-값= 0.00163

으로 각각 나왔다.

p-값이 0.05보다 충분히 작기 때문에, 상관계수 검정(Correlation Test) 결과 x, y 두 변수간 상관계수(correlatin coefficient) 0.8037은 통계적으로 사용 가능한 값으로 판정되었다.

엑셀에서 이항검정(Binomial Test) 하기

palefaceman — Sun, 18 Apr 2021 18:11:32 +0900

이상 검정(binomial test)은 관측한 확률이 예상한 확률과 같은지 안 같은지 확인하는 데 사용한다.

예를들어, 주사위를 24번 던졌다. 1/6의 확률로 3이 4번 나올 것이라 예상했다. 그런데 실제로 3이 6번 나왔다. 그렇다면 이 주사위는 3이 더 많이 나오도록 편중되어 있는 것일까??

위 질문에 이상검정(binomial test)을 통해서 답을 할 수 있다.

엑셀에서, 이상 검정(binomial은 엑셀에 내장 함수(built-in function)를 이용해서 쉽게 구할 수 있다.

BINOM.DIST(number_s, trials, probability_s, cumulative)

number_s: 성공한 횟수
trials: 전체 시도한 횟수
probability_s: 각 시행마다 성공할 확률
cumulative: True로 하면 누적 분포 함수(cumulative distribution function)를 반환한다. False로 하면 확률함수(Probability mass function)을 반환한다. 이상 검정(binomial test)에는 언제나 'True'로 한다.

이상검정(binomial test)을 몇 가지 예시로 실행해본다.

예시 1: 주사위를 24번 던진다. 3이 6번 나왔다. 주사위는 3번 많이 나오도록 만들어져 있는지 확인해본다.

귀무가설(null hypothesis)과 대립 가설(alternative hypothesis)을 설정한다.

H0: π ≤ 1/6 (주사위는 3이 많이 나오도록 만들어지지 않았다.)
HA: π > 1/6

*π는 '3'이 나올 확률이다.

'3'이 6번보다 많이 나올 확률은 0.1995로 p-값 0.05보다 작지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 주사위가 '3'이 많이 나오도록 만들어졌다고 할만한 통계적 근거가 없다.

예시 2: 동전을 30번 던졌다. 그랬더니 19번 앞면이 나왔다. 이항 분석(binomial test)을 해서 동전이 원래 앞면이 많이 나오는지 검증해본다.

귀무가설(null hypothesis)과 대립 가설(alternative hypothesis)을 설정한다.

H0: π ≤ 1/2 (동전은 앞면이 많이 나오도록 만들어지지 않았다.)
HA: π > 1/2

'앞면'이 19번 보다 많이 나올 확률을 은0.10024로 p-값 0.05보다 작지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 동전이 '앞면'이 많이 나오도록 만들어졌다고 할만한 통계적 근거가 없다.

예시 3: 공장에 생산효율이 80%이다. 새로운 기계를 도입해서 효율을 올리려고 한다. 새로운 기계에서 생산된 50개의 상품들 중 46개가 불량이 없었다. 이상 검정(binomial test)을 통해서 효율이 올라갔는지 확인한다.

귀무가설(null hypothesis)과 대립 가설(alternative hypothesis)을 설정한다.

H0: π ≤ 0.8 (새로운 기계는 생산성 향상이 없었다.)
HA: π > 0.8

효율이 '0.8'보다 클 확률은 0.0184로 p-값 0.05보다 작기 때문에 귀무가설(null hypothesis)을 기각한다. 그러므로 새로운 기계가 효율이 개선했다고 볼 수 있다.

예시 4: 공장에서 생산효율이 60%이다. 새로운 기계를 도입해서 효율을 올리려고 한다. 새로운 기계에서 생산된 40개 상품을 임의로 추출했다. 얼마만큼 상품이 불량이 없어야지 신뢰구간(confidence level) 95%에서 효율이 올라갔다고 할 수 있을까?

상품을 숫자를 구하기 위해서 BINOM.INV(trials, probability_s, alpha) 함수를 사용한다.

trials: 전체 시도 횟수
probability_s: 각 시행마다 성공할 확률
alpha: 신뢰 수준(여기서는 0.95)

최소 29개 이상의 상품이 나와야지 신뢰구간 95%에서 생산효율이 60%라고 할 수 있다.

엑셀에서 윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test) 하기

palefaceman — Sat, 17 Apr 2021 16:06:02 +0900

윌콕슨 부호 순위 검정(Wilcoxon Signed Rank Test)은 두 모집단 평균 간에 차이가 있는지 없는지 판별할 때 사용한다.

여기까지 보면 대응표본 t-검정(paired samples t-test)과 같아 보이지만, 대응표본 t-검정(paired samples t-test)에서는 모집단의 분포가 정규분포(normal distribution)로 가정한다. 만약 모집단이 정규분포(normal distribution)로 가정할 수 없을 경우, 윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test)을 사용하게 된다.

단계별로 윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test) 시행한다.

1단계: 데이터 생성

자동차 엔지니어는 기존의 연료와 개질 연료가 자동차에 평균 연비에 영향을 주었는지 아닌지 알아보고 싶다. 그래서 12대를 자동차를 가지고 개질연료와 기존 연료를 가지고 평균 연비 측정을 했다. 그 결과 아래와 같이 나왔다.

2단계: 두 그룹간 차이 계산하기

두 그룹간 차이를 계산한다.

3단계: 차이 값을 절댓값으로 변경한다.

윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test)을 하기에 앞서, 두 그룹 간 차이를 절댓값으로 치환한다. 차이가 '0'이라면 공백을 반환한다.

4단계: 절댓값 차이에 순위를 계산한다.

RANK.AVG()함수를 이용해서 절댓값 차이 값들의 순위를 계산한다. 만약 차이가 '0'이라면 공백을 반환한다.

5단계: 차이에 긍정/부정 값을 계산한다.

만약에 C열에 차이가 '+'라면 긍정 순위 값을, 차이가 '-'라면 부정 순위값 열에 입력되도록 한다.

6단계: 검증을 위한 통계량과 표본 크기를 계산한다.

윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test)을 위한 통계량은 긍정 순위와 부정 순위의 한중 더 작은 값이다.

둘 중에 더 작은 값을 반환한다.

다음으로 '0'을 제외한 차이가 나는 변수의 갯수를개수를 구한다. 긍정 순위/ 부정 순위 모두의 개수를 구한다.

통계량은 10.5, 표본크기는 11로 나온다.

윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test)에서 가정은 다음과 같다.

H0: 개질 연료와, 기존 연료 사이에 연비는 같다.
HA: 개질 연료와, 기존 연료 사이에 연비는 같지 않다.

유의 수준(significane level) 0.05, 표본 크기 11에서 윌콕슨 부호순위 검정(Wilcoxon Signed Rank Test)을 위한 알파값을 윌콕슨 부호순위 검정 표(Wilcoxon Signed Rank Test Table)에서 구할 수 있다.

표에서 찾은 기각치는 10이다. 구한 통계량은 10.5 로 10보다 작지 않기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 평균 연비가 같다고 할만한 충분한 통계적 판단 근거가 없다.

환율 이상치(outlier)를 찾아보고, 환율 구간별 파이차트(pie chart)를 그려보기

palefaceman — Sat, 17 Apr 2021 13:02:39 +0900

이상치(outlier)는 데이터 세트에서 평균과 표준편차 같은 통계량(statistics)에 왜곡된 결과를 낸다. 그렇기 때문에 통계에서 IQR(Interquartile Range) 이상치 판별법 같은 이상치(outlier)를 판별하기 위한 방법들이 이용되고 있다.

환율 데이터에도 1997~2021/04 사이에 IQR(Interquartile Range) 이상치 판별법을 사용해서 이상치(outlier)를 검출해보고, 이상치(outlier)를 제외한 데이터의 평균과 표준편차를 비교해본다.

그리고 데이터를 고급 필터 기능을 이용해서 임의의 구간으로 데이터를 나누고 파이 차트(pie chart)를 그려서 정리해본다.

이상치(Outlier) 찾기

환율 데이터에 이상치(outlier)로 의심되는 값들이 1997년 외환위기, 2008 리만브라더스 경제 위기를 전후로 해서 집중돼있다. IQR를 이용해서 이상치 값을 찾아본다.

엑셀에서 이상치(Outlier) 찾아보기

1단계: IQR구하기

우선 Q1, Q3를 찾아서 Q3-Q1 = IQR 찾는다.

2단계: 상한 값, 하한값 구하기

Q3값에서 IQR에 1.5배 더 위에 값을 상한값, Q1값에서 IQR에 1.5배 더 먼 아래에 값을 하한 값으로 지정하고 경계선 밖에 값을 이상치(outlier)로 둔다.

3단계: 이상치 검정하기

위에서 구한 이상치(outlier)를 그럽스 검정(Grubb's test)을 통해서 이상치(outlier) 판별을 통해서 검정해본다.

엑셀에서 그럽스 검정(Grubbs' Test) 하기

우선 정규분포(normal distribution)에 근사하는지 확인한다.

평균 1137.793이고 1200측에서 히스토그램이 가장 높게 나타내고 양측으로 갈수록 대칭적으로 감소하는 종 모양 분포(bell-shaped distribution)를 취하고 있다.

그럽스 검정(Grubbs' test)을 상한 이상치에 대해서 적용해본다.

최고값 1964.8은 이상치의 g 통계량은 6.494, g 기각치는 4.3193이다. g 통계량이 기각치보다 크기 때문에 1380.95는 이상치(ouliter)로 판별한다.

하한값 이상치에도 위와 같이 적용한다.

IQR 법으로 구한 이상치 하한값 886.15, 상한값 1380.95를 하면 g값은 2.317, 1.909로 기각치 4.3193보다 작기 때문에 이상치(outlier)로 판별되지 않는다.

여기서는 IQR 법으로 구한 이상치(outlier) 값을 이상치로 분류하고 분석한다. 왜냐하면 실제 관찰 기록을 적용해서 판별해보면 환율 1300, 환율 800원은 특이값이기 때문이다.

4단계: 이상치 판별

구한 하한 값(lower limit), 상한 값(upper limit)을 가지고 하한 값보다 작거나, 상한 값보다 크다면 이상치로 '1', 아니면 '0'이 나오게 조건을 주어 전체 셀에 적용한다.

4단계: 이상치 '1'을 데이터 고급 필터 기능을 이용해서 분류한다.

고급 필터에서 이상치 판별 1에 조건을 입력하고 다른 위치에 필터 결과를 출력한다.

이상치가 1인 데이터만 필터 돼서 새로 만들어진다.

...

파이 차트(pie chart) 그리기

다음으로 파이 차트(pie chart)를 그려본다. 전체 데이터에서 임의로 지정한 구간들에 대한 조건값을 입력한다.

데이터를 선택하고, 삽입 > 차트 > 원형 또는 도넛형 차트 삽입에 들어간다.

2차원 차트 원형 차트를 선택한다.

파이 차트(pie chart)가 나온다. 이제 원하는 모양대로 보기 좋게 수정한다.

엑셀에서 파이트(Pie Chart) 그리기

환율에서 이상치가 차지하는 비중은 4%, 860~1000원 때 기간은 13%, 1000~1100원은 19%, 1100~1200원 때는 44%, 1200~1380원 때는 20% 였다. 이에 환율은 작게는 1000~1200 때에서 44%+19% = 63% 로 과반수 이상을 차지했다.

※ 관련 포스팅

엑셀에서 계급 구간(Class width) 구하기

엑셀에서 IQR(Interquartile Range) 구하기

엑셀에서 분산형 그래프(Scatterplot)에 구분선 추가하기

엑셀에서 양비율 z-검정(Two Proportion Z-Test)하기

palefaceman — Fri, 16 Apr 2021 18:18:23 +0900

양비율 Z-검정(one proportion z-test)은 두 개의 서로 다른 모집단(population)의 비율이 차이를 검정할 때 사용한다.

모 대학 안에 카페 1호점과 2호점을 운영하는 자영업자가 있다. 그는 이번에 한 음료를 선택해서 반값 프로모션을 하려고 한다. 각 지점에서 가장 인기 있는 음료를 할인 하기로 했다. 그동안 매출로 보기에 1호점과 2호점에서 아메리카노 같은 비율로 가장 많이 팔린 것 같았다. 그래서 아메리카노로 하려고 한다.

실제 아메리카노가 1호점 2호점에서 같은 비율로 더 선호되는지 알아보기 위해, 지나가는 100명의 학생에게 무작위로 설문조사를 실시했다. 설문조사 결과 1호점을 이용하는 학생 70%가 아메키라노를 선호했고, 2호점을 이용하는 학생 68%가 아메리카노를 선호했다.

1호점 2호점에서 모두 아메리카노가 더 인기 있는 음료인지, 설문조사 결과를 양비율 Z-검정(one proportion z-test)을 통해서 판단할 수 있다.

단 표본 Z-검정(one sample z-test) 시행하기

아래 단계별로 양비율 Z-검정(one proportion z-test)을 시행한다.

1단계: 가정 수립한다.

H0 [귀무가설(null hypothesis)]: P1 = P2

Ha [대안 가설(alternative hypothesis)]: P1 ≠ P2

2단계: 통계량과 p-값(p-value)을 찾는다.

p = (p1 * n1 + p2 * n2) / (n1 + n2)

p = (0.70*100 + 0.68*100) / (100 + 100) = 0.69

p: 합동 표본비율(pooled sample proportion)
n1: 표본 크기 1
n2: 표본 크기 2

z = (p1-p2) / √p * (1-p) * [ (1/n1) + (1/n2)]

z = (0.70-0.68) / √0.69 * (1-0.69) * [ (1/100) + (1/100)] = 0.02 / 0.0654 = 0.306

양측(two-tailed), z-통계량 0.306에 대한 p-값(p-value)은 0.759이다. (z-점수 분포표에서 찾을 수 있다.)

3단계: 귀무가설(null hypothesis) 기각 여부 결정

우선, 유의 수준(significance level)을 결정한다. 0.01, 0.05, 0.10 이 많이 쓰인다. 만약 0.05를 선택했으면 p-값(p-value)은 0.05보다 크기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 1호점과 2호점에서 아메리카노가 같은 비율로 가장 인기 메뉴라는 가정에 대해 반박할 통계적 근거가 업다.

엑셀에서 양 표본 Z-검정(two sample z-test) 양측 검정(two-tailed test) 시행하기

시트에서 위에 양비율 Z-검정(two proportion z-test)을 실행했다.

표본 1 비율 P1, 표본 1 크기 n1, 표본 2 비율 P2, 표본 2 크기 n2를 입력하면, 합동 표본비율 p, 검증 통계량(z-score), p-값이 자동적으로 구해진다.

C6: 합동 표본비율을 구한다. p = (p1 * n1 + p2 * n2) / (n1 + n2)

C7: 검증 통계량(z-score)을 구한다. z = (p1-p2) / √p * (1-p) * [ (1/n1) + (1/n2)]

C8: p-값을 구한다. NORM.S.DIST() 함수는 정규분포(normal distribution)에 누적확률을 반환한다. 양측 검정(two-tailed test)을 하므로 x2를 해준다.

p-값(p-value)은 0.759로 유의 수준(significance level) 0.05보다 크므로 가설을 기각할 수 없다. 그러므로 1호점과 2호점에서 아메리카노가 같은 비율로 인기 메뉴라는 가정에 대해 반박할 통계적 근거가 업다.

엑셀에서 z-점수(z-score) 백분위수 치환하기

엑셀에서 양 표본 Z-검정(two sample z-test) 단측 검정(one-tailed test) 시행하기

시트에서 위에 양비율 Z-검정(two proportion z-test)을 실행했다.

표본 1 비율 P1, 표본 1 크기 n1, 표본 2 비율 P2, 표본 2 크기 n2를 입력하면, 합동 표본비율 p, 검증 통계량(z-score), p-값이 자동적으로 구해진다.

C6: 합동 표본비율을 구한다. p = (p1 * n1 + p2 * n2) / (n1 + n2)

C7: 검증 통계량(z-score)을 구한다. z = (p1-p2) / √p * (1-p) * [ (1/n1) + (1/n2)]

C8: p-값을 구한다. NORM.S.DIST() 함수는 정규분포(normal distribution)에 누적확률을 반환한다.

p-값(p-value)은 0.379로 유의 수준(significance level) 0.05보다 크므로 가설을 기각할 수 없다. 그러므로 1호점과 2호점에서 아메리카노가 같은 비율로 인기 메뉴라는 가정에 대해 반박할 통계적 근거가 업다.

엑셀에서 단비율 z-검정(One Proportion Z-Test) 하기

palefaceman — Fri, 16 Apr 2021 09:09:23 +0900

단비율 Z-검정(one proportion z-test)은 예측되는 비율을 표본 조사를 통해 나온 비율을 가지고 적합도를 비교하기 위해서 사용한다.

어느 가전제품 회사의 신제품 TV에 고객 만족도가 90%로 발표했다면, 이를 비교하기 위해 200명의 임의에 고객들에게 만족도를 조사한 결과 85%였다.

단비율 Z-검정(one proportion z-test)은 실제 고객 만족도가 90% 인지 아닌지에 대해 사실검증을 할 수 있다.

단 표본 Z-검정(one sample z-test) 시행하기

아래 단계별로 단 표본 Z-검정(one sample z-test)을 시행한다.

1단계: 가정 수립한다.

H0 [귀무가설(null hypothesis)]: P = 0.9

Ha [대안 가설(alternative hypothesis)]: P ≠ 0.9

2단계: 통계량을과 p-값(p-value)을 찾는다.

검증 통계량 z = (p-P) / (√P(1-P) / n)

p: 표본 비율
P: 가정하는 모집단 비율
n: 표본 크기

z = (0.85-0.90) / (√0.90(1-0.90) / 200) = (-0.05) / (0.0212) = -2.358

양측(two-tailed), z-통계량 -2.358에 대한 p-값(p-value)은 0.018이다. (z-점수 분포표에서 찾을 수 있다.)

3단계: 귀무가설(null hypothesis) 기각 여부 결정

우선, 유의수준(significance level)을 결정한다. 0.01, 0.05, 0.10 이 많이 쓰인다. 만약 0.05를 선택했으면 p-값(p-value)은 0.05보다 작기 때문에 귀무가설(null hypothesis)을 기각할 수 있다. 그러므로 90%의 고객이 새로운 TV에 만족했다는 보도는 통계적으로 사실이 아니라고 판별한다.

엑셀에서 단표본 Z-검정(one sample z-test) 양측 검정(two-tailed test) 시행하기

어느 가전제품 회사의 신제품 TV에 고객 만족도가 90%로 발표했다면, 이를 비교하기 위해 200명의 임의에 고객들에게 만족도를 조사한 결과 85%였다.

유의수준(significance level) 0.05에서 양측 검정(two-tailed test) 실행한다.

시트에서 위에 단비율 Z-검정(one proportion z-test)을 실행했다.

가정 비율 P, 표본 크기 n, 도수를 입력 데이터로 하면 표본 비율 p, 검증 통계량(z-score), p-값이 자동적으로 구해진다.

B5: 표본 비율로 무작위 표본 설문 조사에서 나온 도수/표본크기 한다. f/n
B6: 검증 통계량(z-score)을 구한다. z = (p1-p2) / √p * (1-p) * [ (1/n1) + (1/n2)]
B7: p-값(p-value)을 구한다. NORM.S.DIST(z, 1): 정규분포(normal distribution)에 누적확률(cumulative probability)을 반환한다. 양측 검정(two-tailed test)을 하므로 x2를 해준다.

p-값(p-value)은 0.018로 유의 수준(significance level) 0.05보다 작으므로 가설을 기각한다. 그러므로 90%의 고객이 새로운 TV에 만족했다는 보도는 통계적으로 사실이 아니라고 판별한다.

엑셀에서 z-점수(z-score) 백분위수 치환하기

엑셀에서 단표본 Z-검정(one sample z-test) 단측 검정(one-tailed test) 시행하기

어느 가전제품 회사의 신제품 TV에 고객 만족도가 90%로 발표했다면, 이를 비교하기 위해 200명의 임의에 고객들에게 만족도를 조사한 결과 88%였다.

유의 수준(significance level) 0.1에서 단측 검정(one-tailed test)을 실행한다.

B5: 표본 비율로 무작위 표본 설문 조사에서 나온 도수/표본크기 한다. f/n
B6: 검증 통계량(z-score)을 구한다. z = (p1-p2) / √p * (1-p) * [ (1/n1) + (1/n2)]
B7: p-값(p-value)을 구한다. NORM.S.DIST(z, 1): 정규분포(normal distribution)에 누적확률(cumulative probability)을 반환한다.

단측 검증이므로 유의 수준(signficance level)은 0.10, 단측 검정(one-tailed test) p-값은 0.17보다 크기 때문에 귀무가설(null hypothesis)을 기각할 수 없다. 그러므로 90%의 고객이 새로운 TV에 만족했다는 보도는 통계적으로 사실이라 판별한다.

엑셀에서 맥니마 검정(McNemar's Test) 하기

palefaceman — Thu, 15 Apr 2021 22:06:02 +0900

맥니마 검정(McNemar's test)은 하나의 관측대상(subject)에 대해서 서로 다른 조건에 있을 때, 그 조건이 검증에 영향을 주느냐 안느냐에 판별하는 용도로 쓰인다.

맥니마 검정(McNemar's test)은 특히 물리, 화학, 생물 실험에서 유용하게 쓰인다. 특정 요인이 실험대상에 미치는 영향을 알아보기 위한 실험 설계(experiment design)에서, 실험군(experimental group)과 대조군(control group)에 대해서 하나의 조건을 독립 변인을 두고 실험을 진행한 결과에서 독립 변인이 실험 결과에 미치는 유무를 판별하기 위한 통계 검정이다.

엑셀에서 맥니마 검정(McNemar's test) 시행해본다.

엑셀에서 맥니마 검정(McNemar's test) 하기

이번 부동산 세금을 인상하는 정책에 대해서 찬반에 대해 100명의 사람들에게 설문조사를 실시했다. 처음에 100명 중 찬성하는 사람 30, 반대하는 사람 70이었다. 똑같은 100명의 사람을 모아놓고, 부동산 세금 인상이 경제적 파급 효과에 대해서 50분간 전문가를 모시고 강연을 하였다. 그리고 강연을 마치고 나갈 때 다시 부동산 세금 인상 정책에 대해 찬반 조사를 했다. 그랬더니 처음에 찬성했던 사람들 중 12명이 반대로, 반대했던 사람들 중 14명이 찬성으로 선택이 바뀌었다.

전문가의 강연이 정책에 대한 사람들에 의견에 크게 영향을 주었는지 맥니마 검정(McNemar's test)을 통해서 알아본다.

1단계: 가설 설정을 한다.

검정을 위한 귀무가설(null hypothesis)과 대립 가설(alternative hypothesis)을 설정한다.

H0 (귀무 가설,null hypothesis) = 전문가의 강연은 영향이 없다.
HA (대립 가설alternative hypothesis) = 전문가의 강연은 영향이 있다.

2단계: 실험 관측값을 이용해서 통계량을 구한다.

A = 찬성에서 반대로 간 사람의 수: 12
B = 반 대에서 찬성으로 간 사람의 수: 14
X² = 맥니마 검정(McNemar's test)의 통계량
(|A-B| – 1)^2 / (A+B) = (|12-14| – 1)^2 / (12+14) = 0.03846.

X² 통계량의 기각 유무 판별은, 카이제곱 분포 테이블(Chi-Square Distribution table)에서 자유도 1 유의 수준(significant level) 0.05로 찾는다. X²(0.05,1) = 3.814

검정 통계량(test statistics)은 0.03846이므로 기각치 3.814보다 작기 때문에 귀무가설(null hypothesis)를 기각할 수 없다. 그러므로 전문가의 강연이 영향이 있다고 할 통계적 근거가 없다.

엑셀에서는 간단하게 검정을 해볼 수 있다.

엑셀에서 그럽스 검정(Grubbs' Test) 하기

palefaceman — Thu, 15 Apr 2021 09:53:30 +0900

그럽스 검정(Grubbs' test)은 데이터 세트 안에 하나에 이상치(outlier) 유무를 판별하는데 쓰인다.

그럽스 검정(Grubbs' test)을 실시하기 위한 선행 조건으로 데이터 세트는 정규분포 곡선(normal distribution curve)이어야 하며 최소 7개의 데이터가 있어야 한다.

그럽스 검정(Grubbs' test)는 하나의 이상치를 판별한다. 하나 이상의 이상치(outlier) 유무 판별을 위해서는 ESD 검정(the generalized extreme studentized deviate test for outlier)을 한다.

만약에 데이터 셋트에서 최곳값(maxium)이 이상치(outlier)로 의심된다면 그럽스 검정(Grubbs' test)을 시행할 수 있다.

G = (xmax – x) / s

만약에 데이터 세트에서 최솟값(minimum)이 이상치(outlier)로 의심된다면 그럽스 검정(Grubbs' test)을 시행할 수 있다.

G = (x – xmin) / s

만약, 최고/최소 값이 모두 이상치(outlier)인지 긴가민가 하다면, 양측 검정(two-sided test)을 한다.

G = max|xi – x| / s

양측검정(two-sided test)에 기각치(critical value)를 구한다.

Gcritical = (n-1)tcritical / √[n(n-2 + t² critical)]

여기서 tcritical은 자유도 n-2, 유의 수준(significance level) 단측 검정(one-tailed test) α/n, 양측 검정(two-tailed test) 시 α/(2n)에서 t-분포에서 t 기각치(t critival value)다.

※ 변수

x: 표본 평균
s: 표본 표준편차
xi: 임의 이 데이터 값
xmax: 최곳값
xmin: 최솟값

예시: 그럽스 검정(Grubbs' test) 실행하기

아래 데이터 세트에서 60이 이상치(outlier)인지 아닌지 판별해보기로 한다.

1단계: 그럽스 검정(Grubbs' Test) 적합도 판정

그럽스 검정(Grubbs' test)을 하기 위한 선행 조건 중 한 가지 7개 이상의 데이터는 만족했다. 두 번째 선행조건인, 정규분포(normal distribution)를 하고 있는지 알아보기 위해서 히스토그램(histogram)을 그려서 확인한다. 엑셀에서 데이터 분석을 통해서 그려본다.

데이터 분석 툴 업로드하기

계급 구간을 5로 해서, 히스토그램을 생성한다.

히스토그램에서 보면 15에 최고 많이 분포하고 있으며 양옆으로 점점 분포도가 줄어든다. 거의 정규분포(normal distribution)에 종모양(bell-shape)을 취하고 있다.

2단계: 그럽스 검정(Grubbs's Test) 하기

최곳값(max) 60에 대해서 그럽스 검정(Grubbs' test)을 시행한다. 아래에 데이터와 같이 입력한다.

이렇게 입력하고 나면 G 검정 통계량은 D4에 3.603219

G 기각치는 D11에 2.556581이다. G 검정 통계량이 G 기각치 보다 크기 때문에 60은 이상치(outlier) 값으로 판정된다.

그럽스 검정 그럽스 검정(Grubbs' test)으로 판정된 이상치(outlier)는 어떻게 할까?

이상치(outlier) 값이 관측값에서 타이핑 에러인지, 다시 한번 확인해본다. 가끔씩 데이터 입력 과정에서 오류가 발생한다.
다른 값으로 치환한다. 데이터가 이상치(outlier)로 된다면, 그 값을 평균이나. 중앙값의 데이터 값으로 대체한다.
이상치(outlier)를 아예 제거한다. 이상치(outlier)가 데이터 분석 결과에 크게 영향을 미칠 것으로 염려된다면 제거하기도 한다.

셋 중 어떠한 방식으로 이상치(outlier)를 처리하더라도, 데이터 분석 결과 리포트에는 이상치 제거에 대한 언급이 들어가도록 한다.

엑셀에서 앤스콤 4분할 그래프(Anscombe's quartet) 그리기

palefaceman — Wed, 14 Apr 2021 18:19:14 +0900

앤스콤 4분할 그래프(Anscombe's quartet)는 평균(mean)과 표준편차(stanard deviation) 같은 기술적 통계량(descriptive statistics) 같은 4 개의 데이터 셋의 분포 그래프를 모아서 봄으로써, 기술적 통계(descriptive statistics)에서 보지 못한 데이터 분포의 차이를 한눈에 보여준다.

차례로 앤스콤 4분할 그래프(Anscombe's quartet)를 그려본다.

1단계: 데이터 생성하기

4개의 서로 다른 데이터 세트를 입력한다. 이들의 평균(mean)과 표준편차(standard deviation)는 같다.

2단계: 데이터를 시각화한다.

분산형 그래프를 생성한다. 분산형 그래프를 생성한 데이터 범위 A3:B13를 선택한다.

삽입> 차트 > 분산형(x, y) 또는 거품형 차트 > 분산형

아래와 같은 분산형 그래프가 생성된다.

나머지 3개의 데이터 셋에서도 똑같이 반복하여 총 4개의 그래프를 생성한다.

3단계: 기술적 통계 분석을 한다.

평균(mean), 분산(variance), 상관계수(correlation coefficient)를 구해본다.

상관계수(correlation coefficient)를 제외한 기술적 통계량이 같음을 볼 수 있다.

앤스콤 4분할 그래프(Anscombe's quartet)의 유용성

예시에서 본 4개의 데이터 세트에 평균과 분산만 계산했다면 4개의 데이터 세트가 서로 비슷한 데이터라고 생각하게 돼버릴 수 있다. 하지만 상관계수에서 유추할 수 있듯이, 그래프를 그려서 시각화해보면 완전 다른 분포를 보이는 전혀 다른 데이터들임을 알게 된다. 앤스콤 4분할 그래프(Anscombe's quartet)는 특히 4개의 시각화 그래프를 한 곳에 모아둠으로써 이러한 차이를 한눈에 볼 수 있도록 만들어졌다.

기술적 통계량(descriptive statistics)은 많은 데이터 값들을 숫자로 정리/요약할 수 있다. 그리고 시각화(visualization)는 데이터의 분포를 직관적으로 한눈에 보는데 유용하다. 그렇기 때문에 데이터를 분석하기에 앞서, 데이터 분포를 그래프로 시각화해보고 분석 결론을 내야 한다.

palefaceman's digital repository

t-test 정의, 공식, 예시

1) 사용

2) 공식

3)가정

4)예시

1.표본데이터를 수집한다.

2.가설을 선언한다.

3. t-value를 구한다.

4. p-value를 구한다.(t-test를 위한 테이블표 참조)

5. 결과를 해석한다.

가설 검증(Hypothesis Testing)

예시

절차

가설검정(Hypothesis Test)

두 가지 오류

인구와 투자의 미래 확장판, 홍춘욱

1958년 개띠와 한국 경제 전망

1. 노동시장 전망에 대해

2. 3~5년 금리 전망에 대해

3. 인구감소와 경제성장 전망에 대해

4. 3~5년 한국 부동산 전망

美은 기대수명증가와 자금력을 바탕으로 한 오래 사는 부자 노인들이 세컨드하우스를 구매하여 펜션 같은 지역에 주택가격이 오르는 동향을 보여준다.

日은 클러스터 효과(cluster effect)로 설명할 수 있다. 대도시에 집값은 꾸준히 상승하고 있다. 하지만 외각 지는 빈집이 팔리지도 않고 버려져 있다. 한국과 미국과 일본의 부동산 시장 양상을 따라갈 것으로 전망한다.

5. 3~5년 한국경제와 주식의 전망

엑셀에서 tukey-kramer post hoc 검정(tukey-kramer post hoc Test) 하기

예시: 엑셀에서 Tukey-Kramer(Tukey-Kramer Test) 검정 하기

단계 1: 각 그룹에 절대 평균 차(abosoute mean difference)를 구한다.

단계 2: Q 임계치(Q ciritical value)을 찾는다.

단계 3: 어떤 그룹에 평균이 다른 지 결정한다.

관련 포스팅

파이썬에서 기하평균(Geometric Mean) 계산하기

방법 1: Scipy 라이브러리를 이용한 기하평균(geometric mean) 구하기

방법 2: Numpy 라이브러리를 이용하여 기하평균(geometric mean) 구하기

예시 1: Scipy 라이브러리를 이용한 기하평균(geometric mean) 구하기

예시 2: Numpy 라이브러리를 이용하여 기하평균(geometric mean) 구하기

기하평균(geometric mean)이 '0'이 나올 경우

엑셀에서 단 방향 ANOVA(One-Way ANOVA) 분석하기

예시: 엑셀에서 단 방향 ANOVA(one-way ANOVA) 실습하기

결과 해석하기

파이썬에서 리스트 값 변경하기

예시 1: 하나의 리스트(list) 값 변경하기

예시 2: 하나 이상의 리스트(list) 값 변경하기

예시 3: 리스트(list)에서 특정 위치에 값 변경하기

Numpy: 넘파이(Numpy)에서 최소자승법(least squares method) 실행하기

단계 1: 독립변수(independent variables)와 종속변수(dependent variables)를 입력한다.

단계 2: 최소자승법(meothod of least squares)을 실행한다.

단계 3: 결과를 해석한다.

관련 포스팅

Pandas: 넘파이(Numpy) where() 함수 Pandas에서 사용하기

예시 1: 판다스(pandas) where() 함수

관련 포스팅

Pandas: 문자열에서 판다스 데이터프레임(pandas DataFrame) 생성하기

예시 1: 콤마로 문자열 값 나눠 데이터 프레임 생성하기

예시 2: 세미콜론으로 문자열 값 나눠 데이터 프레임 생성하기

관련 포스팅

NumPy: np.linspace 와 np.arange의 차이점

예시 1: np.linspace 사용하기

예시 2: np.arange 사용하기

관련 포스팅

Numpy mean() vs average(): 차이점

예시 1: np.mean(), np.average() 가중치 옵션 없이 사용하기

예시 2: np.average()를 가중치를 넣어 사용하기

NumPy 실행하기: import numpy as np

지출품의서

엑셀에서 결정계수(coefficient of determination) R² 구하기

예: 결정계수(R²) 구하기

= RSQ(y,x)

엑셀에서 Q-Q플롯(Q-Q Plot) 그리기

예시: 엑셀에서 Q-Q플롯(Q-Q Plot) 만들기

1단계: 데이터 입력

2단계: 각 데이터에 순위를 찾는다.

3단계: 백분위(percentile)를 찾아낸다.

4단계: z-점수(z-score)를 구한다.

5단계: Q-Q플롯(Q-Q Plot)을 그린다.

엑셀에서 Breusch-Pagan 검정(Breusch-Pagan Test) 하기

예시: 엑셀에서 Breusch-Pagan 검정(Breusch-Pagan Test)하기

1단계: 다중 회귀분석(multiple linear regression)하기

2단계: 잔차(residual)의 제곱값 계산하기

3단계: 잔차의 제곱(squared residual)을 가지고 새로운 다중회귀분석(multiple regression analysis)을 한다.

日은 클러스터 효과(cluster effect)로 설명할 수 있다. 대도시에 집값은 꾸준히 상승하고 있다. 하지만 외각 지는 빈집이 팔리지도 않고 버려져 있다.

한국과 미국과 일본의 부동산 시장 양상을 따라갈 것으로 전망한다.