[이론] 세상의 모든 검증은 "신호 ÷ 잡음"입니다

"검증 102건에서 나온 적중률이 기준선 62.7%보다 6.9%p 높은데, 이게 실력인가 운인가"를 판정하는 계산입니다. 여기에 쓰이는 값들의 정식 명칭은 다음과 같습니다.

다루는 개념과 표준 용어

계산하는 값	표준 명칭
실력이 0일 때의 출렁임 폭	표본비율의 표준오차 (standard error of a proportion)
우위가 그 폭의 몇 배인가	z-통계량, 검정 이름은 1표본 비율검정 (one-proportion z-test)
우연히 이만큼 나올 확률	p-값 (p-value)
"z가 2는 넘어야 인정"	유의수준 2.5%(단측) 관행
몇 건을 더 봐야 하는가	표본크기 산정 (sample size determination)
관측이 서로 닮았을 때의 보정	자기상관에 의한 유효표본크기 감소 (effective sample size)

전부 통계학 입문 교재에 그대로 나오는 것들이고, 마지막 하나만 시계열·표본조사 쪽 용어입니다. 검색어로 쓰셔도 바로 나옵니다.

본질: 검증은 "기준선을 넘은 폭 ÷ 우연히 생기는 폭"입니다

이 계산의 정체는 딱 한 줄입니다.

$z = \frac{관측 적중률 - 기준선}{실력이 0 이어도 우연히 벌어지는 폭}$

숫자를 넣으면 이렇습니다.

$z = \frac{69.6% - 62.7%}{4.95% p} = \frac{6.9% p}{4.95% p} = 1.39$

분자는 내 적중률이 기준선을 얼마나 넘어섰는지, 그 초과분입니다. 여기서는 $6.9% p$ 입니다. 통계에서는 이걸 효과크기(effect size) 라고 부릅니다.

분모는 실력이 전혀 없는 사람이 같은 조건에서 102번 시도했을 때, 순전히 운만으로 기준선에서 벗어나는 정도입니다. 여기서는 $4.95% p$ 입니다. 이걸 표준오차(standard error) 라고 부릅니다. "아무것도 안 해도 이 정도는 흔들린다"는 기준자입니다.

그러니 $z = 1.39$ 는 이런 뜻입니다. **내가 얻은 $6.9% p$ 는 운만으로도 흔히 생기는 $4.95% p$ 의 1.39배밖에 안 된다.** 자로 재보니 눈금 한 칸 반쯤 나왔다는 얘기라서, 아직 운으로도 충분히 설명됩니다.

이 구조는 통계 검정 전체에 그대로 반복됩니다. t-검정·카이제곱·회귀분석의 t값도 전부 "관측된 차이 ÷ 우연히 생길 수 있는 차이"입니다. 분자에 무엇이 오는지만 바뀝니다.

핵심은 분모를 계산할 수 있다는 점입니다. 우연은 아무렇게나 흩어지는 게 아니라, 흩어지는 폭이 수식으로 정해져 있습니다. 그 폭이 다음 절에서 다룰 $p (1 - p) / n$ 입니다.

잡음의 크기가 왜 $p (1 - p) / n$ 인가

앞에서 분모로 쓴 "실력이 0이어도 우연히 벌어지는 폭"에는 정식 이름과 공식이 있습니다. 이름은 표준오차이고, 기호로는 $S E$ (standard error)라고 씁니다. 앞으로 $S E$ 가 나오면 전부 이 값입니다.

$S E = \frac{p ( 1 - p )}{n}$

여기서 $p$ 는 기준선(실력이 0일 때의 성공 확률), $n$ 은 시행 횟수입니다. 앞의 예에 넣어보면 $p = 0.627$ , $n = 102$ 이므로

$S E = \frac{0.627 \times 0.373}{102} = 0.00229 = 0.0479 = 4.79% p$

가 됩니다.

이제 앞 절의 $z$ 를 기호로 다시 쓸 수 있습니다. 분모에 들어가던 "우연히 벌어지는 폭"이 바로 이 $S E$ 입니다.

$z = \frac{p ^ - p _{0}}{S E} = \frac{p ^ - p _{0}}{\frac{p _{0} ( 1 - p _{0} )}{n}}$

$\overset{p}{^}$ (p-hat)는 실제로 관측된 적중률, $p_{0}$ 는 기준선입니다. ** $S E$ 가 먼저 계산되고 $z$ 는 그것으로 나눈 값**이라는 순서를 기억해두시면 됩니다. 아래에서는 $S E$ 가 왜 이런 모양인지를 분자 $p (1 - p)$ 와 분모 $n$ 두 조각으로 나눠서 보겠습니다.

**조각 1 — 분자의 $p (1 - p)$ : "한 번의 시행이 얼마나 예측 불가능한가"**

$p (1 - p)$ 는 시행 한 번의 분산입니다. 동전을 한 번 던져서 앞면이면 1, 뒷면이면 0을 적는다고 할 때, 그 0 또는 1이라는 값이 평균에서 얼마나 벗어나는지를 재는 수치입니다. 이 분산이 크다는 건 "던져보기 전에는 결과를 짐작하기 어렵다"는 뜻이고, 작다는 건 "안 던져봐도 대충 안다"는 뜻입니다.

앞면 확률 $p$ 를 바꿔가며 이 분산값을 직접 계산해보면 이렇습니다.

앞면 확률 $p$	시행 한 번의 분산 $p (1 - p)$	한 번 던졌을 때
0.50	$0.5 \times 0.5 = 0.25$	가장 예측 불가능
0.627	$0.627 \times 0.373 = 0.234$	거의 마찬가지
0.90	$0.9 \times 0.1 = 0.09$	대체로 앞면일 것
0.99	$0.99 \times 0.01 = 0.0099$	사실상 뻔함

0.25나 0.0099라는 숫자 자체에 단위나 절대적인 의미가 있는 건 아닙니다. **다른 $p$ 값에서 나온 분산과 견주기 위한 상대적인 크기입니다. 표에서 읽어야 할 건 0.25가 이 분산이 가질 수 있는 최댓값**이고, $p$ 가 어느 쪽으로든 극단으로 갈수록 0에 가까워진다는 점입니다.

직관으로 옮기면 이렇습니다. 결과가 뻔한 판은 애초에 출렁일 여지가 없습니다. 백 번 던지면 아흔아홉 번 앞면이 나오는 동전은 몇 번을 반복해도 매번 비슷한 결과가 나옵니다. 반반인 동전이 가장 제멋대로입니다.

그래서 분산 $p (1 - p)$ 를 $p$ 에 대해 그리면 $p = 0.5$ 에서 봉우리이고 양 끝(0과 1)에서 0으로 내려가는 뒤집힌 U자 곡선이 됩니다. 그리고 이 봉우리가 꽤 평평합니다. 위 표에서 $p$ 가 0.5에서 0.627로 꽤 움직였는데도 분산은 0.25에서 0.234로 6%밖에 안 줄었습니다. 기준선이 62.7%인 판에서 분산에 $0.25$ 를 넣든 $0.234$ 를 넣든 최종 답이 거의 같은 이유가 이겁니다. ** $p$ 가 40%~60% 사이면 그냥 $0.25$ 로 놓고 암산해도 됩니다.**

**조각 2 — 분모의 $n$ , 그리고 왜 하필 제곱근인가**

이게 진짜 핵심입니다. 오차는 쌓이는 게 아니라 서로 상쇄됩니다.

$n$ 번 던져서 앞면이 몇 번 나왔는지 개수를 세는 경우를 먼저 봅니다. 시행들이 서로 독립이면 분산은 그대로 더해지므로, 앞면 개수의 분산은 시행 한 번의 분산에 정확히 $n$ 배가 됩니다. 그런데 분산이 $n$ 배면 그 제곱근인 표준편차는 $n$ 배입니다. **개수의 출렁임은 $n$ 배가 아니라 $n$ 배로만 커진다**는 뜻입니다.

이제 개수를 비율로 바꾸려고 $n$ 으로 나누면, 출렁임도 같이 $n$ 으로 나뉘어 $n / n = 1/ n$ 이 됩니다. 그래서 표본이 커질수록 비율의 출렁임은 $1/ n$ 의 속도로 줄어듭니다.

말로 하면 이렇습니다. 어떤 시행은 운 좋게, 어떤 시행은 운 나쁘게 나와서 서로 잡아먹습니다. $n$ 번 모으면 오차가 $n$ 배로 커질 것 같지만 실제로는 $n$ 배만 커지고, 평균 내면 오히려 $n$ 배 줄어듭니다.

여기서 나오는 실무 감각이 "4배의 법칙"입니다.

잡음을 절반으로 줄이려면 표본을 4배 모아야 한다.

이게 검증이라는 일이 비싼 근본 이유이고, 데이터를 두 배 늘려도 확신이 두 배로 늘지 않는 이유입니다.

암기용 기준점 하나. $p = 0.5$ 일 때 $S E = 0.5/ n$ 입니다. 그래서 이렇게 됩니다.

$n = 100$ → $5% p$
$n = 400$ → $2.5% p$
$n = 2500$ → $1% p$

이 세 개만 외우면 나머지는 눈대중으로 나옵니다.

z가 확률로 바뀌는 원리

여기까지가 분모 이야기였습니다. 이제 분자를 분모로 나눈 값, 즉 $z$ 로 돌아옵니다.

$z = \frac{관측 적중률 - 기준선}{표준오차} = \frac{p ^ - p _{0}}{S E}$

기호로는 $\overset{p}{^}$ 가 관측 적중률, $p_{0}$ 가 기준선, $S E$ 가 표준오차입니다. $S E$ 를 구하는 공식은 바로 앞 절에서 본 그것입니다.

$z$ 는 "기준선에서 표준오차 몇 개만큼 떨어져 있는가" 를 뜻하는 숫자입니다. 표준오차가 눈금 한 칸짜리 자이고, $z$ 는 그 자로 재서 몇 칸이 나왔는지입니다. $z = 1.39$ 면 한 칸 반쯤, $z = 3$ 이면 세 칸입니다.

그런데 왜 이 "칸 수"가 확률로 바뀔까요. 실력이 0인 사람에게 이 검증을 102건씩 수백 번 반복시키면, 그 사람의 적중률은 기준선 62.7% 언저리에서 종 모양으로 퍼집니다. 이게 정규분포(normal distribution)이고, 중심극한정리가 보장하는 모양입니다. 봉우리는 62.7%에 있고, 폭은 앞에서 계산한 표준오차 $4.95% p$ 입니다.

이 종 모양의 성질이 딱 하나 정해져 있습니다. 중심에서 몇 칸 떨어진 지점보다 더 바깥에 떨어질 확률이 얼마인지가 칸 수만으로 결정된다는 것입니다. 한 칸 바깥은 16%, 두 칸 바깥은 2.3%, 세 칸 바깥은 0.13%. 종의 위치가 어디든, 폭이 얼마든 상관없이 항상 같습니다.

그래서 아래 표는 "실력이 0인 사람이 우연만으로 $z$ 칸 이상 벗어날 확률"이고, 정규분포 곡선의 꼬리 면적을 미리 계산해둔 것뿐입니다.

$z$ 를 확률로 바꾸는 표

기준선에서 떨어진 칸 수 $z$	1.0	1.39	1.65	2.0	2.6	3.0
실력 0인데 우연히 이만큼 벗어날 확률	16%	8%	5%	2.3%	0.5%	0.13%

읽는 법은 이렇습니다. $z = 1.39$ 열을 보면 8%이니, 실력이 전혀 없는 사람도 12~13번에 한 번은 이 정도 성적을 낸다는 뜻입니다. 반대로 $z = 3$ 이면 800번에 한 번 있는 일이라 운으로 우기기 어려워집니다. 관행적으로 $z \geq 2$ (우연일 확률 2.3%)를 넘겨야 실력으로 인정합니다.

이 표에서 읽어야 할 또 하나는 ** $z$ 가 조금만 커져도 확률이 급격히 떨어진다는 점입니다. 1.39에서 2.0으로 가는 데 필요한 데이터는 두 배지만, 우연일 확률은 8%에서 2.3%로 3분의 1이 됩니다. 끝까지 밀어붙이는 값어치가 있다**는 뜻입니다.

예제 5개 — 손으로 따라가며 감 잡기

레버가 네 개(우위 $Δ$ , 표본 $n$ , 기준선 $p_{0}$ , 독립성)라서 하나씩만 움직여 봅니다.

예제 1 — 가장 단순한 판에서 기준점 잡기

상황. 앞면이 나오는지 맞히는 내기를 100번 했고 56번 맞혔습니다. 아무 실력 없이 찍어도 절반은 맞으므로 기준선은 $p_{0} = 50%$ 입니다. 6%p를 더 맞혔는데, 이게 실력인지 봅니다.

1단계 — 우위를 구합니다.

$Δ = 56% - 50% = 6% p$

이게 분자입니다. 앞으로 이 $6% p$ 가 큰 값인지 작은 값인지를 판정하게 됩니다. 그 자체로는 크다 작다를 말할 수 없고, 비교할 자가 있어야 합니다.

2단계 — 시행 한 번의 분산을 구합니다.

$p_{0} (1 - p_{0}) = 0.5 \times 0.5 = 0.25$

기준선이 50%이므로 가장 애매한 판이고, 따라서 분산도 최댓값 $0.25$ 입니다. 여기서는 실력이 0이라는 가정 아래 계산하므로 관측값 56%가 아니라 기준선 50%를 넣습니다.

3단계 — 표준오차를 구합니다.

$S E = \frac{0.25}{100} = 0.0025 = 0.05 = 5% p$

읽는 법은 이렇습니다. **실력이 전혀 없는 사람이 100번 찍으면, 적중률이 50%에 딱 떨어지지 않고 대체로 $50% \pm 5% p$ 안에서 놉니다.** 45%가 나오기도 하고 55%가 나오기도 합니다. 이게 "아무것도 안 해도 이만큼은 출렁인다"의 크기이고, 앞으로 쓸 자의 눈금 한 칸입니다.

4단계 — 우위가 몇 칸인지 잽니다.

$z = \frac{6% p}{5% p} = 1.2$

$6% p$ 를 눈금 $5% p$ 짜리 자로 재니 1.2칸입니다. 단위(%p)가 위아래에서 약분되어 사라지는 것도 눈여겨보세요. $z$ 는 단위 없는 순수한 배수라서, 이 판이든 다른 판이든 같은 기준으로 비교할 수 있습니다.

5단계 — 칸 수를 확률로 바꿉니다.

앞의 표에는 $z = 1.0$ 이 16%, $z = 1.39$ 가 8%로 되어 있습니다. $z = 1.2$ 는 그 사이라서 약 11.5% 입니다.

결론: 판단 보류. 실력이 전혀 없는 사람도 100번 찍으면 9번에 한 번쯤은 56% 이상을 맞힙니다. 옆자리 사람 아홉 명에게 시켜보면 그중 한 명은 나만큼 맞힌다는 뜻이니, 아직 내 실력이라고 주장할 근거가 못 됩니다.

같은 이야기를 신뢰구간으로 하면.

$56% \pm 2 \times 5% p = 46% \sim 66%$

여기서 $\pm 2 \times S E$ 를 쓴 이유는 앞의 표에서 두 칸 바깥이 각 방향 2.3%씩, 양쪽 합쳐 5%이기 때문입니다. 즉 "내 진짜 실력은 95% 확신을 갖고 이 구간 안에 있다" 는 뜻이고, 이 구간이 바로 95% 신뢰구간입니다.

이 구간이 46%부터 66%까지인데, 기준선 50%가 이 안에 들어 있습니다. 그러니 "내 실력은 50%가 아니다"라고 말할 수 없습니다. 구간이 넓어서 진짜 실력이 48%일 수도 있고 64%일 수도 있는 상태입니다.

$z$ -검정과 신뢰구간은 같은 사실의 앞뒷면입니다. ** $z < 2$ 인 것과 신뢰구간이 기준선을 품는 것은 항상 같이 일어납니다.** 어느 쪽으로 말해도 결론은 동일하니, 상대가 알아듣기 쉬운 쪽을 쓰면 됩니다. 보통 "유의하지 않다"보다 "46%~66% 어딘가라서 아직 모르겠다"가 잘 전달됩니다.

예제 2 — 표본만 4배 ( $n$ 법칙 체감)

같은 6%p 우위, $n = 400$ .

$S E = \frac{0.25}{400} = 2.5% p$

$z = \frac{6}{2.5} = 2.4 \to p \approx 0.8%$

실력은 하나도 안 늘었는데 결론이 뒤집혔습니다. 통계적 유의성은 실력의 크기가 아니라 "실력 × 데이터양"의 함수라는 걸 보여주는 예입니다. 지금 상황(102건, $z = 1.39$ )이 예제 1과 예제 2 사이 어딘가에 있습니다.

예제 3 — 기준선을 극단으로 (뒤집힌 U자 체감)

기준선이 90%인 판(예: "이 종목이 다음 날 상장폐지 안 될 확률"). $n = 100$ , 관측 96%.

$S E = \frac{0.9 \times 0.1}{100} = 0.0009 = 3% p$

$z = \frac{6}{3} = 2.0 \to p \approx 2.3%$

우위도 6%p, 표본도 100건으로 예제 1과 똑같은데 z가 1.2에서 2.0으로 뛰었습니다. 뻔한 판에서는 잡음이 작으니 같은 크기의 우위가 훨씬 무겁게 평가됩니다.

뒤집어 말하면 이건 경고이기도 합니다. 기준선이 극단인 판에서 "적중률 96%"를 자랑하는 건 거의 의미가 없습니다. 아무것도 안 하고 "안 망한다"에 다 걸어도 90%가 나오니까요. 적중률이 아니라 기준선 대비 초과분을 봐야 하는 이유입니다.

예제 4 — 역산: 몇 건이 필요한가

우위 $Δ = 6.9% p$ 가 유지된다는 가정 하에 $z \geq 2$ 를 만들려면,

$n = (\frac{z p ( 1 - p )}{Δ})^{2} = (\frac{2 \times 0.5}{0.069})^{2} = 14.4 9^{2} \approx 210$

여기서 봐야 할 건 ** $Δ$ 가 제곱으로 들어간다**는 점입니다. 우위가 절반( $3.45% p$ )으로 줄면 필요 표본은 두 배가 아니라 네 배(840건)입니다.

이게 실무에서 가장 잔인한 부분입니다. 미세한 우위일수록 증명 비용이 폭증하고, 그 사이 시장은 변합니다. 큰 우위를 적은 데이터로 증명하는 게 작은 우위를 많은 데이터로 증명하는 것보다 압도적으로 쉽습니다.

예제 5 — 독립성이 깨질 때

지금까지의 모든 계산은 **" $n$ 번의 시행이 서로 독립"**이라는 가정 위에 서 있습니다. 이게 깨지면 앞의 숫자가 전부 낙관 쪽으로 틀립니다.

일봉 예측처럼 인접 관측이 닮아 있는 경우, AR(1) 근사로 자기상관 $ρ = 0.3$ 이라 하면

$n_{eff} = n \times \frac{1 - ρ}{1 + ρ} = 102 \times \frac{0.7}{1.3} \approx 55$

$S E = \frac{0.25}{55} = 6.74% p$

$z = \frac{6.9}{6.74} = 1.02 \to p \approx 16%$

102건이 실질적으로 55건 값어치밖에 못 합니다. 우연일 확률이 8%에서 16%로 두 배가 됐습니다.

직관은 간단합니다. 비슷한 사람에게 같은 질문을 두 번 하면 답변 두 개가 아니라 하나 반쯤 얻은 겁니다. 어제와 오늘의 시장 상황이 겹쳐 있으면, 어제 맞힌 것과 오늘 맞힌 것은 완전히 별개의 증거가 아닙니다. 표본조사에서는 이걸 설계효과(design effect), MCMC에서는 ESS라고 부르는데 발상은 전부 같습니다.

그래서 실무 원칙이 하나 나옵니다. 관측을 늘릴 때는 "더 오래"보다 "더 넓게"가 낫습니다. 조회기간을 800일에서 1,600일로 늘리면 옛 데이터가 섞이는 데다 서로 닮은 관측이 늘어나 유효표본은 기대만큼 안 늡니다. 서로 다른 20종목에 같은 설정을 돌리면 종목 간 상관이 낮은 만큼 훨씬 정직한 2,000건이 됩니다.

이 감각을 다른 판으로 옮기기

구조가 "기준선을 넘은 폭 ÷ 우연히 생기는 폭"이라 그대로 이식됩니다.

A/B 테스트 — 전환율 3.0% vs 3.4%, 각 5,000명. $S E = 0.03 \times 0.97/5000 \approx 0.24% p$ , 두 집단 차이의 표준오차는 $2$ 배인 약 $0.34% p$ , 따라서 $z \approx 1.2$ . 아직 아무것도 아닙니다. 전환율처럼 $p$ 가 작은 판은 잡음도 작지만 우위 역시 작아서 늘 수만 명이 필요합니다.
품질검사 — 불량률 개선 주장. 기준선이 극단이니 예제 3의 구조를 그대로 씁니다.
모델 정확도 비교 — 테스트셋 1,000장에서 91% vs 92.5%. $S E \approx 0.09 \times 0.91/1000 \approx 0.9% p$ , 차이 $1.5% p$ , $z \approx 1.2$ . 논문에서 흔히 유의하다고 주장되는 차이가 사실 잡음인 경우가 많습니다.

마지막 주의 두 가지

첫째, 지금 계산은 62.7%를 오차 없는 고정 기준선으로 놓았습니다. 이 값이 800일 전체에서 나온 값처럼 검증 102건보다 훨씬 큰 모집단 기반이면 문제없습니다. 하지만 62.7%도 비슷한 크기의 표본에서 추정한 값이라면 2표본 비율검정으로 넘어가야 하고, 분모에 양쪽 오차가 다 들어가 z는 더 작아집니다.

둘째, 이 모든 계산을 무력화하는 게 하나 있습니다. 여러 설정을 돌려보고 제일 잘 나온 걸 골랐다면 p-값 8%는 의미가 없습니다. 20가지를 시도하면 그중 하나가 $p < 5%$ 를 찍는 건 거의 당연합니다. 이걸 다중비교 문제(multiple comparisons)라고 부릅니다. 이 경우 정직한 검증은 선택에 쓰지 않은 새 기간·새 종목에서 다시 재보는 것뿐입니다.