이 책은 빅데이터를 제대로 활용하는 법을 알려주는 책이 아니다. 통계적 이론을 정리해 놓은 책도 아니다. 예측 하는 법을 배우고 싶다면 이 책은 그다지 유용하지 않다. 수 많은 사례들 속에서 스스로 깨달음을 얻어야 한다.이 엄청나게 두꺼운 책을 딱 두 단어로 요약하면 베이즈 주의 와 불확실성 이다. 저자는 불확실성을 수용하는 것이야말로 예측하는 사람의 기본 덕목이라고 생각한다. 예측은 수 많은 변수에 영향을 받는다. 꼼꼼한 사람이라면 우리가 알고 있는 변수의 현재값을 측정하고 모르는 변수의 값을 추정하여 정교한 시뮬레이션을 돌릴 수 있다. 하지만 문제는 우리가 무엇을 알고 무엇을 모르는 지 조차 명확하지 않다는 것이다. 예측은 아무리 정교해도 현재 가지고 있는 데이터를 넘어설 수는 없다. 따라서 모든 예측은 확률로 기술될 뿐이다. 예기치 않은 변수가 등장하거나 측정한 변수의 값이 바뀌었을 때 발생 확률은 다시 계산된다. 이것이 바로 베이즈 통계학의 기본이다.베이즈 통계학의 가장 아름다운 점은 설령 두 사람의 예측이 완전히 반대에 위치하더라도 새롭게 발생하는 사건(데이터)에 의해 동일한 결과로 수렴할 수 있다는 점이다. 우리가 예측의 불확실성을 인정하지 않으면 데이터가 아무리 쏟아져도 초기에 가졌던 인지적 편향을 바꾸기는 어려울 것이다. 인간의 뇌는 본능적으로 부조화를 기피한다. 초기 예측은 편향으로 똘똘 뭉쳐 있는데, 문제는 자신의 판단과 어긋나는 정보를 기피하려는 우리 뇌의 특성에 의해 이 편향이 더욱 강화되기 때문이다.베이즈 예측의 기본은 사전확률을 정한 뒤 새로운 정보가 추가됐을 때의 확률을 구해 사후확률을 계산하는 것이다. 예컨대 이성 친구가 바람을 필 확률을 예측한다고 가정해보자.(1) 사전확률- 이성친구가 바람을 피울 확률의 초기 추정치(x): 15%(2) 새로운 사건 발생: 수수께기의 이성과 같이 술을 마시는 장면이 포착되었다.- 이성친구가 바람을 피운다는 조건 하에 다른 이성친구와 술을 마실 확률(y): 95%- 이성친구가 바람을 피우지 않는다는 조건 하에 다른 이성친구와 술을 마실 확률(z): 10%(3) 사후확률- 이성친구가 다른 이성친구와 술을 마신다는 사실을 발견했다는 조건 하에 수정된 바람을 피울 확률xy/{xy+z(1-x)} = 0.62637363 = 약 63%혹자는 위 계산 과정에서 사용된 추정치들이 모두 주관적 판단에 의한 것이 아니냐는 문제를 제기할 수 있다.특히 무엇인가가 발생하기도 전에 그것의 발생 확률을 미리 정해둬야 한다는(사전확률 추정) 가정은(그 예측 결과를 알고 싶은건데 그 예측을 예측해 보라니?) 대단히 주관적이고, 어딘가 우스꽝스러워 보일 것이다.맞다. 베이즈 주의는 모든 추정이 100% 객관적이라고 주장하지 않는다. 실제로 초기 추정치에 따라 사후확률은 굉장히 탄력적으로 변할 수도 있다. 그럼에도 불구하고 이 통계학이 유용한 이유는 새롭게 등장하는 사건에 따라 끊임없이 예측값이 변화한다는 점이다.매 시간, 아니 매분 매초 마다 바뀌는 예측이 무슨 의미가 있냐고? 이렇게 묻는 사람들은 한번 곰곰히 생각해 보기 바란다. 이 세상엔 운명이라는 것이 존재하는가? 한번 내려진 예측은, 인간이 무슨 행동을 하든 기어이 실현되고 마는가? 예측은 이후에 우리가 어떻게 행동하고, 그 행동이 어떤 결과를 가져오느냐에 따라 완전히 달라진다. 변화야 말로 예측의 본질인 것이다.
오바마 재선 당시, 50개 주의 결과를 모두 맞힌
‘예측의 천재’ 네이트 실버의 슈퍼 베스트셀러!
2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버(Nate Silver)다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다. 유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다. 네이트 실버가 자신의 예측 방법론을 총정리한 신호와 소음(The Signal and The Noise 도 하룻밤에 베스트셀러가 되었다. 뉴욕타임스 에서 15주 연속 베스트셀러에 올랐으며, [아마존]에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
신호와 소음 은 통계학을 기반으로 어떻게 잘못된 정보(‘소음’)을 거르고 진짜 의미 있는 정보(‘신호’)를 찾을 것인지에 대한 책이다. 네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명하고 있다. 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.
나는 왜 이 책을 추천하는가: 여기에 당신의 미래가 보인다
송길영(다음소프트 부사장, 여기에 당신의 욕망이 보인다 저자)
들어가며: 신호와 소음
I. 예측에 대한 근본적인 의문들
1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가
2. 정치│내가 선거 결과를 맞힌 비법
3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가
II. 움직이는 과녁을 맞혀라!
4. 기상│예측의 진보, 허리케인과 카오스의 원뿔
5. 지진│라퀼라의 재앙을 아무도 예상하지 못하다
6. 평균과 불확실성│숫자에 속지 마라
7. 전염병│신종플루부터 에이즈까지
III. 미래를 내 손에 움켜쥐는 법
8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가
9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
10. 포커│상대방의 허풍을 간파하는 법
IV. 보이지 않는 손이 세상을 움직인다
11. 주식│개인은 절대 시장을 이길 수 없을까
12. 지구온난화│얄팍한 선동인가 과학적 진리인가
13. 테러│진주만 공습과 9·11테러의 공통점
나오며: 예측은 어떻게 가능한가
옮긴이의 말: 세상을 바라보는 새로운 눈
주註
카테고리 없음