네가 어젯밤 한 일을 쿠키는 알고있다!

 

책상 위 먹다 남은 쿠키 말고(드립 센스...)

웹 사이트를 유랑하며 남긴 우리의 발자국들이 정보파일로 저장되는 쿠키. 일부러 삭제하지 않는 이상 인터넷 창을 닫아도  '쉽게 정보를 불러온다'라는 목적으로  우리의 방문 기록은 계속 남아있다. 어제밤 당신이 어디에서 무엇을 검색했던 그 기록은 '누군가가 볼 수 있는' 데이터로 남게 되는 것이다. 의식의 흐름 데로 클릭한 사이트 리스트들을 들춰보면 내가 보고 듣고 관심 있어하는 것들을 분석할 수 있다. '나도 몰랐던 나'를 알 수 있는 것이다. 

 

온, 오프라인 구분이 의미가 없어진 요즘 우리는 다양한 방법으로 우리의 궁금증을 해결하고 관심사를 소비하며 우리를 표현한다. 아주 사적인 이런 행동들이 모여 거대한 데이터가 되고, 이를 모으고 분석하면 인간과 사회가 돌아가는 원리를 깨우친다.

 

다음소프트 이사 최재원 님이 연구한 '치킨지수'

 

‘치킨지수’라고 들어본 적 있는가? 우리가 SNS에 ‘치킨’을 언급한 데이터들을 모아 ‘행복지수’를 알수 있다는 다음소프트웨어에서 발표한 지수이다. 실제 거의 유사한 패턴으로 언급되고 있다. 이를 통해 우리나라에서 발생한 중요 사건들을 치킨지수를 통해 그 긍정 지수를 알 수 있다고 한다. 일부 언론에서는 눈 오는 날, 남북정상 회담 이슈의 긍정 지수를 판단한다. 한국 사람은 행복할수록 치킨을 많이 언급한다는 것이다! 내가 올해 얼마나 행복했는지 알려면 몇 번 치킨을 주문했는지 세봐 야 할 것 같다.

 

---

"아니, 유튜브는 왜 야한 영상만 추천하는 거야?"

(아, 물론 제 이야기는 아닙니다)

 

누군가가 유튜브는 야한 영상만 추천한다며 불평하는 것을 듣고, '평소 그 사람이 어떤 영상을 보는지 알만하다.'라는 이야기를 들은 적이 있다.(정말이다. 들은 이야기다.)  이제는 너무나도 잘 알고 있는 검색이 영향력은 모두 익숙할 것이다. 많은 기업들이 이미 각자 보유하고 있는 빅데이터로 자동적으로 상품을 추천하고 더 오랜 시간 머무르도록 하고 있다. 우리가 쉽게 넷플릭스, 유튜브를 끊지 못하는 것도 의지의 문제만은 아닌 것이다. 그들은 더욱 강해지고 있다!

 

책 ‘모두 거짓말을 한다’의 저자 세스 스티븐스 다비도위츠는 "구글은 다른 기업들이 할 수 없는 방식으로 빅데이터를 활용해 자동적인 돈의 흐름을 구축한다.”라며 사람들을 유인하기 위한 여러 노력들을 알려준다. 거의 일상이 된 구글 검색은 무작위로 실험할 수 있는 오픈 공간으로 너무나 쉽고 탁월한 방법으로 다양한 실험을 할 수 있다. '여기를 보세요!'라고 확성기에 소리 지르던 시대를 지나 무의식적으로 광고를 더욱 클릭하고 싶도록 만드는 것이다.

 

기업들이 가장 많이 사용하는 방법은 '도플갱어 찾기'인데 나의 기록들로 내가 좋아하고 싫어하는 것이 유사한 사람들을 찾아내는 것이다. 도플갱어 그룹을 찾아 선호할 만하지만 아직 몰랐을 것들을 추천하면 고객들은 더욱 풍부한 경험을 하게 되고 더욱 오랜 시간 해당 서비스를 이용한다. 하지만 '도플갱어 찾기'라는 이윤창출에만 유용한 것이 아니다. 도플갱어들이 한, 내가 몰랐던 선택지를 아는 것은 나에게 더 나은 선택을 할 수 있도록 한다. 병원 진료에 이를 대입한다면 나와 유사한 증상을 가진 사람들의 데이터를 이용해 좀 더 정확한 진단과 치료법을 선택할 수 있는 것이다. '도플갱어 찾기'는 많은 사람들의 다양한 사례들을 활용해 개인이 처한 각기 다른 상황과 다양성을 존중받을 수 있는 시대를 열어줄 것이다.

 

이거슨 바로 현실 도플갱어 -0- 엄청 닮았다!

 

하지만 '모두가 거짓말을 한다'의 저자가 강조하고 있는 빅데이터의 중요성은 상업적인 가치 때문만은 아니다. 빅데이터를 활용해 인간의 행동들을 이해하고 여러 사회문제를 좀 더 민감하게 바라보고 해결책을 제시하는 사회과학의 혁명이라고까지 이야기한다. 

 

 

---

여자의 직감도 세심하게 쌓인 빅데이터다

 

사실 우리의 직감도 데이터다. 많은 경험과 세심한 관찰로 직감적인 판단이 맞을 확률을 높이는 것이다. 하지만 한 사람이 가진 직감만으로 복잡한 인간의 행동을 이해하기에는 그 데이터양이 너무 작다. 데이터세트에 많은 관측 결과가 있을수록 충분한 표본을 가지고 유효한 결론을 얻을 수 있기 때문이다. 그래서 우리는 빅데이터가 필요하다.

 

사람들은 검색창에 거짓말을 적지 않는다. 궁금한 것을 얻기 위해서는 솔직하게 원하는 것이 무엇인지 밝혀야 한다. 검색창에 하는 자백들을 모아보면 거대한 '집단 직감'이 되는 것이다. 인터넷 시대의 발달로 가져온 거대한 데이터들은 우리 자신을 보는 방법에 혁명을 일으키고 있다. 빅데이터가 말해주는 이야기는 사람들을 더 잘 이해할 수 있도록 도움을 준다. ‘데이터 혁명’인 것이다. 

 

빅데이터의 POWER!!

• 다양한 채널로 새로운 유형의 데이터가 유입된다.(포르노 사이트, 소셜 네트워크, 특정 목적의 앱 등)
• 익명의 설문조사보다도 더 솔직한 답변의 데이터를 제공받는다.(사람들은 검색창에 거짓을 입력할 이유가 없다)
• 작은 집단도 클로즈업해서 볼 수 있다(사진을 확대하려면 화소가 높아야 하듯)
• 인과관계를 다양한 방법으로 실험할 수 있다.(A/B 테스트, 무작위 테스트 등)

 

많은 자원과 시간을 들여 겨우 몇천 개의 정보만으로 중요한 결론을 내던 시대는 갔다. 사람들은 문제가 생기면 검색부터 하고 그 익명의 기록들은 그들의 '진짜' 문제를 알게 해주며 해결 방법까지 알려준다. 필터 없이 솔직하게 적은 사람들의 사적인 고민은 공적인 데이터가 되어 많은 이들에게 도움이 된다. 나만의 문제라 여기며 불안하고 당혹스러운 기분을 나만 느끼는 것이 아니라는 사실에 안도할 수 있다. 사람들은 원래 조금씩 이상하고 문제가 많다. 그것을 아는 것만으로도 위로가 된다. 또 다른 이점은 어려움에 처한 사람들을 민감하게 알아차릴 수 있다. 폭력에 노출된 사람들을 알아차릴 수 있고, 차별에 고통받는 사람들이 많은 곳이 어딘지 알아내고 자원을 효율적으로 투입할 수 있다. 이는 인간의 행동을 좀 더 이해하고 문제를 해결하는 방법을 알려주며 많은 사람들을 도울 수 있는 것이다.

 

---

빅데이터의 달콤함에 절대 빠지지 마세요

 

빅데이터만 과신했다가는 역으로 당합니다.

 

당연하지만 빅데이터가 만병통치약은 아니다. 유용한 것만큼이나 위험하고 무서운 것 또한 빅데이터이다. 책에서는 빅데이터로 할 수 없는 것과, 해서는 안 되는 것들을 집어준다. 세상은 너무나 복잡하고 엄청난 수의 변수가 있다. 어떤 것들은 감당이 안 될 정도로 그 일에 영향을 주는 변수들이 많은 분야가 있다. 주식이나 시장을 예측하고, 특정 유전자를 찾는 것은 예측할 변수들이 몇 천, 몇 만 가지이며 이것들을 모두 분석하는 것은 의미가 없다. '차원의 저주'이다. 

 

그리고 빅데이터에는 항상 이를 뒷받침해줄 작은 단위의 데이터와 인간의 판단이 필요하다. 빅데이터는 거들 뿐 숫자로 알 수 없는 것들은 소규모 설문조사로 보충해야 하는 것이다. 클릭은 했지만 어떤 기분을 느꼈는지, 그 이유는 무엇인지, 나에게 어떤 영향을 주었는지 행동으로 알 수 없는 것들이 여전히 존재하기 때문이다. 빅데이터에는 항상 사각지대가 있고 그 설계와 판단은 우리의 몫인 것이다.

 

또 놓쳐서 안될 것은 데이터 세트에 한계가 있음을 인지해야 한다는 것이다. 앞전에 소개한 '치킨지수'도 긍정 지수에 대표성을 띠기 어렵다는 게 개인적인 생각이다. '치킨지수'에서 사용한 데이터는 오직 트위터뿐이기 때문이다. 한국과 미국의 트위터 이용률과 그 용도 또한 다르다. 과연 우리나라에서 행복한 사람들이 트위터 앱을 얼마나 켤까? 다른 예로 내가 관리하고 있는 홈페이지만 하더라도 네이버로 유입되는 사용자는 60%인데 반해 구글로 유입되는 사용자는 5.26%에 그친다. 5.25%의 데이터로 유의미한 분석을 한다는 건 어불성설이다.

 

빅데이터로 하지 말아야 할 것도 분명하다. 소비자를 농락하며 기업의 이윤만을 추구를 위해서나, 대표값 설정을 위한 빅데이터를 개인에게 대입하여 인권을 침해하는 것도 옳지 않다. 빅데이터로만 세상을 본다면 고정관념, 편견을 더욱 강화할 수 있다. 인간을 이해하는 것을 넘어 개인을 판단한다면 더욱 큰 오류를 범할 수 있다. 

 

책에는 빅데이터의 통찰을 빼고도 재미있게 읽을만큼  재미있고 흥미로운 사례들이 다양하게 소개되고 있다. 고정관념과는 거리가 먼 현실의 이야기들을 들으면서 빅데이터가 만능이라고 하지도 않는다. 아직 빅데이터가 본격적으로 사용되고 있지 않고, 제대로 사용하는 곳도 드물다. 하지만 무궁무진한 힘을 알아보고 여기저기서 빅데이터를 긁어모으고 있다. 하지만 저자의 말처럼 더 많은 데이터가 중요한 것이 아니라 적절한 데이터가 중요하다. 우리는 무엇을 얻고 싶은가? 무엇을 해결하고 싶은가? 그것이 아는 빅데이터 혁명의 시작일 것이다. 

 

 

모두 거짓말을 한다