영화 <아더 크리스마스>에서는 천 년의 역사를 가진 산타 마을 산타들이 어린이들이 원하는 선물을 알아내기 위해 편지, 신상정보, 대화 등을 분석해 추려내는 과정을 그린다. 현재 아마존과 일부 기업들은 이처럼 소비자 개개인 간 데이터를 분석해 소비자들이 원하는 상품을 유추하기도 한다. 이같이 많은 정보의 흐름을 분석해 그 특성을 알아내는 것을 ‘빅데이터(Big Data)’라고 한다. 자주 들려오지만 낯선 개념인 빅데이터는 과연 무엇일까.
계속해서 빅데이터가 화두가 되고 있다. 이제는 IT를 잘 모르는 사람들도 한 번쯤은 들어봤다고 말할 정도로 ‘핫’한 키워드가 됐다. 포털사이트 검색창에 빅데이터라고 입력해 봐도 나오는 결과들은 다양하다. 패션, 소비트렌드, 교통 등 빅데이터와 관련된 사례들이 홍수처럼 범람해 있다.
빅데이터의 사전적 뜻을 찾아보면 기존의 기술로는 분석할 수 없을 정도의 방대한 양의 데이터를 의미한다. 3V(대용량의 Volume, 다양성의 Variety, 속도의 Velocity)의 조건을 충족하면 빅데이터가 될 수 있다고 정의한다. 그리고 이러한 데이터로 미래를 예측할 수 있다는 내용도 빠지지 않는다.
빅데이터의 애매한 정의가 야기한 혼란들
빅데이터를 방대한 정도, 크기, 빠르기 등의 요소들만으로 정의하기엔 다소 애매한 부분이 존재한다. 그러면서 꼭 나오는 사례가 브래드 피트 주연의 영화 <머니볼>이다. 머니볼은 야구계의 스티브 잡스, 빌리 빈(브래드 피트 분) 단장이 데이터 분석을 이용해 최약체 오클랜드 애슬래틱스 팀을 140년 메이저리그 역사상 최초의 20연승을 기록하는 팀으로 만들어 가는 과정을 담은 영화다. 빅데이터 관련 서적과 기사에는 분석이 직관을 이기는 데이터의 사례로 이 영화가 자주 인용된다. 만년 최하위 팀이었던 오클랜드는 경제학 전공자인 피터 브랜드(조나 힐 분)를 영입해 출루율만으로 선수들을 뽑은 결과 20연승을 기록했으며 서부지구 1위로 시즌을 마쳤다는 것이 영화의 주 내용이다. 하지만 출루율로 승리를 예측했다고 해서 이를 빅데이터 운영 사례라고 보는 것은 문제가 있다. 수치화된 데이터 영역으로 출루율이 갖는 데이터 속성이 이용된 것일 뿐이기 때문이다.
빅데이터가 무엇인지 논하기에 앞서 ‘데이터’란 무엇인지를 생각해볼 필요가 있다. 데이터는 주위에서 가장 쉽게 볼 수 있는 것 중 하나다. 투표가 끝나면 사전조사 등을 통해 출구조사를 한다. 이 결과를 놓고 우리는 결과를 예측한다.
오차범위 내에서는 대체로 잘 맞는 편이다.
하지만 빅데이터는 미래를 예측한다는 것을 넘어서 앞으로 벌어질 일을 좀 더 세밀하고 정확히 맞춘다는 데에 더 큰 의미가 있다. 과거에는 기술적, 경제적 한계로 버려졌던 데이터들이 모두 수집, 분석될 수 있는 시스템이 구축됐기 때문에 가능한 변화다. 빅데이터 플랫폼인 ‘하둡’을 빼놓고 빅데이터를 설명할 수 없는 이유다. 즉, 투자자본수익률(ROI)을 확보했기 때문에 상용화될 수 있는 것이다. 예전에는 데이터 저장에도 수많은 비용이 들어 포기했던 부분을 X86 서버나 하둡과 같은 저가 장비, 시스템을 통해 저장, 분석할 수 있게 되면서 등장한 개념이다.
빅데이터가 가져올 유익
빅데이터를 이용해 수익을 창출하고 있는 사례로 미국 온라인 스트리밍 업체 ‘넷플릭스’가 있다. 지난 1997년 설립된 넷플릭스는 DVD를 우편으로 대여해주는 평범한 업체였다. 하지만 최근 넷플릭스의 가입자 수는 미국 최대 케이블 방송사인 HBO의 가입자 수를 넘어서며 위세를 떨치고 있다.
넷플릭스는 DVD를 대여하는 이용자들의 데이터 분석을 병행했다. 일례로 소비자들이 DVD를 대여하면 검색, 클릭 등의 과정을 통해 이들의 심리를 파헤치려 했다. 더 나아가 시청 습관, 프로그램을 통해 얻고 싶은 것까지도 분석하며 맞춤형 콘텐츠를 실시간으로 공급하는 단계에 이르렀다. 사이트 이용자의 60%가 추천받은 콘텐츠를 이용하고 있는 현상이 이를 방증한다.
요즘 누구나 하는 페이스북도 이용자의 무수한 데이터를 활용하고 있다. 페이스북을 이용하다 보면 오른쪽 상단에 ‘알 수도 있는 사람’이라는 카테고리가 눈에 들어온다. 마우스를 클릭하면 놀라운 광경이 연출된다. 과거 여자친구, 남자친구까지 찾아주는 맞춤형 결과가 나오는 것이다. 일단 페이스북에 가입하면서 기입한 이메일, 직장, 대학 등이 근거가 돼 그와 같은 범주의 데이터를 입력한 사람들을 곧바로 이어준다. 심지어 특정인을 검색할 때는 과거에 검색해본 적 있는 사람이 우선해 결과에 나오도록 배치된다.
최근에는 페이스북의 얼굴 인식 정확도가 97%에 달한다는 연구 결과가 나오기도 했다. 인간의 얼굴 인식 수준은 97.53%인데 페이스북 인공지능 팀이 개발한 얼굴인식 알고리즘 ‘딥페이스’의 정확도는 97.25%에 달한다.
빅데이터가 개인을 감시하게 될 거라고?
개개인의 움직임, 성향 등을 예측할 수 있는 빅데이터의 속성 때문에 사생활 침해 부분이 계속해서 논란이 되고 있다. ‘빅브라더 사회’가 시작되는 것 아니냐는 우려가 일고 있는 것이다. 최근 카드사 및 KT의 개인정보 유출 때문에 빅데이터 분석 사업이 거의 철수되다시피 했다는 내용도 보도되고 있는 상황이다.
이는 빅데이터에 대해 모호하게 내린 정의 때문에 벌어지는 일이다. <역사란 무엇인가>의 저자 카(E.H.Carr)는 이러한 인과관계에 대해 애연가 로빈슨의 사례로 설명했던 적이 있다.
로빈슨은 어느날 담배를 사러 길을 건너다가 음주운전 중이었던 존스의 차에 치여 현장에서 즉사했다. 사고의 원인을 조사하던 사람들은 존스가 반쯤 취한 상태가 원인이었다고 지목했다. 이때 어떤 사람이 나타나 “그날 로빈슨이 담배를 사기 위해 길을 건너지 않았더라면 사망하지 않았을 것”이라며 “그의 흡연욕이야말로 이 사건의 중요한 사망 원인”이라고 주장하면서 이를 무시한 조사는 시간 낭비라고 말했다.
빅브라더 사회의 핵심은 개인의 정보를 국가가 수집하고 이를 개인 통제 용도로 사용하는 것에 있다. 하지만 빅데이터는 개개인의 익명성을 보장한 채 그들의 몇 가지 행동을 통해 다음 행위를 예측할 수 있다는 의미로 개인정보와는 다른 개념이다. 분석하고자 하는 대상이 누구인지는 모르지만 다음 행동을 예측할 수 있는 개념인 것이다. 로빈슨이 담배를 끊었다면 그날 담배를 사러 길을 건너지 않았을 것이고, 차에 치여 숨지지도 않았을 것이다. 하지만 차에 치일까 무서워서 담배를 끊는 사람이 있을까. 빅데이터도 마찬가지다. 기업, 국가가 개인의 사생활을 침투하지 못하는 대안을 마련하는 방향으로 이뤄져야지 빅데이터의 도입을 무작정 막는 것은 문제를 해결하는 합리적인 방법은 아니다.
사소한 정보에서 시작해 거미줄 같은 연관성을 만들어내는 것. 이것이 바로 빅데이터이다. 과거부터 데이터로 미래를 예측하고 싶었던 인류는 이제 빅데이터를 통해 더 정확하고, 세밀한 분석을 하기 시작한 것이다.
사생활 침해에 대한 논란은 앞으로도 계속될 것이다. 이에 대해 CCTV의 이야기로 마무리를 하고 싶다. CCTV를 화장실에 설치하는 것은 사생활 침해 범죄에 해당한다. 하지만 대형마트에 CCTV를 설치하고 그곳을 들르는 고객들의 구매 패턴을 분석해서 적재적소의 위치에 제품들을 배치해 편리함을 주면, 이것은 혁신이 된다. 무엇이 혁신이고 위기인지 올바로 구별해야 할 때가 지금이 아닐까 싶다.
유재석
마이크로소프트웨어 기자
