[교수칼럼] 빅데이터로부터의 변화
[교수칼럼] 빅데이터로부터의 변화
  • 김재희 정보통계학과 교수
  • 승인 2016.11.24 19:03
  • 댓글 0
이 기사를 공유합니다

  선거 직전까지 주요 언론들을 비롯한 대다수의 여론조사기관과 전문가들은 미 대선에서 민주당 후보 힐러리 클린턴의 당선을 예측했었다. 뉴욕타임즈는 그 가능성을 90% 넘게까지 봤으나 결국 이는 빗나간 예측이 됐다.
  하지만 정확한 예측도 있었으니 그중 하나는 인도 스타트업 설립자 산지브 라이가 개발한 인공지능 프로그램 MogIA(모그 IA)이다. MogIA는 구글, 트위터, 페이스북 등과 같은 사회관계망 서비스로부터 추출한 2천만 건 이상의 데이터를 통해 공화당 후보 도날드 트럼프의 당선을 정확히 예측했다.
  지난 10월 말 CNBC는 대다수의 언론사와 달리 MogIA가 트럼프의 당선을 예측했다고 보도하며, 소셜미디어 데이터와 기계에 의존한 예측이 잘못된 결과를 보여주는 사례가 될 것이라고 치부했다. 그러나 결과적으로 MogIA는 인간의 예측보다 정확했으며, 이는 얼마 전 바둑에서의 알파고의 승리와 함께 빅데이터와 인공지능의 결합이 인간의 인지 능력이나 사고방식을 뛰어넘는 새로운 과학 영역의 위력을 보여주는 실례가 됐다.
  구글북스(google books)는 지난 5백 년간의 3천만 권의 책중 8백만 권의 책을 디지털화했고, 궁극적으로 모든 책을 망라하는 디지털도서관화를 지향하고 있다. 이러한 빅데이터를 기반으로 앤그램뷰어(Ngram Viewer)라는 프로그램은 검색창에 단어를 입력해 버튼을 클릭하면 순식간에 8백만 권의 책을 검색해 해당 단어가 지난 5백 년간 사용된 빈도 추이를 그래프로 보여준다. 이로부터 과거에는 가능하지 않았던 롱데이터(long data)로부터의 추세를 탐구할 수 있어 인문학과 사회학에 대한 연구방법의 새로운 장을 열고 있다.
  빅데이터는 기존 데이터보다 너무 방대해 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 정형, 반정형, 비정형 데이터를 의미한다. 1분 동안 구글에서는 2백만 건의 검색, 유튜브에서는 73시간의 비디오, 트위터에서는 27만 건의 트윗이 발생된다고 한다. 이러한 사회관계망 데이터는 빅데이터의 전형적인 예로 아주 다양한 정치, 사회, 문화적 이슈에 해답을 내포하고 있다. MogIA는 이러한 데이터로부터 최근의 미국 대선에 대한 정확한 답을 내줬다.
  최근 광화문 광장에서의 직접적인 시위와 함께 인터넷상에서는 국내의 정치적 상황에 대한 불안감, 우울감, 그리고 분노가 많이 표출되고 있다. 끊임없이 개진되는 의견들과 꼬리를 무는 댓글들은 엄청나게 많은 데이터를 양산하고 있다. 이러한 빅데이터를 분석해 우리의 정치적·사회적 미래를 추측한다면 어떠한 결과가 나올까 궁금해진다. 또 이러한 분석은 이해관계가 복잡하게 얽혀있는 정치적 집단들 간의 대안을 제시하고 합의에 이르게 할 수 있는 유용한 도구가 될 수 있을 것 같기도 하다.
  현재 우리는 인터넷에 기반을 둔 정보화 사회를 넘어 스마트 지능화 사회로 옮아가고 있는 단계에 있다고 한다. 빅데이터와 인공지능은 바둑이나 학문적 연구 분야, 선거예측 등을 넘어 이미 우리 생활의 많은 부문에 깊숙이 관여되고 있으며, 멀지 않은 미래에 직업을 포함한 우리 인간의 생활 방식을 획기적으로 바꿀 것이 확실하다.
  이러한 전환기에는 많은 혼돈이 있기 마련이지만, 이미 지난 변혁기(산업혁명, 인터넷 시대의 도래 등)에서 봐왔던 바와 같이 변화를 이해하고 적극 대응하는 자와 그렇지 못한 자는 엄청나게 커다란 차이가 있을 것이다. 어떻게 준비해야 하는지는 아직은 아무도 답을 줄 수 없다. 다만 현실에 안주하거나 주변 환경을 핑계로 쪼그라들지 않고, 적극적으로 미래를 내다보며 도전하는 자세를 견지하면 기회는 우리들 앞에 펼쳐질 것이라고 생각한다.
  그래도 대응 방안이 너무 추상적이라 생각한다면, 빅데이터를 공부해 보는 것은 어떠한가?

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 서울특별시 도봉구 삼양로144길 33 덕성여자대학교 도서관 402호 덕성여대신문사
  • 대표전화 : 02-901-8551, 8558
  • 청소년보호책임자 : 고유미
  • 법인명 : 덕성여자대학교
  • 제호 : 덕성여대신문
  • 발행인 : 김건희
  • 주간 : 조연성
  • 편집인 : 고유미
  • 메일 : press@duksung.ac.kr
  • 덕성여대신문 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2024 덕성여대신문. All rights reserved. mail to press@duksung.ac.kr
ND소프트