안녕하세요, 

알리바바 회장인 잭마가 이런 말을 했죠.

"과거 10년이 IT를 이야기 했다면 다음 10년은 DT (DATA Tech)가 지배하게 될 것이다."

요즘 진로 상담을 하다 보면 빅데이터 관련 관심을 가진 아이들이 많은 것 같아서, 

도대체 빅데이터로 무엇을 하려고 하는 것인지? 대표적인 적용 사례에 대해 공유드립니다.

▲ 미국 요크타운 하이츠에 있는 IBM 왓슨 연구소에서 한 연구원이 여러 대의 서버를 연결해 만든 수퍼컴을 점검하고 있다./블룸버그

IBM의 컴퓨터 과학자들이 미국 인기 퀴즈쇼 `제퍼디(Jeopardy)!`에 수퍼컴퓨터 `왓슨(Watson)`을 출연시키자는 아이디어를 낸 것은 2006년으로 거슬러 올라간다. IBM은 `그랜드 챌린지`라는 캐치프레이즈를 걸고, 불가능한 기술 영역에 도전하는 것을 전통으로 삼아왔다. 1997년 인간 체스 챔피언과 대결해 승리한 수퍼컴 `딥블루`가 대표적이다. 이때만 해도 IBM은 왓슨을 상업화한다는 계획은 전혀 없었다.

5년 후인 2011년 마침내 왓슨이 퀴즈 달인들을 제치고 우승하자, IBM 차기 회장으로 낙점받은 지니 로메티 당시 수석 부사장(현 IBM 회장)의 생각이 달라졌다. 그는 `수퍼컴이 한적한 연구소나 지키는 시대는 지났고 앞으로는 수퍼컴도 새로운 시장을 개척해야 할 것`이라고 판단했다. 2011년 말 IBM은 사내 벤처 형태로 연구개발부터 마케팅 인사까지 별도로 있는 `왓슨 조직`을 출범시켰다. 또 퀴즈뿐만 아니라 다양한 문제를 풀 수 있도록 왓슨을 훈련했다. 2014년 1월 IBM은 본사와는 별도로 뉴욕시 한복판에 왓슨 영업 총사령부 격인 왓슨 글로벌 본부를 설립했다. 여기서는 암 치료 의료진을 도와주는 왓슨, 자산을 관리해주는 왓슨, 신약 개발을 도와주는 왓슨 등을 판매한다. IBM은 왓슨을 최고의 영업맨이자 서비스맨으로 키우는 중이다.

수퍼컴퓨터의 외출(外出)이 시작되고 있다. 군사 분야나 기초과학 연구소의 전유물처럼 여겨졌던 수퍼컴이 금융·의료·스포츠·보험·상거래 등 경제·경영 분야 곳곳으로 들어가 활약하기 시작했다. `빅데이터` 시대의 물결에 올라탔다.


수퍼컴퓨터의 외출

①사기 거래 잡아낸 페이팔

온라인 결제 회사인 페이팔은 금융과 정보기술이 결합한 `핀테크`의 원조라고 불린다. 카드번호를 한 번만 등록해 놓으면 나중에는 이메일과 비밀번호로만 간편하게 결제할 수 있다. 공인인증서와 카드번호, 비밀번호를 넣고 복잡한 보안 소프트웨어를 깔아야 하는 국내 결제 시스템과 크게 다르다.

사고가 나면 어쩌려고 그럴까? 페이팔의 비결은 각종 사기 거래를 적발하는 강력한 시스템(FDS· Freud Data System)에 있다. 이 회사는 연간 2346억달러, 초당 7439달러의 거래를 처리하는데, 수퍼컴을 활용해 거의 실시간으로 사기 거래 여부를 판단한다. 가령 한국에서 결제한 사용자가 10분 만에 뉴욕에서 다시 접속해 결제하면 사기라고 보는 것이다. 이 수퍼컴은 마치 탐정처럼 수만 가지 온라인 결제 유형을 정리해 놓고 특정 사기 유형과 비슷하면 결제 도중에 거래를 중지시켜 버린다.

제임스 베레스 페이팔 CTO는 "주문한 상품을 정확하게 배송하는 것만큼 고객의 금융 정보를 안전하게 보호하는 것이 중요하다"면서 "실시간으로 사기 거래를 적발하기 위해 수퍼컴을 활용했다"고 말했다. 현재 페이팔은 FDS의 성공을 바탕으로 수퍼컴 활용 범위를 늘리고 있다. 예를 들어 주스 매장을 지나갈 때 이 매장에서 쓸 수 있는 쿠폰을 사용자 스마트폰으로 전송해 주는 서비스 등도 수퍼컴으로 구축할 예정이다.

②수퍼컴 산 메이저리그 구단주

수퍼컴 제조업체 크레이는 최근 미국 프로야구 메이저리그(MLB) 구단주에게 수퍼컴을 판 사실을 공개했다. 크레이는 43년 역사를 자랑하는 수퍼컴 분야 전통의 강자지만, 스포츠 구단주에게 수퍼컴을 팔기는 이번이 처음이다. 영화 `머니볼` 열풍으로 데이터에 기반한 `저비용 고효율` 야구가 통한다는 것이 알려진 후 아예 수퍼컴으로 야구 데이터를 분석하고 경기 전략을 짜는 구단주가 나타난 것이다. `머니볼`은 오클랜드 애슬레틱스(Oakland Athletics)의 실제 단장 빌리 빈을 모델로 한 영화다. 2000~2003년 빈 단장은 최하위급 연봉의 선수를 데리고도 매년 포스트시즌 진출을 달성했다. 출루율, 장타율 등 실제 성패에 영향을 미치는 데이터를 꼼꼼히 파악해 전략에 활용한 덕분이다.

야구에 데이터가 얼마나 많길래 수퍼컴을 쓰느냐고 반문한다면, 최근 MLB가 쏟아내는 데이터양을 몰라서 하는 소리다. 140년 역사를 자랑하는 MLB가 만든 데이터의 95%는 최근 5년 사이에 만들어졌다. 지난 135년간 생성된 데이터는 2기가바이트(GB)에 지나지 않았지만, 요즘에는 하루 1테라바이트(TB·1테라바이트는 1000기가바이트)의 데이터가 만들어진다. MLB는 투수가 던지는 공의 속도, 공의 움직임, 투수 팔 각도 등 20여 개의 데이터를 공 던질 때마다 기록한다. 수퍼컴을 산 구단주 이름은 알려지지 않았다. 구단주가 수퍼컴 활용을 일종의 전략 노출로 보고 구매 사실을 비밀에 부쳤기 때문이다. 다만 크레이는 방대한 데이터를 빠르게 이동시키는 데 최적화한 신형 수퍼컴을 판 것으로 알려져 있다.

③고객 응대하는 수퍼컴

미국 메릴랜드주 체비체이스에 본사를 둔 미국 2위 자동차 보험업체인 가이코(GEICO)는 상담 통화 중 보험 견적을 자동 계산하는 시스템을 도입했다. 최대한 빨리 견적을 만들어 고객 응대의 만족도를 높이는 것이 가이코의 숙제였다. 목표는 0.1초 안에 견적을 제공하는 것. 가이코는 이 목표를 기존 컴퓨터 성능으로는 달성할 수 없어 수퍼컴을 도입했다.

스마트폰 애플리케이션 샤잠(Shazam)은 라디오나 카페에서 흘러나오는 음악을 듣고 무슨 곡인지, 가수는 누구인지 알려준다. 음악의 음향 지문(Acoustic fingerprint)을 분석해 3500만 곡의 기존 음원과 신속하게 비교, 응답하는 것이 이 서비스의 핵심 기술이다. 수천만 곡을 한 번에 분석하려면 역시 수퍼컴 성능의 컴퓨터가 필요하다. 이 회사는 최근 수퍼컴에서 가속장치로 널리 쓰이는 그래픽처리장치(GPU)를 연결해 고성능 컴퓨터를 만들었다. 이 앱의 월간 사용자 수는 12월 현재 1억 명이 넘는다.

빅데이터·애널리틱스 열풍이 원인

시장조사기관 IDC의 스티브 콘웨이 수석 부사장은 "일반 기업들이 각종 비즈니스 문제를 해결하기 위해 수퍼컴을 도입하고 있다"면서 "수퍼컴이 이렇게 일반인과 가까이, 비즈니스 곳곳에서 쓰이는 것은 역사상 처음 있는 일"이라고 말했다.

1940년대 수퍼컴은 암호와 군사무기 개발에 주로 쓰였고 1960년대 이후에는 기초과학 연구에 많이 쓰였다는 게 콘웨이 부사장의 설명이다.

기온·습도·기압·풍향·풍속 등 수만 가지 정보를 수집해 날씨를 계산하는 작업, 물질 충돌 실험 후 나오는 정보를 계산해 우주의 비밀을 밝히는 작업, 원자핵 실험 시뮬레이션 등이 대표적이다. 중국의 국방기술대, 미국 로런스 리버모어 국립연구소, 일본의 이화학연구소 등 세계에서 가장 빠른 수퍼컴을 보유한 곳은 모두 정통 물리화학 연구소다.

연구소에 있던 거인(巨人)을 세상으로 부른 것은 `빅데이터`다. IBM에 따르면, 세계인들은 2020년에는 매일 1인당 143기가바이트(GB)의 데이터를 생성하게 된다. `정보의 홍수` 정도가 아니라 `데이터의 쓰나미`가 몰려오고 있는 것이다.

마쓰오카 사토시 도쿄대 교수는 "빅데이터를 처리하려면, 엄청난 컴퓨팅 파워와 통신 대역폭이 필요하다"면서 "빅데이터와 수퍼컴의 만남은 자연스럽고 필연적인 것"이라고 말했다.

마쓰오카 교수는 "구글이나 아마존과 같은 기업들도 수퍼컴에서 쓰이는 가속기(GPU)를 활용해 데이터센터를 만든 것으로 보고 있다"면서 "수퍼컴을 지배하는 자가 빅데이터를 지배하고 미래의 IT까지 지배하게 될 것"이라고 강조했다.

`맵듀스`나 `하둡`과 같은 각종 분석 도구를 활용해 빅데이터를 고속으로 분석하면, 계산만 빨리 하던 골리앗(수퍼컴)이 비즈니스 통찰력도 제공하고 상황에 맞는 판단도 하는 `다윗`의 능력까지 겸비하게 된다.

GPU 제조업체 엔비디아의 젠슨 황 CEO는 "기계 스스로 학습하고 판단하는 머신 러닝(기계학습)과 수퍼컴이 만나 무인자동차와 개인 로봇 비서 등 미래 성장 산업을 키우게 될 것"이라고 말했다.

머신 러닝으로 이어지면 인간의 일자리에는 위협

거인의 등장에 대한 우려의 목소리도 나온다. 우선 수퍼컴을 보유할 수 있는 기업과 그렇지 않은 기업 간의 격차가 더 벌어질 수 있다. 또 수퍼컴이 머신 러닝을 가속화시켜 일자리를 위협할 수 있다는 전망도 나온다. 스위스 리서치 기관 마이프라이빗뱅킹(MyPrivateBanking)에 따르면, 전 세계 약 201억달러가 사람의 개입 없이 `로보 어드바이저`라 불리는 고성능 컴퓨터 자산관리 프로그램으로 관리된다. 2016년에는 426억달러, 2017년에는 867억달러의 자산을 로봇이 관리할 전망이다. 의사들이 수퍼컴의 진단에 자꾸 의존하다 보면, 의료진의 역할이 축소될 것이라는 예측도 적지 않다.

일반 기업이 수퍼컴을 도입하는 데 기술 장벽이 높은 것도 사실이다. 수퍼컴 옹호론자인 마쓰오카 교수도 "현재 수퍼컴용 소프트웨어가 빅데이터를 충분히 잘 다룰 만큼 유연하지 못해 개선이 필요하다"고 지적했다. 베레스 페이팔 최고기술책임자(CTO)는 "고성능 컴퓨터를 다루는 것은 일반 엔지니어가 잘할 수 있는 일은 아니었다"면서 "수퍼컴에 특화한 인력을 공격적으로 뽑았다"고 덧붙였다.