빅데이터는 무엇이 달라진 것인가

빅데이터의 정의는 “기존 도구의 범위를 초과하는 규모의 데이터”다. 그런데 이 정의는 규모만 말하고 있어서 반쪽이다. 뒤에 붙는 문장이 진짜다 — 대규모 데이터에서 저렴한 비용으로 가치를 추출하는, 초고속 수집·발굴·분석을 지원하는 차세대 기술 및 아키텍처.

즉 빅데이터는 데이터의 크기가 아니라 크기 때문에 바꿔야 했던 방법 전체를 가리킨다.

5V

앞의 셋은 데이터가 가진 성질이고, 뒤의 둘은 그것을 쓰는 사람의 문제다. 나중에 나오는 분석 과제 우선순위에서 3V 는 투자 비용 요소, 1V(Value)는 비즈니스 효과로 갈라져 다시 등장한다. 그때 헷갈리지 않으려면 여기서 층을 나눠 두는 게 좋다.

빅데이터가 바꾼 것은 도구가 아니라 태도다.

마지막 줄은 논쟁적이다. 상관만 보고 움직이면 원인을 잘못 짚는다. 그래도 “먼저 상관을 찾고 인과는 나중에 검증한다”는 순서 자체는 데이터가 많을 때 실제로 효율적이다.

시험에 잘 나오는데, 네 가지가 다 “미래를 모른다”는 한 가지 이유의 변주다.

이유	내용
데이터 활용 방식	자원처럼 여러 곳에 쓰이므로 활용 방향에 따라 가치가 변한다
가치 창출 방식	같은 데이터도 어떻게 엮느냐에 따라 값이 달라진다
분석 기술의 발전	지금은 못 뽑아내도 기술이 발전하면 뽑을 수 있게 된다
데이터 수집 원가	수집·가공 방법에 따라 비용 편차가 크다

요소	내용
자원	데이터의 실시간 수집과 전처리
기술	분산 저장·처리, 데이터 마이닝, 시각화, AI
인력	통계·수학·컴퓨터공학·경영학에 도메인 지식을 더해 분석하고 해석하는 사람

세 번째가 핵심이다. 데이터 사이언티스트에게 요구되는 것은 두 갈래다.

	내용
하드 스킬	빅데이터 이론 지식, 분석 기술 숙련도
소프트 스킬	통찰력, 설득력(스토리텔링), 다분야 협력

하드 스킬은 배우면 되고 소프트 스킬은 안 그렇다는 게 이 구분의 요점이라고 본다.

흐름을 보면 축이 IT 에서 Business 로, 내부 기록에서 외부 자원으로 옮겨 왔다. 마지막 칸이 “권리”인 것이 의미심장하다 — 데이터를 누가 가지느냐가 기술 문제에서 제도 문제로 넘어갔다. 다음 글의 주제가 그것이다.

시험용 목록이지만 이름만 봐도 무엇을 하는지 알 수 있게 적어 둔다.