데이터에서 지혜까지, 그리고 그것을 담는 그릇
시험을 준비하며 만든 정리 자료를 글로 옮긴다. 원래는 시험장에서 훑어보려고 두문자만 남긴 메모였는데, 시간이 지나니 나조차 읽히지 않아서 풀어 쓴다.
데이터 · 정보 · 지식 · 지혜
네 층은 위로 갈수록 “가공”이 아니라 “해석”이 들어간다.
| 층 | 정의 | 예 |
|---|---|---|
| 데이터 | 추측·추론·예측의 근거가 되는 객관적 사실 | A 마트는 우유를 800원에 판다 |
| 정보 | 데이터를 가공·처리해 관계를 분석한 결과 | B 마트보다 200원 싸다 |
| 지식 | 정보를 구조화해 내재화한 고유의 결과물 | 우유는 A 마트에서 사야겠다 |
| 지혜 | 축적된 지식으로 근본 원리를 이해하고 결합한 창의적 산물 | A 마트는 다른 물건도 쌀 것이다 |
데이터 하나는 단순한 객체로도 값어치가 있지만, 다른 객체와 관계를 맺을 때 훨씬 큰 값이 된다. DIKW 를 외우는 것보다 이 문장이 더 중요하다고 생각한다.
지식 창조 메커니즘 — 공통화 · 표출화 · 연결화 · 내면화
암묵지(경험으로 몸에 붙어 전달이 어려운 것)와 형식지(문서·수치로 남아 전달이 쉬운 것)가 서로를 오가며 지식이 만들어진다. 네 단계는 순서가 아니라 회전이다.
| 단계 | 방향 | 뜻 |
|---|---|---|
| 공통화 | 암묵지 → 암묵지 | 경험을 함께하며 옮긴다 |
| 표출화 | 암묵지 → 형식지 | 경험을 밖으로 꺼내 형태를 준다 |
| 연결화 | 형식지 → 형식지 | 흩어진 형식지를 엮어 구조를 만든다 |
| 내면화 | 형식지 → 암묵지 | 익혀서 다시 몸에 붙인다 |
앞의 DIKW 와 겹쳐 보면 자리가 맞는다 — 데이터는 공통화, 정보는 표출화, 지식은 연결화, 지혜는 내면화 자리에 온다.
데이터를 나누는 두 개의 축
형식으로 나누기
| 정형 | 반정형 | 비정형 | |
|---|---|---|---|
| 구조 | 정해진 형식·구조 | 형식이 유연 | 구조 없음 |
| 예 | 관계형 DB, 스프레드시트 | JSON, XML, RDF, HTML | 동영상, 이미지, 음성, 문서, 메일 |
| 연산 | 바로 가능 | 파싱 후 가능 | 별도 처리 필요 |
환원 가능성으로 나누기
| 가역 데이터 | 불가역 데이터 | |
|---|---|---|
| 원본과의 관계 | 1:1 대응 | 독립 (1:N, N:1, N:M) |
| 환원 | 가능 | 불가능 |
| 처리 | 탐색 | 결합 |
| 있는 곳 | 데이터 마트 / 웨어하우스 | 데이터 전처리 / 프로파일 |
가역이냐 아니냐는 “되돌릴 수 있느냐”의 문제라기보다 변경 사항을 반영할 수 있느냐의 문제다. 원본이 바뀌었을 때 따라 바뀌면 가역, 이미 다른 것이 되어 버렸으면 불가역이다.
데이터베이스 — 네 가지 성격
데이터베이스는 데이터의 종합 집합체다. 시험에서는 네 성격을 묻는다.
| 성격 | 뜻 | 대가 |
|---|---|---|
| 통합된 데이터 | 같은 내용이 중복되지 않는다 (일관성·무결성 보장) | |
| 저장된 데이터 | 실시간 접근이 가능한 저장 장치에 있다 | 비용 |
| 공용 데이터 | 여러 사용자가 여러 목적으로 쓴다 | 대용량·복잡한 구조, 보안 부담 |
| 변화하는 데이터 | 현 시점의 상태를 유지하며 계속 갱신된다 | 관리 부담 |
종류는 네 가지다 — 관계형, 객체지향형, 네트워크형, 계층형.
OLTP 와 OLAP — 같은 데이터, 다른 쓰임
| OLTP | OLAP | |
|---|---|---|
| 목적 | 갱신 (거래 처리) | 조회 (분석) |
| 연산 | 복잡한 트랜잭션, 동시성·순서 보장 | 단순 조회, 집계 |
| 데이터 | 정규화된 핵심 데이터 | 비정규화·요약 데이터 |
| 규모 | 수 GB | 수 TB |
| 단위 | 일 단위 상세 데이터 | 요약 데이터 |
| 중심 | 트랜잭션 | 주제 |
| 예측 | 가능 | 목적이 아님 |
OLTP 는 지금 벌어지는 일을 기록하고, OLAP 은 벌어진 일을 이해한다. 둘을 한 데이터베이스에 얹으면 조회 질의가 거래를 막는다. 그래서 웨어하우스가 필요해진다.
데이터웨어하우스 — 주제 · 통합 · 시계열 · 비휘발
| 특성 | 뜻 |
|---|---|
| 주제 지향성 | 업무 기능이 아니라 분석 주제로 묶는다 |
| 통합성 | 여러 원천의 코드·단위를 하나로 맞춘다 |
| 시계열성 | 시점을 갖는다. 과거를 지우지 않는다 |
| 비휘발성 | 한 번 들어온 데이터는 갱신되지 않는다 |
비휘발성이 OLTP 와 가장 크게 갈리는 지점이다. 거래 DB 는 “지금 잔액”을 유지하지만 웨어하우스는 “그때 잔액”을 남긴다.
데이터가 흘러가는 길
DATA → ETL → ODS → DW → OLAP → 데이터 마이닝 → 분석 도구 → 경영 기반 솔루션| 구간 | 하는 일 | 지식 창조 단계 |
|---|---|---|
| DATA → ETL → ODS | 수집·추출·변환 | 공통화 |
| ODS → DW | 저장, 색인·구분 | 표출화 |
| DW → OLAP | 요약·처리 | 연결화 |
| 마이닝 → 솔루션 | 분석·시각화 | 내면화 |
ODS(Operational Data Store)는 웨어하우스로 들어가기 전 잠깐 머무는 곳이다. 원천의 형식이 제각각인 데이터를 여기서 한 번 고른 뒤 넘긴다.
경영 기반 솔루션은 KMS(지식관리), DSS(의사결정지원), BI 같은 것들이다. 데이터 파이프라인의 끝은 저장소가 아니라 의사결정이다 — 이 줄을 그려 놓고 나서야 각 단계가 왜 있는지 이해했다.