본문 바로가기
개발/Python

데이터 이해

by 피로물든딸기 2025. 12. 23.
반응형

전체 링크

 

암묵지 

- 말이나 문서로 표현하기 어려운 지식

- 경험, 직관, 감각, 노하우에 기반

- 숙련 개발자의 "이 코드는 왠지 위험해 보인다"는 감각

- 개인의 내면화된 지식 → 조직의 지식으로 공통화

 

형식지

- 문서, 수식, 코드, 매뉴얼 등으로 표현 가능한 지식

- 공유와 저장이 용이

- API 문서, 알고리즘 설명서, 코딩 규칙

- 언어, 기호로 표출화된 지식 → 개인 지식으로 연결화

 

내면화 : 형식지 → 암묵지, 문서·이론으로 배운 것을 직접 해보며 체득하는 과정

공통화 : 암묵지 → 암묵지, 말이나 문서 없이, 경험을 공유하면서 암묵지가 다른 사람에게 전이

표출화 : 암묵지 → 형식지, 개인의 경험 · 머릿속 감각 · 노하우를 언어, 문서, 그림, 공식 등으로 표현

연결화 : 형식지 → 형식지, 이미 문서화된 지식들을 조합·재구성하여 새로운 지식을 만드는 과정


DIKW 피라미드

- 지혜 : A사의 다른 물건도 더 쌀 것이다.

- 지식 : A사에서 휴지를 사야겠다. 

- 정보 : A사 휴지가 더 싸다.

- 데이터 : A사는 100원에, B사는 200원에 휴지를 판매한다.


빅데이터 시대의 변화

1. 사전처리 → 사후처리

2. 표본조사 → 전수조사

3. 데이터의 질 → 양

4. 인과관계 → 상관관계

 

빅데이터 기능 비유

1. 석탄, 철 : 제조업 + 서비스 분야 모두 생산성 증가

2. 원유 : 성장에 필요한 정보 제공

3. 렌즈 : Ngram Viewer - 데이터가 산업 발전에 영향을 미침

4. 플랫폼 : 페이스북, 카카오톡 등

 

빅데이터 시대 위기 요인

1. 사생활 침해 

- 여러 데이터를 결합, 분석해서 개인을 식별하거나 민감한 정보를 추론

→ 동의에서 책임으로 

2. 책임 원칙 훼손

- 빅데이터 분석 결과(알고리즘)가 의사 결정의 근거, 문제가 발생했을 때 누가 책임을 지는가? (마이너리티 리포트)

→ 결과 기반 책임 원칙

3. 데이터 오용

- 차별적 활용, 목적 외 사용, 보안 사고

→ 알고리즘 접근 허용

 

빅데이터 시대 가치 패러다임 변화
DCA - 디지털화(Digitalization) → 연결(Connection) → 에이전시(Agency)


OLAP (Online Analytical Processing)

- 다차원 데이터 분석 기술, 대량의 데이터를 빠르게 집계·요약·조회

 

Business Intelligence

- 기업 의사결정을 지원하는 데이터 활용 체계

- 일/주/월 정기 리포트

 

Business Analytics

- 통계 · 수학 · 머신러닝 기반의 심층 분석


DBMS

 

- 관계형 DBMS : 테이블(행·열) 중심 → 복잡한 구조 표현에 한계

- 네트워크 DBMS : 레코드 간 연결 구조 → 객체·멀티미디어 표현에 부적합

- 계층형 DBMS : 트리 구조 → 유연성 부족

- 객체지향 DBMS : 사용자 정의 데이터, 이미지·음성·영상처럼 복잡한 데이터 구조를 객체 형태로 표현·관리 가능

 

데이터 웨어하우스 

- ETL 과정을 거쳐 통합된 데이터 창고

- 기업의 의사결정 과정을 지원하기 위한 주제 중심적 비휘발성 데이터

 

데이터 마트

- 데이터 웨어하우스의 부분 집합

- 데이터 웨어하우스에서 필요한 데이터를 추출하여 구축

 

데이터 레이크

- 원시(raw) 데이터 그대로 저장

- 분석 시 스키마 적용

 

 

 

 

반응형

'개발 > Python' 카테고리의 다른 글

데이터 분석 기획  (2) 2026.01.01
데이터 처리 기술  (1) 2025.12.28
데이터 시각화  (0) 2025.12.18
확률분포  (0) 2025.12.12
공분산 행렬  (0) 2025.12.12

댓글