[ADsP] 1-2.데이터의 가치와 미래

01. 빅데이터의 이해

[정의]

1. 일반적 정의 : 큰 용량과 복잡성으로 기존 애플리케이션이나 툴로는 다루기 어려운 데이터셋의 집합
2. 가트너 정의 : 더 나은 의사결정을 위해 사용되는 정보 자산
3. 매킨지 정의 : DB가 관리할 수 있는 범위를 초과하는 규모의 데이터
4. IDC 정의 : 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍처
5. 일본 노무라연구소 정의 : 정보 도출은 물론이고, 인재나 조직까지의 넓은 의미
6. 더그 래니의 정의(3V) : 양(Volume), 다양성(Variety), 속도(Velocity)
7. 마이어쇤베르크와 쿠키어의 정의 : 새로운 통찰이나 가치, 많은 분야에 변화를 가져오는 일
8. 한국데이터산업진흥원 : 새로운 통찰과 가치를 창출하는 모든 것

[특징]

1. 더그 래니의 3V : 데이터 > 양의 증가, 유형 증가, 수집 및 처리 속도 증가(3V) > 빅데이터
2. 4V : 3V + Value(가치), Veracity(정확성, 신뢰성)

[출현 배경]

1. 데이터의 양적 증가
2. 산업계의 변화 - 양질 전화의 법칙, 새로운 가치를 창출할 수 있는 변화의 상태
3. 학계의 변화 - 새로운 학문 분야
4. 관련 기술의 발전 
   **클라우드 컴퓨팅 : 빅데이터 분석에 경제성을 제공, 처리비용을 획기적으로 낮춤

[기능]

1. "산업혁명의 석탄과 철" : 혁명적 변화
2. "21세기 원유" : 산업 전반의 생산성 향상, 새로운 산업
3. "렌즈" : 현미경의 생물학 발전과 같음
4. "플랫폼" : 서드파티 비즈니스에 활용, 공동사용가능한 구조물

 

[변화] 

• 사전처리 > 사후처리
• 표본조사 > 전수조사
• 질 > 양
• 인과관계 > 상관관계 : 인사이트 도출

 

02. 데이터의 가치와 미래

가치 산정의 어려움 : 데이터 활용 방식, 가치 창출 방식, 분석 기술의 발전

 

가치를 만드는 5가지 방식(맥킨지)

1. 투명성 제고로 연구개발 및 관리 효율성 재고
2. 시뮬레이션을 통한 수요 포착 및 주요 변수 탐색으로 경쟁력 강화
3. 고객 세분화 및 맞춤 서비스 제공
4. 알고리즘을 활용한 의사결정 보조 혹은 대체
5. 비즈니스 모델과 제품, 서비스의 혁신 등

 

빅데이터 경영혁신의 4단계

1. 생산성 향상
2. 발견에 의한 문제 해결
3. 의사결정 향상
4. 새로운 고객가치와 비즈니스 창출

미래의 빅데이터 활용에 필요한 3요소 : 데이터, 기술, 인력

 

7가지 빅데이터 활용 기본 테크닉

1. 연관규칙 학습 : 변인 간에 주목할 만한 상관 관계  ex) 장바구니 추천
2. 유형분석 : 새로운 사건이 속할 범주 ex) 분류
3. 유전 알고리즘 : 점진적으로 진화 ex) 배치, 배치효율, 최적화 문제를 핵ㄹ하는 기법 자연세계의 진화 과정에서 기초한 모델, 선택/변이/교차/대치 등의 연산을 구성
4. 기계학습/머신러닝 : 규칙을 활용한 예측
5. 회귀분석 : 독립변수를 조작하면서 종속변수의 변화를 파악 ex) 어떤 영향
6. 감정분석 : ex) 고객의 니즈, 고객 감정
   **스태밍 : 단어의 원형을 통해 그 의미 파악, 단어의 어원 찾기
7. 소셜 네트워크 분석(SNA): 오피니언 리더 찾기, 범죄 수사나 메케팅
   **분석 요소 : 연결 중심성, 근접 중심성, 매개 중심성, 아이겐벡터 중심성

 

[위기 요인]

사생활 침해, 책임 원칙 훼손, 데이터 오용

 

[통제 방안]

• 사생활 침해 통제 방안 : 동의 > 책임
• 책임 원칙 훼손 통제 방안 : 결과 기반 책임 원칙 고수
• 데이터 오용 : 알고리즘 접근 허용

**개인정보 비식별 기술

• 데이터 마스킹
• 가명 처리
• 총계 처리
• 데이터 값 삭제
• 데이터 범주화

 

3대 프라이버시 보호 권고사항

1. 개발 단계에서부터 소비자 프라이버시 보호 방안 적용
2. 공유정보 선택 옵션 제공
3. 수집된 정보 내용 공개 및 접근성 부여

 

03. 가치창조를 위한 데이터 사이언스와 전략 인사이트

크기가 아닌 '인사이트', 데이터로부터 가치를 뽑아내는 것이 핵심

 

[일차원적 분석]

• 금융 서비스 : 신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석
• 에너지 : 트레이딩, 공급/수요 예측
• 병원 : 가격 책정, 고객 로열티, 수익 관리
• 정부 : 사기탐지, 사례관리, 범죄방지, 수익 최적화

[데이터 사이언스에 대한 이해]

데이터 사이언스 : 데이터로부터 의미 있는 정보를 추출해내는 학문, 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정 > 전략적 인사이트 도출

데이터 마이닝 : 분석에 포커스를 둠

 

**데이터 사이언스 구성요소

1. Analytics : 수학, 확률 모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링 등
2. IT : 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등
3. 비즈니스 분석 : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등

**데이터 사이언티스트에게 요구되는 역량

• 하드 스킬 : 빅데이터에 대한 이론적 지식, 분석 기술에 대한 숙련
• 소프트 스킬 : 통찰력 있는 분석, 설득력 있는 전달, 다분야 간 협력

**가트너가 제시한 데이터 사이언티스트 요구 역량 : 데이터 관리, 분석 모델링, 비즈니스 분석, 소프트 스킬

 

[빅데이터 그리고 데이터 사이언스의 미래]

1. 가치 패러다임 : 경제와 산업의 원천에 있는 가치에 대한 패러다임

디지털화 > 연결 > 에이전시