빅데이터의 이해
빅데이터의 이해
빅데이터의 정의
일반적 정의
- 큰 용량과 복잡성으로 기존 툴로는 다루기 어려운 데이터셋의 집합
가트너(Gartner) 정의
- 향상된 시사점과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고 혁신적이며 대용량, 고속 및 다양성의 특성을 가진 정보 자산
매킨지(McKinsey) 정의
- 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
IDC 정의
- 다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍처
더그 래니(Doug Laney)의 정의(3V)
- 양(Volume), 데이터의 유형과 소스의 다양성(Variety), 데이터 수집과 처리 속도(Velocity)가 급격하게 증가하면서 나타나는 현상
빅데이터의 특징
더그 래니의 3V ⭐️⭐️⭐️
빅데이터의 새로운 특징 4V ⭐️⭐️⭐️
- Value(가치) - 데이터 전체를 파악하고 패턴을 발견하기가 어렵게 되면서 가치(Value)의 중요성이 강조
- Veracity(정확성) - 빅데이터 기반의 예측 분석 결과에 대한 신뢰성이 중요
빅데이터 출현 배경
빅데이터의 출현 배경 ⭐️
데이터의 양적 증가
- 컴퓨터와 스마트폰 보급으로 인한 데이터 증가
산업계의 변화
- 양질 전환의 법칙 - 정보가 지속적으로 축적되면서 거대한 데이터는 새로운 기술을 만나 새로운 가치를 창출할 수 있는 변화의 상태가 됨
학계의 변화
- 거대한 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍처 및 통계 도구가 발전
관련 기술의 발전
- 클라우드 컴퓨팅⭐️ - 대용량의 데이터를 클라우드 분산 병렬처리 시스템으로 처리할 경우 비용이 혁신적으로 줄어듬
빅데이터의 기능과 변화
빅데이터의 기능 ⭐️⭐️⭐️
| 산업혁명의 석탄, 철 | 제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회, 경제, 문화, 생활 전반에 혁명적 변화를 가져올 것으로 기대 |
|---|---|
| 21세기 원유 | 경제 성장에 필요한 정보를 제공하여 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼것으로 기대 |
| 렌즈 | 렌즈를 이용한 현미경이 생물학을 발전 시킨것과 같이, 산업 발전에 큰영향을 줄것으로 기대 |
| 플랫폼 | 다양한 서드파티 비즈니스에 활용될 것으로 기대 |
빅데이터가 만들어내는 변화 ⭐️⭐️⭐️
‘후-전-양-상’으로 암기
- 사전처리 → 사후처리 - 데이터를 사전 처리하지 않고, 가능한 많은 데이터를 모으고 다양한 방식으로 조합하여 인사이트 발굴
- 표본조사 → 전수조사 - IoT, 클라우드 기술의 발전으로 데이터 처리 비용이 감소하면서 활용 방법이 전수조사로 변화
- 질 → 양 - 수집 데이터의 양이 증가할수록 분석의 정확도가 높아져 양질의 분석 결과 산출
- 인과관계 → 상관관계 - 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계 인사이트 도출이 확산
빅데이터의 등장에 따른 변화
- 기술과 인재&조직