빅데이터의 이해 [2]. 데이터 생애주기(Data Life Cycle)

빅데이터의 이해 [2]. 데이터 생애주기(Data Life Cycle)

● 기술의 혁신

→ 혁신 기술의 확산은 S-Curve의 과정 즉 도입기, 성장기, 성수기, 쇠퇴기의 과정을 거침

→ 혁신 기술을 사용하는 사용자들을 S-Curve의 시간 흐름에 따라서 각각 Innovators(도입자), Early Adopters(빠른 사용자), Early Majority(빠른 다수), Late Majority(늦은 다수), Laggards(뒤늦은 사람)로 정의

● 데이터의 생애주기(Data Life Cycle)

1단계 : 데이터 생성

2단계 : 데이터 저장

3단계 : 데이터 활용

● 데이터 생성

→ 데이터는 기업 정보시스템, SNS, Social Media, IOT 등에서 생성될 수 있으며 생성되는 데이터마다 각각 다양성, 속도, 그리고 양이 다름

→ 기업 정보시스템의 3대 축은 고객관계관리(CRM : Customer Relationship Management), 전사자원계획(ERP : Enterprise Resource Planning), 공급사슬관리(SCM : Supply Chain Management)

→ 기업 정보시스템상에서는 거래처리시스템(TPS : Transaction Processing System)의 결과로 데이터가 생성되고 이러한 과정을 거쳐 생성된 데이터는 의사결정지원시스템(DSS : Decision Support System)를 만드는 데 사용됨

→ 데이터를 생성하는 것(Data Generators)이 급속하게 증가 중 ex) 스마트폰, SNS, 자동차, 컴퓨터 등......

→ HCI(Human Computer Interatcion)는 Touch(터치)부터 시작해서 Voice(음성)으로까지 발전 중

● 데이터 저장

→ 데이터의 양은 급격히 증가하고 있고 데이터 저장 비용은 급격히 하락하고 있음

→ 데이터를 저장하는데에 계층적 모형, 네트워크 모형, 관계형 모형, 다차원 모형이 사용될 수 있으며, 관계형 모형을 가장 많이 사용함

→ 관계형 모형은 2차원 테이블의 형태로 데이터를 보관하며 행은 Record(Tuple)를 열은 Field(Attribute)를 의미함

→ Data Warehouse(DW)는 의사결정을 지원하고 주제지향적, 통합적, 시계열성, 비휘발성의 특징을 가지고 있음

→ 하둡(Hadoop)은 네트워크로 연결된 서버들의 스토리지를 하나로 묶은 대용량의 파일을 저장할 수 있는 시스템(HDFS : Hadoop Distributed File System)으로 적은 리소스로도 대용량 데이터 즉 빅데이터 처리가 가능

● 데이터 활용

→ 신용카드사에서 의사결정지원시스템(DSS : Decision Support System)을 사용하여 신용한도관리, 사기예측등을 하여 위험을 관리

→ 데이터를 기반으로 하여 기술적 분석(무슨 일이 발생했나?), 진단적 분석(왜 그 일이 발생했나?), 예측적 분석(무슨 일이 발생할건가?), 사전대응적 분석(어떻게 대처할 것인가?), 최적화 분석(장기적 관점에서 최선의 대안은 무엇인가?)이 가능