빅데이터 어떻게 분석할것인가? Hadoop, R > 빅데이터

본문 바로가기
사이트 내 전체검색


빅데이터 목록

빅데이터 어떻게 분석할것인가? Hadoop, R

페이지 정보

작성자 박미희 작성일16-10-14 13:50 조회1,281회 댓글0건

본문


안녕하세요. 산업정보 제어시스템 선두주자 타이아(주)입니다. 오늘의 주제는 빅데이터 어떻게 분석할 것인가 입니다.
데이터를 모으는것만큼 중요한것이 분석하는 기술, 가공되지 않은 데이터들은 새로운 정보를 품고있는 씨앗과 같기 때문입니다.




hadoop01.png


●빅데이터 정의


•일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
•데이터 축적 뿐만 아닌 데이터를 가공 후 분석하여 고객들의 needs를 찾아내는 결론까지 도달
•빅데이터의 특징 4V
•규모(Volume), 형태(Variety), 속도(Velocity),정확성(Veracity)




hadoop02.png


●빅데이터 활용 방향



•원가 절감을 위한 도구로써의 빅데이터
통신사, 은행, 카드사 등 대국민을 대상으로 서비스하는 사업자의 경우는 고객의 행동 패턴, 소비패턴을 분석하여 관심 있어하는 서비스를 추천하는 마케팅 도구로 빅데이터를 많이 활용합니다. IT기업에서는 서버, 네트워크 장비 등을 몇 년 동안 운영하는 것이 가장 효과적인지 이전 HW fault 정보 등을 바탕으로 통계적으로 예측하여 일반적으로 5년 정도 사용하고 폐기하는 장비 사용 연한을 늘리거나 오랜 기간 동안 사용해도 장애가 발생하지 않는 디바이스를 재활용하여 원가를 절감하는데 활용합니다.

•시스템 로그 분석을 통한 IT인프라 장애 예측
장애를 적기에 예측하는 것은 IT시스템을 운영하는 회사의 손실을 최소화하고 서비스하는 고객의 비즈니스 영속성을 제공하기 때문에 기업에서는 장애를 사전에 예측하여 장애를 최소화하기 위한 도구로 빅데이터 분석을 하고 있습니다.




hadoop03.png


빅데이터를 분석할 수 있는 Hadoop과 R입니다.



●Hadoop 소개



•Hadoop은 오픈 소스 기반 분산 컴퓨팅 플랫폼으로 일반 pc급 성능의 컴퓨터들로
가상화된 대형 스토리지를 형성하고 그 안에 보관된 거대한 데이터를 병렬로 처리할 수 있도록 개발된 자바 SW프레임워크입니다.

•서버의 용량을 늘리던 scale-up방식에서 서버 개수를 늘리며 분산 처리가 가능하도록 시스템 확장 방식을 scale-out방식으로 변화하면서
hadoop의 필요성 대두되었습니다.




hadoop04.jpg


●Hadoop 중요 기본 서비스(HDFS, MapReduce)



•HDFS(Hadoop Distributed File System): 하둡 분산 파일 시스템으로 대용량 데이터를 저장하도록 고안되었고, 이를 위해서 데이터를 여러 대의 컴퓨터에 나누어 저장합니다.

•수천 대 규모의 대용량 단일 클러스터 구성이 가능한 파일 시스템
•네임노드와 데이터너도는 마스터/슬레이브 구조
•단일마스터(네임노드)에 의한 처리, 간단한 중앙 관리 시스템

•MapReduce: HDFS 파일을 이용하여 분산 컴퓨팅 기능을 제공하는 프레임워크로 클러스터를 이루는 각 서버가 전체 처리 작업의 일부를 병렬로 수행합니다

•HDFS 파일을 이용하여 분산 처리 방법을 제공하는 프레임워크
•Map함수를 통해 데이터를 처리하고 Reduce함수를 통해 결과값을 계산


통계 R이란?
R: 대용량 통계 분석 및 시각화를 위한 언어

빅데이터 분석을 위해서는 확률, 통계, 개발, 시각화 기술이 필요한데, R은 기본적인 통계 지식만 있으면 필요한 통계
알고리즘 기반에서 시각화까지 제공하여 빅데이터 분석을위해서는 꼭 필요한 도구입니다.
통계 R의 장점 시각화
R은 통계 패키지에 맞게 모든 분석방법이 가능
통계분석 - 빈도분석, t-test, 분산분석, 카이스퀘어, 회귀분석 등
시각화 – 산점도, 직선그래프, 회귀그래프, 정규분포 등이 가능

추천 2
  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기
  • LinkedIN으로 보내기
  • REDDIT으로 보내기
  • delicio으로 보내기
  • pinterest으로 보내기
  • 블로거로 보내기
  • TUMBLR로 보내기
  • Naver Blog로 보내기

댓글목록

등록된 댓글이 없습니다.


개인정보취급방침 서비스이용약관 회사명 : 타이아(주) / Copyright © tiasolution All rights reserved.
모바일 버전으로 보기