빅데이터 검색 결과
4 개의 검색 결과가 있습니다.
생활 정보

[빅데이터] 데이터 적재 아키텍처

1. 빅데이터 적재 아키텍처 요구 정의 프레임워크 vs 아키텍처 vs 플랫폼 프레임 워크- 우리가 무언가 만들기 위한 기본적인 틀 아키텍처- 프레임 틀에다가 내가 만들려고 하는 것이 다를 수 있으므로 그런 것을 반영해서 실제 구조 만드는 것 플랫폼- 그런 소프트웨어들이 실행할 수 있는 환경 아키텍처란? - 요구사항을 구현하기 위한 기반 기술을 정의하는 과정 - 요구사항을 반영하여 하드웨어와 소프트웨어 아키텍처를 정의하는데, 이는 정보시스템 개발, 테스트, 이관을 위한 기술적인 기반이 됩니다. ◈장비 요구사항 정의 서버 장비 규격 정의 주요 서버는 분산 처리를 위한 네임 노드, 데이터 노드, 데이터 분석을 위한 분석 서버, 원천 데이터 획득을 위한 수집 서버 등이 있다 네트워크 장비 규격 정의 용도에 따라..

2022. 4. 20. 16:16
생활 정보

[빅데이터] 데이터 품질검증

1.데이터 검증 절차 ○ 데이터 품질관리 비즈니스 목표에 부합한 데이터 분석을 위해 가치성, 정확성, 유용성 있는 데이터를 확보하고, 신뢰성 있는 데이터를 유지하는 데 필요한 관리 활동 ○ 빅데이터 품질관리의 중요성 데이터 분석결과의 신뢰성 확보 일원화된 프로세스 데이터 활용도 향상 양질의 데이터 확보 ○ 데이터 품질관리 요소 (데이터 품질을 판단하는 기준) 구분 관리요소 정확성 데이터 사용목적별로 데이터의 정확성의 기준을 다르게 적용 예를들어 전자상거래 사이트에서 고객의 click steam을 분석하는 경우와 부정, 사기 탐지를 분석하는 경우 데이터 정확성에 대한 품질 기준을 서로 다르게 설정하여 적용함 완전성 분석에 요구되는 데이터 식별 수준의 적용 적시성 소멸성이 높은 데이터에 대한 품질기준 예를들..

2022. 4. 20. 10:33
생활 정보

[빅데이터] 데이터 비식별화란? 대상·절차·처리기법

데이터 비식별화란? 데이터에 포함된 개인정보를 삭제하거나 다른 정보로 대체하여 데이터 내에서 특정 개인을 식별하지 못하게 하는 데이터 검증작업입니다. 데이터를 안전하게 활용하기 위해서는 수집된 데이터의 개인정보 일부 또는 전부를 삭제하거나 다른 정보로 대체함으로써 다른 정보와 결합하여도 특정 개인을 식별하기가 어렵도록 하는 데이터 비식별화 조치를 해야 합니다. 1. 데이터 비식별화 대상 적용대상 대상 설명 그 자체로 개인을 식별할 수 있는 정보 개인을 식별할 수 있는 정보 이름, 전화번호, 주소, 생년월일, 사진 등 고유식별 정보 주민등록번호, 운전면허번호, 외국인번호, 여권번호 생체 정보 지문, 홍채, DNA 정보 등 기관, 단체 등의 이용자 계정 등록번호, 계좌번호, 이메일 주소 등 적용대상 대상 설..

2022. 4. 20. 09:48
생활 정보

[빅데이터] 데이터 유형별 수집기술

빅데이터 데이터 유형별 수집기술 1) 데이터 유형별 수집 기술 정형 데이터 : ETL, FTP, API, DBtoDB, Rsync, Sqoop 비정형 데이터 : 크롤링, RSS, Open API, Scrapy 등 반정형 데이터 : Sensing, Streming, Flume, Scribe, Chukwa 등 ※정형데이터 수집방식 설명 ETL 수집대상 데이터를 추출, 가공하여 데이터 웨어하우스(DW) 및 데이터 마트(DM)에 저장하는 기술 FTP TCP/IP 기반으로 파일을 송·수신하는 응용계층 통신 프로그램 API 솔루션 제조사 및 3rd party 소프트웨어로 제공되는 도구 시스템 간 연동을 통해 실시간으로 데이터를 송·수신하는 인터페이스 기술 DBtoDB 데이터베이스 시스템 간 데이터를 동기화하거나 전..

2022. 4. 19. 17:36