애자일 데이터 과학-애자일 데이터 처리
이 장에서는 구조화 된 데이터, 반 구조화 된 데이터 및 구조화되지 않은 데이터의 차이점에 중점을 둘 것입니다.
구조화 된 데이터
구조화 된 데이터는 행과 열이있는 테이블에 SQL 형식으로 저장된 데이터와 관련이 있습니다. 여기에는 미리 디자인 된 필드에 매핑되는 관계형 키가 포함됩니다. 구조화 된 데이터는 더 큰 규모로 사용됩니다.
구조화 된 데이터는 모든 정보학 데이터의 5 ~ 10 %에 불과합니다.
반 구조화 된 데이터
SEM 구조화 된 데이터에는 관계형 데이터베이스에 상주하지 않는 데이터가 포함됩니다. 여기에는보다 쉽게 분석 할 수있는 일부 조직 속성이 포함됩니다. 관계형 데이터베이스에 저장하는 것과 동일한 프로세스가 포함됩니다. 반 구조화 된 데이터베이스의 예는 CSV 파일, XML 및 JSON 문서입니다. NoSQL 데이터베이스는 반 구조화 된 것으로 간주됩니다.
구조화되지 않은 데이터
구조화되지 않은 데이터는 데이터의 80 %를 차지합니다. 종종 텍스트 및 멀티미디어 콘텐츠가 포함됩니다. 비정형 데이터의 가장 좋은 예로는 오디오 파일, 프레젠테이션 및 웹 페이지가 있습니다. 기계가 생성 한 비정형 데이터의 예로는 위성 이미지, 과학 데이터, 사진 및 비디오, 레이더 및 소나 데이터가 있습니다.
위의 피라미드 구조는 특히 데이터의 양과 데이터가 흩어져있는 비율에 중점을 둡니다.
준 정형 데이터는 비정형 데이터와 반 정형 데이터 사이의 유형으로 나타납니다. 이 자습서에서는 민첩한 방법론 및 데이터 과학 연구에 유용한 반 구조화 된 데이터에 중점을 둡니다.
반 구조화 된 데이터에는 공식적인 데이터 모델이 없지만 분석을 통해 개발 된 명백하고 자체 설명적인 패턴과 구조가 있습니다.