Hadoop - Tổng quan về Dữ liệu lớn
"90% dữ liệu trên thế giới được tạo ra trong vài năm qua."
Do sự ra đời của công nghệ, thiết bị và phương tiện liên lạc mới như các trang mạng xã hội, lượng dữ liệu do nhân loại tạo ra đang tăng lên nhanh chóng hàng năm. Lượng dữ liệu do chúng tôi tạo ra từ đầu thời điểm cho đến năm 2003 là 5 tỷ gigabyte. Nếu bạn dồn dữ liệu dưới dạng đĩa, nó có thể lấp đầy cả một sân bóng. Số tiền tương tự đã được tạo trong hai ngày một lần trong2011và cứ sau mười phút trong 2013. Tỷ lệ này vẫn đang tăng lên rất nhiều. Mặc dù tất cả thông tin này được tạo ra đều có ý nghĩa và có thể hữu ích khi được xử lý, nhưng nó đang bị bỏ quên.
Dữ liệu lớn là gì?
Big datalà một tập hợp các bộ dữ liệu lớn không thể được xử lý bằng các kỹ thuật tính toán truyền thống. Nó không phải là một kỹ thuật hay một công cụ đơn lẻ, mà nó đã trở thành một chủ đề hoàn chỉnh, bao gồm nhiều công cụ, kỹ thuật và khuôn khổ khác nhau.
Dữ liệu lớn đi kèm với điều gì?
Dữ liệu lớn liên quan đến dữ liệu được tạo ra bởi các thiết bị và ứng dụng khác nhau. Dưới đây là một số trường thuộc phạm vi của Dữ liệu lớn.
Black Box Data - Nó là một thành phần của máy bay trực thăng, máy bay và máy bay phản lực, vv Nó thu giọng nói của tổ bay, ghi âm của micrô và tai nghe và thông tin hoạt động của máy bay.
Social Media Data - Các phương tiện truyền thông xã hội như Facebook và Twitter nắm giữ thông tin và quan điểm được đăng bởi hàng triệu người trên toàn cầu.
Stock Exchange Data - Dữ liệu của sàn giao dịch chứng khoán nắm giữ thông tin về các quyết định 'mua' và 'bán' được thực hiện đối với cổ phiếu của các công ty khác nhau do khách hàng đưa ra.
Power Grid Data - Dữ liệu lưới điện lưu giữ thông tin được sử dụng bởi một nút cụ thể đối với một trạm gốc.
Transport Data - Dữ liệu vận tải bao gồm mô hình, công suất, khoảng cách và tính khả dụng của phương tiện.
Search Engine Data - Công cụ tìm kiếm lấy rất nhiều dữ liệu từ các cơ sở dữ liệu khác nhau.
Do đó, Dữ liệu lớn bao gồm khối lượng khổng lồ, tốc độ cao và nhiều loại dữ liệu có thể mở rộng. Dữ liệu trong đó sẽ có ba loại.
Structured data - Dữ liệu quan hệ.
Semi Structured data - Dữ liệu XML.
Unstructured data - Word, PDF, Văn bản, Nhật ký Phương tiện.
Lợi ích của Dữ liệu lớn
Sử dụng thông tin được lưu giữ trên mạng xã hội như Facebook, các đại lý tiếp thị đang tìm hiểu về phản ứng cho các chiến dịch, chương trình khuyến mãi và các phương tiện quảng cáo khác của họ.
Sử dụng thông tin trên các phương tiện truyền thông xã hội như sở thích và cảm nhận về sản phẩm của người tiêu dùng, các công ty sản phẩm và tổ chức bán lẻ đang lên kế hoạch sản xuất.
Sử dụng dữ liệu về tiền sử bệnh trước đây của bệnh nhân, các bệnh viện đang cung cấp dịch vụ nhanh chóng và tốt hơn.
Công nghệ dữ liệu lớn
Công nghệ dữ liệu lớn rất quan trọng trong việc cung cấp phân tích chính xác hơn, có thể dẫn đến việc ra quyết định cụ thể hơn, dẫn đến hiệu quả hoạt động cao hơn, giảm chi phí và giảm rủi ro cho doanh nghiệp.
Để khai thác sức mạnh của dữ liệu lớn, bạn sẽ cần một cơ sở hạ tầng có thể quản lý và xử lý khối lượng lớn dữ liệu có cấu trúc và phi cấu trúc trong thời gian thực và có thể bảo vệ quyền riêng tư và bảo mật của dữ liệu.
Có nhiều công nghệ khác nhau trên thị trường từ các nhà cung cấp khác nhau bao gồm Amazon, IBM, Microsoft, v.v., để xử lý dữ liệu lớn. Trong khi xem xét các công nghệ xử lý dữ liệu lớn, chúng tôi xem xét hai loại công nghệ sau:
Dữ liệu lớn hoạt động
Điều này bao gồm các hệ thống như MongoDB cung cấp khả năng hoạt động cho khối lượng công việc tương tác, thời gian thực, nơi dữ liệu chủ yếu được thu thập và lưu trữ.
Các hệ thống Dữ liệu lớn của NoSQL được thiết kế để tận dụng các kiến trúc điện toán đám mây mới đã xuất hiện trong thập kỷ qua để cho phép vận hành các máy tính lớn với chi phí thấp và hiệu quả. Điều này làm cho khối lượng công việc vận hành dữ liệu lớn dễ quản lý hơn, rẻ hơn và triển khai nhanh hơn.
Một số hệ thống NoSQL có thể cung cấp thông tin chi tiết về các mẫu và xu hướng dựa trên dữ liệu thời gian thực với mã hóa tối thiểu và không cần các nhà khoa học dữ liệu và cơ sở hạ tầng bổ sung.
Dữ liệu lớn phân tích
Chúng bao gồm các hệ thống như hệ thống cơ sở dữ liệu Xử lý song song khối lượng lớn (MPP) và MapReduce cung cấp khả năng phân tích để phân tích hồi cứu và phân tích phức tạp có thể chạm đến hầu hết hoặc tất cả dữ liệu.
MapReduce cung cấp một phương pháp phân tích dữ liệu mới bổ sung cho các khả năng được cung cấp bởi SQL và một hệ thống dựa trên MapReduce có thể được mở rộng từ các máy chủ đơn lẻ đến hàng nghìn máy cấp cao và cấp thấp.
Hai lớp công nghệ này bổ sung và thường xuyên được triển khai cùng nhau.
Hệ thống hoạt động so với hệ thống phân tích
| Hoạt động | Phân tích | |
|---|---|---|
| Độ trễ | 1 ms - 100 ms | 1 phút - 100 phút |
| Đồng tiền | 1000 - 100.000 | 1 - 10 |
| Hình thức truy cập | Viết và Đọc | Đọc |
| Truy vấn | Chọn lọc | Không chọn lọc |
| Phạm vi dữ liệu | Hoạt động | Hồi tưởng |
| Người dùng cuối | khách hàng | Nhà khoa học dữ liệu |
| Công nghệ | NoSQL | MapReduce, Cơ sở dữ liệu MPP |
Những thách thức về dữ liệu lớn
Những thách thức chính liên quan đến dữ liệu lớn như sau:
- Thu thập dữ liệu
- Curation
- Storage
- Searching
- Sharing
- Transfer
- Analysis
- Presentation
Để thực hiện những thách thức trên, các tổ chức thường sử dụng sự trợ giúp của các máy chủ doanh nghiệp.