'Dữ liệu lớn' là gì?

Theo một cách nào đó, dữ liệu lớn chính xác như những gì nó nghe - rất nhiều dữ liệu. Kể từ khi Internet ra đời, chúng tôi đã sản xuất dữ liệu với số lượng đáng kinh ngạc. Người ta ước tính rằng trong tất cả thời gian cho đến năm 2003, chỉ có 5 exabyte dữ liệu được tạo ra - tương đương với 5 tỷ gigabyte. Nhưng từ năm 2003 đến năm 2012, số lượng đạt khoảng 2,7 zettabyte (hoặc 2,700 exabyte, hoặc 2,7 nghìn tỷ gigabyte) [nguồn: Intel , Lund ]. Theo các nhà nghiên cứu của Berkeley, chúng tôi hiện đang sản xuất khoảng 5 tạ tỷ byte (hoặc khoảng 4,3 exabyte) dữ liệu hai ngày một lần [nguồn: Romanov ].

Thuật ngữ 'dữ liệu lớn' thường được sử dụng để chỉ các bộ dữ liệu số hóa khổng lồ, mở rộng nhanh chóng, đa dạng và thường không có cấu trúc, khó duy trì bằng cách sử dụng cơ sở dữ liệu truyền thống. Nó có thể bao gồm tất cả thông tin kỹ thuật số trôi nổi trên mạng Internet, thông tin độc quyền của các công ty mà chúng tôi đã kinh doanh và hồ sơ chính thức của chính phủ, trong số rất nhiều thứ khác. Ngoài ra còn có ngụ ý rằng dữ liệu đang được phân tích cho một số mục đích.

Chúng tôi đã tự mình tạo ra rất nhiều điều đó bằng cách mua hàng trực tuyến và tham gia vào các phương tiện truyền thông xã hội, nhưng đó chỉ là phần nổi của tảng băng chìm. Dữ liệu lớn có thể bao gồm tài liệu được số hóa, ảnh, video, tệp âm thanh, tweet và các bài đăng trên mạng xã hội khác, e-mail, tin nhắn văn bản, bản ghi điện thoại, truy vấn công cụ tìm kiếm, thẻ RFID và quét mã vạch và hồ sơ giao dịch tài chính, mặc dù chúng không các nguồn duy nhất. Bạn đang sản xuất dữ liệu mỗi khi bạn làm bất cứ điều gì trực tuyến, để lại dấu vết kỹ thuật số mà những người khác có thể theo dõi và khai thác thông tin hữu ích.

Số lượng và loại thiết bị tạo ra dữ liệu cũng đang gia tăng. Bên cạnh máy tính gia đình và hệ thống điểm bán hàng của các nhà bán lẻ, chúng tôi có điện thoại thông minh được kết nối Internet, cân hỗ trợ WiFi để tweet cân nặng của chúng tôi, cảm biến thể dục theo dõi và đôi khi chia sẻ dữ liệu liên quan đến sức khỏe, máy ảnh có thể tự động đăng ảnh và video trực tuyến và thiết bị vệ tinh định vị toàn cầu ( GPS ) có thể xác định chính xác vị trí của chúng ta trên địa cầu, để kể tên một số thiết bị. Đừng quên cảm biến thời tiết và giao thông, camera giám sát, cảm biến trong ô tô và máy bay và những thứ khác không được kết nối với các cá nhân liên tục thu thập dữ liệu. Số lượng lớn các thiết bị điện tử tạo ra và tải lên dữ liệu đã làm nảy sinh thuật ngữ "Internet vạn vật".

Bạn sẽ tìm thấy nhiều định nghĩa về dữ liệu lớn trên mạng, vì vậy không phải ai cũng đồng ý hoàn toàn về những gì được bao gồm, nhưng đó có thể là bất cứ điều gì mà bất kỳ ai có thể quan tâm muốn biết có thể được phân tích bằng máy tính. Và những bộ dữ liệu lớn, khó sử dụng này đòi hỏi các phương pháp mới để thu thập, lưu trữ, xử lý và phân tích chúng.

Dữ liệu lớn phải được thu thập, tổng hợp, liên kết với nhau và giải thích để nó có ích cho bất kỳ ai. Các công ty và các tổ chức khác cần lọc lượng lớn dữ liệu có sẵn để tìm ra những gì phù hợp nhất với họ. May mắn thay, phần cứng và phần mềm có thể xử lý, lưu trữ và phân tích một lượng lớn thông tin ngày càng rẻ hơn và nhanh hơn, vì vậy công việc không còn đòi hỏi những siêu máy tính khổng lồ và đắt tiền nữa. Một số phần mềm đang trở nên thân thiện hơn với người dùng nên không nhất thiết phải cần đến một nhóm lập trình viên và nhà khoa học dữ liệu để xử lý dữ liệu (mặc dù việc có những người hiểu biết có thể hiểu được yêu cầu của bạn không bao giờ gây phiền hà).

Các công ty tận dụng lợi thế của các dịch vụ điện toán đám mây để họ thậm chí không phải mua máy tính của riêng mình để xử lý tất cả dữ liệu. Trung tâm dữ liệu , còn được gọi là trang trại máy chủ , có thể phân phối hàng loạt dữ liệu để xử lý trên nhiều máy chủ và số lượng máy chủ có thể được tăng hoặc giảm nhanh chóng khi cần thiết. Tính toán phân tán có thể mở rộng này được thực hiện bằng cách sử dụng các công cụ sáng tạo như Apache Hadoop, MapReduce và Xử lý song song khối lượng lớn (MPP). Cơ sở dữ liệu NoSQL đã được phát triển như một lựa chọn thay thế dễ dàng mở rộng hơn cho các hệ thống cơ sở dữ liệu dựa trên SQL truyền thống.

Phần lớn quá trình xử lý và phân tích dữ liệu lớn này nhằm tìm kiếm các mẫu và mối tương quan cung cấp thông tin chi tiết có thể được khai thác hoặc sử dụng để đưa ra quyết định. Các doanh nghiệp hiện có thể khai thác một lượng lớn dữ liệu để biết thông tin về thói quen tiêu dùng, mức độ phổ biến của sản phẩm hoặc các cách kinh doanh hiệu quả hơn. Phân tích dữ liệu lớn có thể được sử dụng để nhắm mục tiêu các quảng cáo, sản phẩm và dịch vụ có liên quan đến những khách hàng mà họ tin rằng có nhiều khả năng mua chúng nhất hoặc để tạo quảng cáo có nhiều khả năng thu hút công chúng hơn. Các công ty giờ đây thậm chí đang bắt đầu làm những việc như gửi quảng cáo và phiếu giảm giá theo thời gian thực cho mọi người qua điện thoại thông minh của họ cho những địa điểm gần các địa điểm mà gần đây họ đã sử dụng thẻ tín dụng của mình .

Tuy nhiên, nó không chỉ để khiến chúng ta mua đồ. Các doanh nghiệp có thể sử dụng thông tin để cải thiện hiệu quả và thực tiễn, chẳng hạn như tìm các tuyến đường giao hàng hiệu quả nhất về chi phí hoặc dự trữ hàng hóa một cách thích hợp hơn. Các cơ quan chính phủ có thể phân tích các mô hình giao thông, tội phạm, sử dụng tiện ích và các số liệu thống kê khác để cải thiện các quyết định chính sách và dịch vụ công. Các cơ quan tình báo có thể sử dụng nó để do thám và hy vọng ngăn chặn các âm mưu tội phạm và khủng bố. Trang tin tức có thể sử dụng nó để tìm xu hướng và phát triển các câu chuyện, và tất nhiên, viết thêm các bài báo về dữ liệu lớn.

Về bản chất, dữ liệu lớn cho phép các thực thể sử dụng dữ liệu gần như thời gian thực để thông báo các quyết định, thay vì chủ yếu dựa vào thông tin cũ như trước đây. Nhưng khả năng nhìn thấy những gì đang xảy ra với chúng ta trong hiện tại, và thậm chí đôi khi dự đoán hành vi trong tương lai của chúng ta, có thể hơi kinh dị.

Ý tưởng về dữ liệu lớn khiến rất nhiều người trong chúng ta không khỏi lo lắng. Nghe có vẻ giống như Big Brother của Orwell, và với quảng cáo từ các công ty dường như biết chúng ta đang làm gì và những tiết lộ gần đây về gián điệp trong nước của NSA , có thể hiểu được rằng một số người nhận thấy lượng thông tin khổng lồ ngoài kia về tất cả chúng ta đều đáng lo ngại. .

Mọi người có thể cho biết nhiều điều về bạn từ dữ liệu này, bao gồm tuổi, giới tính, khuynh hướng tình dục, tình trạng hôn nhân, mức thu nhập, tình trạng sức khỏe, thị hiếu, sở thích, thói quen và nhiều thứ khác mà bạn có thể muốn hoặc không muốn công khai hiểu biết. Họ chỉ cần có phương tiện và ý chí để thu thập và phân tích nó. Và cho dù chúng có ý nghĩa tốt hay xấu, nó có thể gây ra những hậu quả không lường trước được.

Chúng tôi cung cấp nhiều thông tin hơn những gì chúng tôi nhận thấy cho các công ty mà chúng tôi kinh doanh, đặc biệt nếu chúng tôi sử dụng thẻ khách hàng thân thiết hoặc thanh toán bằng thẻ tín dụng hoặc thẻ ghi nợ. Ai đó có thể tìm hiểu rất nhiều về bạn chỉ từ việc phân tích các giao dịch mua của bạn. Target đã nhận được một số báo chí khi phát hiện ra rằng họ có thể xác định khách hàng nào đang mang thai và thậm chí cả việc họ sắp đến ngày dự sinh từ những thứ như loại thực phẩm bổ sung và kem dưỡng da mà họ đang mua. Trong một trường hợp, Target bắt đầu gửi phiếu giảm giá cho các sản phẩm dành cho trẻ em trực tiếp tới một cô gái tuổi teen, khiến cha cô ấy phẫn nộ với công ty vì đã gửi cho cô ấy những quảng cáo không phù hợp với lứa tuổi - cho đến khi ông phát hiện ra việc cô ấy mang thai [nguồn: Datoo , Duhigg , Nhà kinh tế học ].

Các chính phủ và những người ủng hộ quyền riêng tư đã cố gắng điều chỉnh cách thông tin nhận dạng cá nhân (PII) của mọi người được sử dụng hoặc tiết lộ để cung cấp cho các cá nhân một số quyền kiểm soát đối với những gì được công chúng biết đến. Nhưng phân tích dự đoán có thể bỏ qua nhiều luật hiện hành (chủ yếu xử lý các loại dữ liệu cụ thể như tài chính, y tế của bạnhoặc hồ sơ giáo dục) bằng cách cho phép các công ty kết luận mọi thứ về bạn một cách gián tiếp và có thể bạn không biết, sử dụng các phần thông tin khác nhau thu thập từ các nguồn kỹ thuật số. Một số công ty đang sử dụng thông tin để làm những việc như kiểm tra mức độ tín dụng của khách hàng tiềm năng bằng cách sử dụng dữ liệu khác với điểm tín dụng thông thường, có thể tốt hoặc xấu cho bạn, tùy thuộc vào những gì họ tìm thấy và cách họ giải thích nó. Tuy nhiên, một điều đáng lo ngại là loại thông tin cá nhân này có thể dẫn đến sự phân biệt đối xử về việc làm, nhà ở hoặc cho vay khó phát hiện. Và tệ hơn nữa, nó có thể không phải lúc nào cũng hoàn toàn chính xác.

Cũng có thể các mẫu trong dữ liệu lớn bị hiểu sai và dẫn đến các quyết định tồi. Giống như bất kỳ công cụ nào, tất cả các kết quả đều phụ thuộc vào mức độ sử dụng của nó. Mặc dù có liên quan đến toán học, nhưng phân tích dữ liệu lớn không phải là một môn khoa học chính xác và việc lập kế hoạch và ra quyết định của con người phải đến ở đâu đó. Với các tập dữ liệu khổng lồ, các cuộc gọi phán xét cần được thực hiện về những gì quan trọng và những gì có thể bị bỏ qua. Nhưng thực hiện tốt phân tích dữ liệu lớn có thể mang lại cho các công ty lợi thế cạnh tranh.

Phân tích như vậy có thể được sử dụng cho những thứ rõ ràng là tốt, chẳng hạn như chống gian lận. Các ngân hàng, nhà cung cấp thẻ tín dụng và các công ty kinh doanh tiền tệ khác hiện đang ngày càng sử dụng phân tích dữ liệu lớn để phát hiện ra các mô hình bất thường chỉ ra hoạt động tội phạm. Trên một tài khoản cá nhân, họ có thể nhanh chóng được cảnh báo về các dấu hiệu đỏ như mua các mặt hàng bất thường, số tiền mà khách hàng thường không chi tiêu, vị trí địa lý kỳ lạ hoặc mua thử nghiệm nhỏ, sau đó là mua rất lớn. Các mẫu trên nhiều tài khoản, chẳng hạn như các khoản phí tương tự trên các thẻ khác nhau trong cùng một khu vực, cũng có thể cảnh báo một công ty về hành vi gian lận có thể xảy ra.

Bộ dữ liệu khổng lồ có thể hỗ trợ nghiên cứu khoa học và xã hội học, dự đoán bầu cử, dự báo thời tiết và các hoạt động theo đuổi đáng giá khác. Các bài đăng trên mạng xã hội và các tìm kiếm trên Google thậm chí còn được sử dụng để nhanh chóng tìm ra nơi bùng phát dịch bệnh. Vì vậy, nó không phải là tất cả tin xấu. Sẽ chỉ mất một thời gian để giải quyết tất cả các vấn đề tiềm ẩn và thực hiện các luật bảo vệ chúng ta khỏi tác hại tiềm ẩn. Cho đến lúc đó, nếu lo lắng, bạn có thể muốn quay lại mua hàng bằng tiền mặt và xem những gì bạn bày ra ở đó về bản thân. Tuy nhiên, có lẽ chúng ta đang ở quá xa lỗ thỏ để bất kỳ ai trong chúng ta hoàn toàn không nằm ngoài tầm ngắm.

Lưu ý của tác giả: 'Dữ liệu lớn' là gì?

Giống như bất cứ thứ gì, dữ liệu lớn có thể được sử dụng cho mục đích tốt, xấu và cho rất nhiều thứ ở giữa. Việc có quảng cáo và phiếu giảm giá được nhắm mục tiêu vào chúng tôi có thể là một sự thuận tiện hoặc một sự khó chịu lớn. Và thật đáng kinh ngạc khi số lượng người lạ có thể tìm hiểu về chúng tôi chỉ vì chúng tôi quẹt thẻ nhựa trong cửa hàng của họ hoặc sử dụng thẻ của họ.

Thẻ khách hàng thân thiết mà tôi luôn nghĩ là cách để thu thập dữ liệu về các giao dịch mua của chúng tôi, nhưng tôi đã không thực sự đánh giá cao mức độ dữ liệu tương tự được gắn với chúng tôi riêng lẻ thông qua các giao dịch mua ghi nợ / tín dụng cho đến nay hoặc chi tiết đáng kinh ngạc về cuộc sống của chúng tôi có thể hãy thận trọng với nó. Và điều này thậm chí không bao gồm tất cả các thông tin khác về chúng tôi trên Internet.

Suy nghĩ về mọi động thái của mình được phân tích khiến tôi muốn rời khỏi lưới điện một phần, ngừng đăng bài trực tuyến và sử dụng tiền mặt cho mọi thứ. Mặc dù hầu hết chúng ta, bao gồm cả tôi, có thể sẽ tiếp tục như vậy vì mục đích thuận tiện. Tôi chỉ có thể đăng và mua như thể tôi đang được theo dõi.

Những bài viết liên quan