Khoa học dữ liệu nhanh nhẹn - Làm giàu dữ liệu

Làm giàu dữ liệu đề cập đến một loạt các quy trình được sử dụng để nâng cao, tinh chỉnh và cải thiện dữ liệu thô. Nó đề cập đến việc chuyển đổi dữ liệu hữu ích (dữ liệu thô thành thông tin hữu ích). Quá trình làm giàu dữ liệu tập trung vào việc làm cho dữ liệu trở thành tài sản dữ liệu có giá trị cho doanh nghiệp hoặc doanh nghiệp hiện đại.

Quá trình làm giàu dữ liệu phổ biến nhất bao gồm sửa lỗi chính tả hoặc lỗi đánh máy trong cơ sở dữ liệu thông qua việc sử dụng các thuật toán quyết định cụ thể. Các công cụ làm giàu dữ liệu thêm thông tin hữu ích vào các bảng dữ liệu đơn giản.

Hãy xem xét đoạn mã sau để sửa lỗi chính tả của các từ:

import re
from collections import Counter
def words(text): return re.findall(r'\w+', text.lower())
WORDS = Counter(words(open('big.txt').read()))

def P(word, N=sum(WORDS.values())):
   "Probabilities of words"
   return WORDS[word] / N
	
def correction(word):
   "Spelling correction of word"
   return max(candidates(word), key=P)
	
def candidates(word):
   "Generate possible spelling corrections for word."
   return (known([word]) or known(edits1(word)) or known(edits2(word)) or [word])
	
def known(words):
   "The subset of `words` that appear in the dictionary of WORDS."
   return set(w for w in words if w in WORDS)
	
def edits1(word):
   "All edits that are one edit away from `word`."
   letters = 'abcdefghijklmnopqrstuvwxyz'
   splits = [(word[:i], word[i:]) for i in range(len(word) + 1)]
   deletes = [L + R[1:] for L, R in splits if R]
   transposes = [L + R[1] + R[0] + R[2:] for L, R in splits if len(R)>1]
   replaces = [L + c + R[1:] for L, R in splits if R for c in letters]
   inserts = [L + c + R for L, R in splits for c in letters]
   return set(deletes + transposes + replaces + inserts)
	
def edits2(word):
   "All edits that are two edits away from `word`."
   return (e2 for e1 in edits1(word) for e2 in edits1(e1))
   print(correction('speling'))
   print(correction('korrectud'))

Trong chương trình này, chúng tôi sẽ đối sánh với “big.txt” bao gồm các từ đã sửa. Các từ phù hợp với các từ có trong tệp văn bản và in ra kết quả tương ứng.

Đầu ra

Đoạn mã trên sẽ tạo ra kết quả sau: