Python-テキストの変更

一般的に、マンギングとは、厄介なものを変形してクリーンアップすることを意味します。この例では、テキストを変換して、データに望ましい変更を加える結果を得る方法を説明します。単純なレベルでは、それは私たちが扱っているテキストを変換することだけです。

例

以下の例では、最初と最後の文字を除く文のすべての文字をシャッフルしてから再配置し、人間による書き込み中にスペルミスのある単語として生成される可能性のある代替単語を取得することを計画しています。この再配置は私たちを助けます

import random
import re
def replace(t):
    inner_word = list(t.group(2))
    random.shuffle(inner_word)
    return t.group(1) + "".join(inner_word) + t.group(3)
text = "Hello, You should reach the finish line."
print re.sub(r"(\w)(\w+)(\w)", replace, text)
print re.sub(r"(\w)(\w+)(\w)", replace, text)

上記のプログラムを実行すると、次の出力が得られます-

Hlleo, You slouhd raech the fsiinh lnie.
Hlleo, You suolhd raceh the fniish line.

ここでは、最初と最後の文字を除いて、単語がどのように乱雑になっているのかを確認できます。間違ったスペルに統計的アプローチをとることで、一般的にスペルが間違っている単語を特定し、正しいスペルを提供できます。