menghapus kata-kata rangkap dari kalimat di file [duplikat]

Question

bagaimana cara menghapus kata duplikat dari kalimat dalam file, setiap kalimat ditulis dalam baris terpisah.

Terima kasih

Saya memiliki kalimat-kalimat ini dalam file

hello every body hello
word I should remove the word
how can can i remove it ?

hasil yang diharapkan seharusnya

hello every body
word I should remove the
how can i remove it ?

Answer 1

Anda dapat melakukan:

awk '{for(i=1;i<=NF;i++) if(++arr[$i]==1) print $i}' file

Cetakan:

hello
every
body
word
I
should
remove
the
how
can
i
it
?

Untuk mempertahankan struktur garis:

awk '{for(i=1;i<=NF;i++) 
       if(++arr[$i]==1) printf "%s%s", $i, OFS
       print ""}' file

Cetakan:

hello every body 
word I should remove the 
how can i it ? 

Jika deduplikasi hanya per baris:

awk '{delete arr
      for(i=1;i<=NF;i++) 
         if(++arr[$i]==1) printf "%s%s", $i, OFS
      print ""}' file

Cetakan:

hello every body 
word I should remove the 
how can i remove it ?