फ़ाइल में वाक्यों से डुप्लिकेट शब्द हटा रहा है

Question

मैं फ़ाइल में वाक्यों से डुप्लिकेट शब्दों को कैसे हटा सकता हूं, प्रत्येक वाक्य एक अलग पंक्ति में लिखा गया है।

धन्यवाद

मेरे पास ये वाक्य फ़ाइल में हैं

hello every body hello
word I should remove the word
how can can i remove it ?

अपेक्षित पुट होना चाहिए

hello every body
word I should remove the
how can i remove it ?

Answer 1

तुम कर सकते हो:

awk '{for(i=1;i<=NF;i++) if(++arr[$i]==1) print $i}' file

प्रिंट:

hello
every
body
word
I
should
remove
the
how
can
i
it
?

लाइन संरचना को बनाए रखने के लिए:

awk '{for(i=1;i<=NF;i++) 
       if(++arr[$i]==1) printf "%s%s", $i, OFS
       print ""}' file

प्रिंट:

hello every body 
word I should remove the 
how can i it ? 

यदि कटौती प्रति पंक्ति के आधार पर ही है:

awk '{delete arr
      for(i=1;i<=NF;i++) 
         if(++arr[$i]==1) printf "%s%s", $i, OFS
      print ""}' file

प्रिंट:

hello every body 
word I should remove the 
how can i remove it ?