Comando split con pipe non in esecuzione
Domanda piuttosto semplice su cui sono perplesso. Ho un'utilità della riga di comando chiamata twarcche sto eseguendo. Questo può creare file piuttosto grandi. Vorrei lasciare questo in esecuzione e generare file di 5 GB per una più facile elaborazione a valle. Sto cercando di eseguire il seguente comando:
twarc "wordlist" > outputfile.jsonl | split -b 5G
Tuttavia, il file è finito a 10,4 GB durante la notte. Posso eseguire | split -b 5Gmanualmente, ma preferirei non farlo.
Sto usando split (GNU coreutils 8.25) e il sottosistema Windows Linux.
Risposte
A seguito del commento, la risposta è stata di fronte a me per tutto il tempo!
Il problema è che stavo scrivendo lo stdout del comando su un file , il che ha effettivamente terminato il comando. Per convertirlo in split non avevo bisogno di scrivere su un file . Per esempio:
twarc "wordslist" | split -b 1G
Spero che questo aiuti qualcuno su tutta la linea!