javaは、不完全な状態でレコードを壊すことなく、複数行のレコードを分割しながら、大きなファイルを小さなファイルに分割します

Nov 30 2020

ファイル内の複数行に分割されたレコードがあります。レコードの終わりを識別する唯一の方法は、新しいレコードがABCで始まる場合です。以下はサンプルです。ファイルサイズは5〜10 GBで、ファイルを分割するためだけに効率的なJavaロジックを探しています（すべての行を読み取る必要はありません）が、分割ロジックは、新しいレコードで新しいファイルを開始するためにチェックする必要があります。この場合は「ABC」。

さらにいくつかの詳細を追加しました。ファイルを分割することを探しています。最後のレコードを分割している間、ファイル内で正しく終了する必要があります。

誰か提案してもらえますか？

HDR
ABCline1goesonforrecord1   //first record 
line2goesonForRecord1      
line3goesonForRecord1          
line4goesonForRecord1
ABCline2goesOnForRecord2  //second record
line2goesonForRecord2
line3goesonForRecord2
line4goesonForRecord2
line5goesonForRecord2
ABCline2goesOnForRecord3     //third record
line2goesonForRecord3
line3goesonForRecord3
line4goesonForRecord3
TRL

回答

1 OctavianR. Nov 30 2020 at 20:36

だから、これはあなたが必要とするコードです。10Gbファイルでテストしましたが、ファイルを分割するのに64秒かかります

import java.io.BufferedWriter;
import java.io.IOException;
import java.io.UncheckedIOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;
import java.util.concurrent.TimeUnit;

public class FileSplitter {

    private final Path filePath;
    private BufferedWriter writer;
    private int fileCounter = 1;

    public static void main(String[] args) throws Exception {
        long startTime = System.nanoTime();
        new FileSplitter(Path.of("/tmp/bigfile.txt")).split();
        System.out.println("Time to split " + TimeUnit.NANOSECONDS.toSeconds(System.nanoTime() - startTime));
    }

    private static void generateBigFile() throws Exception {
        var writer = Files.newBufferedWriter(Path.of("/tmp/bigfile.txt"), StandardOpenOption.CREATE, StandardOpenOption.TRUNCATE_EXISTING);
        for (int i = 0; i < 100_000; i++) {
            writer.write(String.format("ABCline1goesonforrecord%d\n", i + 1));
            for (int j = 0; j < 10_000; j++) {
                writer.write(String.format("line%dgoesonForRecord%d\n", j + 2, i + 1));
            }
        }

        writer.flush();
        writer.close();
    }

    public FileSplitter(Path filePath) {
        this.filePath = filePath;
    }

    void split() throws IOException {
        try (var stream = Files.lines(filePath, StandardCharsets.UTF_8)) {
            stream.forEach(line -> {
                if (line.startsWith("ABC")) {
                    closeWriter();
                    openWriter();
                }
                writeLine(line);
            });
        }
        closeWriter();
    }

    private void writeLine(String line) {
        if (writer != null) {
            try {
                writer.write(line);
                writer.write("\n");
            } catch (IOException e) {
                throw new UncheckedIOException("Failed to write line to file part", e);
            }
        }
    }

    private void openWriter() {
        if (this.writer == null) {
            var filePartName = filePath.getFileName().toString().replace(".", "_part" + fileCounter + ".");
            try {
                writer = Files.newBufferedWriter(Path.of("/tmp/split", filePartName), StandardOpenOption.CREATE, StandardOpenOption.TRUNCATE_EXISTING);
            } catch (IOException e) {
                throw new UncheckedIOException("Failed to write line to file", e);
            }
            fileCounter++;
        }
    }

    private void closeWriter() {
        if (writer != null) {
            try {
                writer.flush();
                writer.close();
                writer = null;
            } catch (IOException e) {
                throw new UncheckedIOException("Failed to close writer", e);
            }
        }
    }
}

ところで、スキャナーを使ったソリューションも機能します。

すべての行を読んでいないことに関して、私はあなたがこれを望まない理由がわかりません。すべての行を読み取らないことを選択した場合（可能です）、最初にソリューションが複雑になりすぎ、次に分割に組み込む必要のあるロジックのためにパフォーマンスが低下することは間違いありません。

JohnSmith Nov 30 2020 at 19:28

私はこれをテストしませんでしたが、このようなものは機能するはずです。メモリ内のファイル全体を一度に1行だけ読み取っているので、悪くはないはずです。