ADF / Dataflow-여러 CSV를 Parquet로 변환
Aug 28 2020
ADLS Gen2에서 TextFiles 폴더에는 3 개의 CSV 파일이 있습니다. 열 이름은 파일마다 다릅니다.
3 개의 CSV 파일을 모두 3 개의 마루 파일로 변환하고 ParquetFiles 폴더에 넣어야합니다.
복사 활동을 사용하려고 시도했지만 열 이름에 빈 공간이 있고 쪽모이 세공 파일이 허용하지 않기 때문에 실패합니다.
공백을 제거하기 위해 데이터 흐름을 사용했습니다. 소스-> 선택 (열 이름의 밑줄로 공백 바꾸기) 및 싱크. 이것은 단일 파일에서 작동했습니다. 세 파일 모두에 대해 시도했을 때 세 파일을 병합하려고 시도하고 잘못된 데이터로 단일 파일을 생성합니다.
이 문제를 해결하는 방법, 주로 모든 파일의 열 이름에서 공백을 제거합니다. 여기에 다른 옵션은 무엇입니까?
답변
MarkKromerMSFT Aug 28 2020 at 18:56
파이프 라인 : ForEach 활동 (폴더의 CSV 파일을 반복하고 현재 반복 항목을 매개 변수로 데이터 흐름에 전송)-> 해당 폴더를 가리키는 소스가있는 데이터 흐름 활동 (소스 경로의 파일 이름 매개 변수화)