PyTorch - Đang tải dữ liệu

PyTorch bao gồm một gói có tên là torchvision được sử dụng để tải và chuẩn bị tập dữ liệu. Nó bao gồm hai chức năng cơ bản là Dataset và DataLoader, giúp chuyển đổi và tải tập dữ liệu.

Dataset

Tập dữ liệu được sử dụng để đọc và chuyển đổi một điểm dữ liệu từ tập dữ liệu đã cho. Cú pháp cơ bản để triển khai được đề cập bên dưới:

trainset = torchvision.datasets.CIFAR10(root = './data', train = True,
   download = True, transform = transform)

DataLoader được sử dụng để trộn và trộn dữ liệu hàng loạt. Nó có thể được sử dụng để tải dữ liệu song song với các công nhân đa xử lý.

trainloader = torch.utils.data.DataLoader(trainset, batch_size = 4,
   shuffle = True, num_workers = 2)

Ví dụ: Đang tải tệp CSV

Chúng tôi sử dụng gói Python Panda để tải tệp csv. File gốc có định dạng như sau: (tên ảnh, 68 mốc - mỗi mốc có tọa độ ax, y).

landmarks_frame = pd.read_csv('faces/face_landmarks.csv')

n = 65
img_name = landmarks_frame.iloc[n, 0]
landmarks = landmarks_frame.iloc[n, 1:].as_matrix()
landmarks = landmarks.astype('float').reshape(-1, 2)