PSOLA hay WSOLA tốt hơn cho việc kéo dài / chỉnh sửa giọng nói?
Tôi đang tìm cách triển khai thuật toán sửa đổi cao độ miền thời gian, chẳng hạn như PSOLA (Chồng chéo và Thêm đồng bộ quảng cáo chiêu hàng) hoặc WSOLA (Chồng chéo và thêm tương tự dạng sóng).
Hiện tại tôi đang sử dụng PSOLA, nhưng đối với tôi thì có vẻ như WSOLA sẽ mạnh mẽ hơn đối với các tín hiệu đa âm có dạng sóng phức tạp, trong khi PSOLA hoạt động tốt hơn với các tín hiệu đơn âm như giọng hát. Tôi cảm thấy có thể tốt hơn để chống lại trong tương lai bằng cách sử dụng WSOLA, mặc dù hiện tại tôi chỉ quan tâm đến tín hiệu đơn âm.
Tôi tự hỏi liệu có bất kỳ bất lợi nào khi sử dụng WSOLA thay vì PSOLA không.
Có vẻ như cả hai kỹ thuật đều hoạt động theo kiểu giống nhau, cả hai đều xác định sự lặp lại trong dạng sóng, mặc dù WSOLA không nhất thiết phải khóa với cơ bản. Khóa cơ bản có làm cho PSOLA vượt trội hơn cho giọng hát không?
Nói chính xác hơn, tôi đang cố gắng tìm ra những ưu điểm và nhược điểm của WSOLA vs PSOLA cho các tác vụ sau:
- Chỉnh độ cao
- Hiệu chỉnh thời gian
- Sửa formant
Trả lời
Nói chính xác hơn, tôi đang cố gắng tìm ra những ưu điểm và nhược điểm của WSOLA vs PSOLA cho các tác vụ sau:
Chỉnh độ cao:
- PSOLA - Ưu điểm là bạn có thể thay đổi cao độ trực tiếp dựa trên không gian tỷ lệ giữa các hạt, giữ nguyên công thức ... để thay đổi cao độ mà bạn không cần thang đo thời gian và lấy lại mẫu sau đó.
- PSOLA - Bất lợi là bạn có cần một máy dò siêu công suất không
- WSOLA - Nhược điểm WSOLA không phải là một thuật toán Pitch Shift, WSOLA là một thuật toán Thang đo thời gian, để thay đổi cao độ sẽ cần thang thời gian và chúng được lấy mẫu lại, các định dạng sẽ bị mất, vì vậy bạn có thể chỉ cần một loại tự tương quan để tìm vị trí đẹp để cắt, vì vậy nó không giống với thông tin quảng cáo chiêu hàng, nếu bạn đang xây dựng một Chỉnh sửa quảng cáo chiêu hàng tự động, một phép tự tương quan cơ bản sẽ không cung cấp cho bạn Thông tin quảng cáo chiêu hàng chính xác.
- WSOLA - một lợi thế ở đây là nó không phụ thuộc vào Pitch để cắt, chỉ cắt theo độ tương đồng phù hợp nhất, hãy nhớ nó chỉ là một thuật toán tỷ lệ thời gian, bạn sẽ cần lấy lại mẫu để thay đổi cao độ
Chỉnh sửa thời gian:
Đối với thang đo thời gian, tôi nghĩ WSOLA có lợi thế tốt nhất ở đây hoặc một số thuật toán TDHSdựa trên, vâng, bạn có thể sử dụng PSOLA để chia tỷ lệ thời gian và áp dụng dịch chuyển cao độ cùng nhau, chỉ dịch chuyển cao độ hoặc chỉ thang thời gian, nhưng nếu bạn chỉ là chia tỷ lệ thời gian, WSOLA là một thông minh lựa chọn, không cần phải xây dựng một Ultra Pitch Detector trong WSOLA, chỉ cần một phép tương tự dạng sóng sẽ giải quyết được vấn đề của bạn (Tự động tương quan có thể giải quyết ...)
Hiệu chỉnh formant:
- PSOLA - theo mặc định sẽ không thể chạm tới các chất định dạng, nhưng bạn cũng có thể làm cong các chất định dạng, điều đó thật tuyệt vời trong PSOLA ...
- WSOLA - sau thang đo Thời gian và lấy lại mẫu, các chất định dạng của bạn sẽ bị mất và để có được các chất định dạng ban đầu, bạn sẽ cần lấy các chất định dạng trong bao quang phổ từ tín hiệu ban đầu và áp dụng nó trong tín hiệu Pitch Shifted, bạn có thể làm điều đó bằng cách sử dụng bộ lọc thông thấp trong quang phổ, sử dụng phương pháp chọn đỉnh và nội suy hoặc sử dụng cepstrum để lấy đường bao ...
Tôi biết rằng PSOLA phức tạp hơn vô cùng, nhưng tôi coi thuật toán này thực sự tuyệt vời, nếu bạn có PitchTrack tốt, nó sẽ mang lại cho bạn tính linh hoạt tuyệt vời
Tôi nghĩ rằng bạn đúng rằng WSOLA tốt hơn cho đa âm, nhưng vẫn có những trục trặc trong phương pháp đó. Lý do tại sao nó tốt hơn một chút là vì thuật toán phát hiện cao độ chỉ tìm kiếm các chuyển vị mối nối tốt. Nếu đó là quãng tám bị tắt, điều đó không làm bạn quá đau vì mối nối vẫn tốt. Tuy nhiên, nếu cao độ dịch chuyển một hợp âm không hài hòa của các nốt (ví dụ hợp âm giảm dần), thì sẽ không có chuyển vị nối tốt, vì vậy bạn sẽ chọn một trong những nốt kém nhất.
Bây giờ PSOLA yêu cầu biết chính xác cao độ và lỗi quãng tám sẽ giống như lỗi quãng tám. Nhưng đó là phương pháp thay đổi cao độ mà bạn muốn cho giọng hát và bài báo tôi đang chỉ để giải thích tại sao.
Nhưng tỷ lệ thời gian không phải là chuyển dịch cao độ chính xác. Khi điều chỉnh thời gian cho bất cứ thứ gì, bao gồm cả giọng hát, không sử dụng PSOLA. Sử dụng WSOLA hoặc phương pháp miền tần số như bộ mã hóa pha.