Video ở khắp mọi nơi và chúng chỉ tăng theo thời gian. Một cách để giải quyết các vấn đề liên quan đến video là sử dụng các khung riêng lẻ để phân loại. Chiến lược này không tính đến những thay đổi tạm thời. Để làm việc trên không gian và thời gian, các nhà nghiên cứu máy học đã đề xuất nhiều giải pháp và một trong những kỹ thuật gần đây là sử dụng máy biến áp.

Máy biến áp đã được giới thiệu trong Xử lý ngôn ngữ tự nhiên. Bây giờ máy biến áp hầu như ở khắp mọi nơi. Có thể là hình ảnh hoặc video, phân loại, phân đoạn hoặc tạo.

Xác định sự hiểu biết về video

Hiểu video có nghĩa là trích xuất thông tin đã học từ một chồng khung hình. Về mặt kỹ thuật, chúng tôi gọi thông tin đã học này là thông tin không gian và thời gian.

Miền hiểu video đã phát triển song song với nhận dạng hình ảnh. Các kiến ​​trúc truyền thống bao gồm Mạng thần kinh tích chập 3D không gian thời gian, yêu cầu tính toán nhiều hơn đáng kể so với các đối tác hình ảnh của chúng. Một cách khác để xử lý thông tin không gian thời gian là trích xuất các tính năng bằng cách sử dụng kiến ​​trúc nhận dạng hình ảnh hiệu quả, sau đó được cung cấp cho các mô hình trình tự như LSTM và GRU.

Hôm nay chúng ta sẽ tìm hiểu về một số kiến ​​trúc máy biến áp gần đây được sử dụng trong hiểu biết về video.

Máy biến áp hình ảnh video (ViViT)

Arnab và cộng sự, giới thiệu các mô hình dựa trên máy biến áp để phân loại video.

Kiến trúc của họ có bốn biến thể:

Chú ý không gian-thời gian

Kiến trúc Chú ý Không gian Thời gian trong ViViT trích xuất các ống nhỏ 3D từ một chồng khung và chiếu chúng bằng cách sử dụng các lớp dày đặc. Phần còn lại của kiến ​​trúc bao gồm nhúng theo vị trí của các bản vá này, bộ mã hóa biến áp và đầu perceptron nhiều lớp để phân loại.

Để giải thích kiến ​​trúc, tôi đã thêm sơ đồ nhúng tubelet từ bài báo.

Có thể xem triển khai TensorFlow của khung tại đây .

Kiến trúc có độ phức tạp bậc hai đối với số lượng mã thông báo đầu vào.

bộ mã hóa yếu tố

Bộ mã hóa hệ số hóa có hai bộ mã hóa biến áp riêng biệt có các tương tác không gian và thời gian độc lập.

Bộ mã hóa không gian: Chỉ các mã thông báo từ một khung được tham dự đối với các mã thông báo khác trong cùng một khung. Các tương tác này trong khung được chuyển tiếp tới Bộ mã hóa tạm thời sau khi tổng hợp trung bình toàn cầu hoặc thông qua mã thông báo lớp.

Bộ mã hóa tạm thời: Các mã thông báo được trích xuất từ ​​​​bộ mã hóa không gian được liên kết với nhau.

Các mã thông báo tham gia không gian và thời gian độc lập này sau đó được chuyển tiếp đến đầu perceptron đa lớp để phân loại.

Kiến trúc bộ mã hóa thừa số cũng giảm độ phức tạp từ bậc hai.

nhân tố tự chú ý

Ở đây, thay vì sử dụng các bộ mã hóa biến áp khác nhau như trong kiến ​​trúc cuối cùng, các tác giả sử dụng các tương tác không gian và thời gian độc lập trong cùng một bộ mã hóa.

Tính năng tự chú ý trong bộ mã hóa biến áp được sửa đổi để trước tiên chỉ tìm thấy các tương tác theo không gian (trong một khung hình) và sau đó là theo thời gian (tất cả các mã thông báo tham gia theo không gian).

Yếu tố chú ý sản phẩm chấm

Đi sâu hơn nữa, ở đây chúng tôi đang sửa đổi sự chú ý của bản thân để có các đầu chú ý riêng biệt cho các mã thông báo không gian và thời gian.

Máy biến áp quay video

Trình biến áp Video Swin hạn chế khả năng tự chú ý đến các cửa sổ cục bộ không chồng lấp đồng thời cho phép kết nối giữa các cửa sổ. Bằng cách này, nó thêm một thiên vị quy nạp của địa phương trong kiến ​​trúc máy biến áp.

PREVIOUS VIDEO TRANSFORMERS tính toán khả năng tự chú ý trên toàn cầu ngay cả với hệ số hóa trên các chiều không gian và thời gian.

Xu hướng quy nạp cục bộ: “Khái niệm rằng các pixel hình ảnh có mối tương quan cục bộ và bản đồ tương quan của chúng là bất biến dịch mã.” [ Một bài viết hay về các sai lệch quy nạp trong thuật toán ML tại đây ]

Thời gianSTrước đây

Các tác giả của TimeSFormer thử nghiệm các kế hoạch tự chú ý khác nhau và đề xuất rằng "sự chú ý phân chia" dẫn đến độ chính xác phân loại video tốt nhất trong số các lựa chọn thiết kế được xem xét.

Sơ đồ chú ý giống như sơ đồ tự chú ý theo Yếu tố trong Video Vision Transformer .