Videolar her yerde ve yalnızca zamanla artıyorlar. Videolarla ilgili sorunları çözmenin bir yolu, sınıflandırma için ayrı çerçeveler kullanmaktır. Bu strateji geçici değişiklikleri hesaba katmaz. Uzay ve zaman üzerinde çalışmak için, makine öğrenimi araştırmacıları birçok çözüm önerdiler ve son tekniklerden biri de transformatör kullanmaktır.

Doğal Dil İşleme'de dönüştürücüler tanıtıldı. Artık transformatörler neredeyse her yerde. Görüntüler veya videolar, sınıflandırma, segmentasyon veya üretim.

Video Anlamayı Tanımlama

Video anlama, öğrenilen bilgilerin bir çerçeve yığınından çıkarılması anlamına gelir. Teknik olarak biz bu öğrenilmiş bilgiye uzay-zamansal bilgi diyoruz.

Video anlama alanı, görüntü tanımaya paralel olarak gelişmiştir. Geleneksel mimariler, görüntü muadillerinden önemli ölçüde daha fazla hesaplama gerektiren Uzayzamansal 3D Konvolüsyonel Sinir Ağlarını içerir. Uzamsal-zamansal bilgilerle başa çıkmanın bir başka yolu, daha sonra LSTM'ler ve GRU'lar gibi sıralı modellere beslenen, performanslı bir görüntü tanıma mimarisi kullanarak özellikleri çıkarmaktır.

Bugün video anlamada kullanılan bazı yeni trafo mimarileri hakkında bilgi edineceğiz.

Video Görüntü Dönüştürücü (ViViT)

Arnab ve diğerleri, video sınıflandırması için transformatör tabanlı modeller sunar.

Mimarilerinin dört çeşidi vardır:

uzay-zamansal dikkat

ViViT'deki Spaatiotemporal Dikkat mimarisi, bir çerçeve yığınından 3D borucukları çıkarır ve bunları yoğun katmanlar kullanarak yansıtır. Mimarinin geri kalanı, bu yamaların konumsal gömülmesini, bir transformatör kodlayıcıyı ve sınıflandırma için çok katmanlı bir algılayıcı kafasını içerir.

Mimariyi açıklamak için kağıttan borucuk yerleştirme diyagramını ekledim.

Çerçevenin bir TensorFlow uygulaması burada görülebilir .

Mimari, giriş belirteçlerinin sayısına göre ikinci dereceden karmaşıklığa sahiptir.

çarpanlara ayrılmış kodlayıcı

Faktorize kodlayıcı, bağımsız uzamsal ve zamansal etkileşimlere sahip iki ayrı trafo kodlayıcıya sahiptir.

Uzamsal Kodlayıcı: Aynı çerçevedeki diğer belirteçlere göre yalnızca bir çerçevedeki belirteçlere katılır. Çerçeve içindeki bu etkileşimler, genel ortalama havuzundan sonra veya bir sınıf belirteci aracılığıyla Temporal Encoder'a iletilir .

Zamansal Kodlayıcı: Uzamsal kodlayıcıdan çıkarılan belirteçler birbirine göre izlenir.

Bu bağımsız uzamsal ve zamansal katılımlı belirteçler daha sonra sınıflandırma için çok katmanlı bir algılayıcı kafasına iletilir.

Faktorize kodlayıcı mimarisi, ikinci dereceden karmaşıklığı da azaltır.

Faktorize öz-dikkat

Burada, son mimaride olduğu gibi farklı trafo kodlayıcılar kullanmak yerine, yazarlar aynı kodlayıcıda bağımsız uzamsal ve zamansal etkileşimler kullanırlar.

Dönüştürücü kodlayıcıdaki öz-dikkat, etkileşimleri önce yalnızca uzamsal olarak (bir çerçeve içinde) ve sonra zamansal olarak (tüm uzamsal katılımlı belirteçler) bulmak için değiştirilir.

Çarpanlara ayrılmış nokta çarpım dikkati

Daha da aşağıya inersek, burada öz-dikkati, uzamsal ve zamansal belirteçler için ayrı dikkat başlıklarına sahip olacak şekilde değiştiriyoruz.

Video Döndürme Trafosu

Video Swin transformatörü, aynı zamanda pencereler arası bağlantılara izin verirken, kendi kendine dikkati örtüşmeyen yerel pencerelere sınırlar. Bunu yaparak, trafo mimarisine endüktif bir yerellik önyargısı ekler.

PREVIOUS VIDEO TRANSFORMERS , uzamsal ve zamansal boyutlarda çarpanlara ayırmayla bile küresel olarak öz-dikkati hesaplar.

Yerellik Endüktif Önyargısı: "Görüntü piksellerinin yerel olarak ilişkili olduğu ve korelasyon haritalarının çeviriden değişmez olduğu fikri." [ ML algoritmasında tümevarımsal sapmalar hakkında güzel bir makale burada ]

ZamanSFormer

TimeSFormer'ın yazarları, farklı kişisel dikkat şemalarıyla deneyler yapıyor ve "bölünmüş dikkatin", dikkate alınan tasarım seçenekleri arasında en iyi video sınıflandırma doğruluğuna yol açtığını öne sürüyor.

Dikkat şeması, Video Vision Transformer'daki Faktorize kişisel dikkat ile aynıdır .