Ist es möglich, ein CNN selbstüberwacht vorab zu trainieren, damit es später zur Lösung einer Instanzsegmentierungsaufgabe verwendet werden kann?

Nov 20 2020

Ich möchte Self-Supervised Learning (SSL) verwenden, um Funktionen aus Bildern zu lernen (der Datensatz besteht aus ähnlichen Bildern mit kleinen Unterschieden), und dann das resultierende trainierte Modell verwenden, um eine Instanzsegmentierungsaufgabe zu booten.

Ich denke darüber nach, Faster R-CNN, Mask R-CNN oder ResNet für die Instanzsegmentierungsaufgabe zu verwenden, die auf SSL-Weise durch Lösen einer Vorwandaufgabe vorab trainiert wird, mit dem Ziel, dass dies zu einer höheren Genauigkeit führt und auch Lehren Sie die CNNs mit weniger Beispielen während der nachgelagerten Aufgabe.

Ist es möglich, SSL zu verwenden, um z. B. ein schnelleres R-CNN für eine Vorwandaufgabe (z. B. Rotation) vorab zu trainieren, und dieses vorab trainierte Modell beispielsweise für die Segmentierung zu verwenden, um eine bessere Genauigkeit zu erzielen?

Antworten

2 nbro Nov 20 2020 at 23:32

Ist es möglich, SSL zu verwenden, um z. B. ein schnelleres R-CNN für eine Vorwandaufgabe (z. B. Rotation) vorab zu trainieren, und dieses vorab trainierte Modell beispielsweise für die Segmentierung zu verwenden, um eine bessere Genauigkeit zu erzielen?

Ja, das ist möglich und das wurde bereits getan. Ich kenne die Details nicht (weil ich diese Artikel noch nicht gelesen habe), aber ich werde Ihnen einige Links zu einigen potenziell nützlichen Artikeln (basierend auf ihren Titeln und Abstracts) und dem zugehörigen Code zur Verfügung stellen.

Segmentierung von Lerninstanzen durch Interaktion ( Code , 2018)
Selbstüberwachtes Transferlernen für die Instanzsegmentierung durch physische Interaktion ( Code , 2019)
Segmentierung der weißen Materie mit selbstüberwachtem Lernen ( Code , 2020)
Selbstüberwachte Tiefenschätzung zur Regularisierung der semantischen Segmentierung in der Kniearthroskopie ( Code , 2020)
Simulation der Hirnresektion zur Hohlraumsegmentierung durch selbstüberwachtes und halbüberwachtes Lernen ( Code , 2020)

Sie können wahrscheinlich relevantere Artikel hier finden , wo ich auch einige der gerade zitierten Artikel gefunden habe.

Die in diesen Dokumenten beschriebenen Vor-Text-Aufgaben können in Ihrem Fall hilfreich sein, es kann sich jedoch auch herausstellen, dass Sie andere Vor-Text-Aufgaben entwickeln oder mehrere davon kombinieren müssen.

Vielleicht können Sie von einem vorab trainierten schnelleren R-CNN oder einem geeigneten Modell für die Segmentierung (die Sie beispielsweise hier im Internet finden ) ausgehen, das für einige ähnliche Bilddaten wie Sie vorab trainiert wurde Versuchen Sie dann, dieses Modell mit Ihrem beschrifteten Datensatz, z. B. Segmentierung, zu optimieren, und prüfen Sie, ob Sie bessere Ergebnisse erzielen, als nur ein schnelleres R-CNN von Grund auf zu trainieren. Wenn dieses vorab trainierte Modell nicht zu einer höheren Leistung führt, können Sie es schließlich selbst mit einer SSL-Technik vorab trainieren, die Sie entwickeln können oder die in der Literatur beschrieben ist. Natürlich sollten Sie wahrscheinlich ein vorab trainiertes Modell verwenden, das mit Daten vorab trainiert wurde, die für Ihre nachgelagerte Aufgabe relevant sind (dh die Instanzsegmentierungsaufgabe). Sie haben die Details Ihrer unbeschrifteten und beschrifteten Daten nicht beschrieben, daher kann ich nicht genauer sein (und ich könnte dies derzeit auf keinen Fall tun, da ich diese Dokumente und meine Erfahrungen mit SSL nicht vollständig gelesen habe Techniken ist meist theoretisch).