segmentacja obrazu obiektu

Question

Mam 2 różne zbiory danych z podobnymi obiektami, jeden, w którym każdy obiekt ma szerokość 50 pikseli, a drugi 150 pikseli. Każde zdjęcie ma rozmiar 512x512 dla obu zbiorów danych. Te dwa zbiory danych mają taką samą liczbę zdjęć. Zrobione tym samym aparatem, taka sama ogniskowa, rozdzielczość itp.

Jak dotąd zgadzamy się, że różnią się tylko rozmiary obiektów.

---

Segmentuję za pomocą U-net dla każdego zbioru danych. W porządku, mam dobre prognozy.

Dla zabawy trenuję z zestawem danych 150 pikseli i testuję na zestawie danych 50 pikseli i na odwrót.

Ponownie wszystko jest w porządku, wyniki są złe, więc wnioskujemy, że wyniki są lepsze, gdy rozmiary obiektów są podobne. Logiczny.

---

Teraz trenuję model na zbiorze danych składającym się z obiektów o rozdzielczości 50 i 150 pikseli (połowa 50 i połowa 150) i łącznie tyle samo obrazów, co poprzednio.

Kiedy testuję mój model na zestawie obrazów składających się wyłącznie z obiektów 50 pikseli (odpowiednio 150), uzyskuję lepsze wyniki niż wtedy, gdy trenowałem moją sieć przy użyciu tylko obiektu 50 pikseli do trenowania (odpowiednio 150)

Czy jest to spowodowane problemami z funkcjami skalowania (nie) wariantów? Czy miałeś do czynienia z podobną sprawą?

Wielkie dzięki

Answer 1

To jest trudne. Nie wiem, co może to spowodować.

Trudno jest wiedzieć, dlaczego widzimy wyniki, które osiągamy, pracując z sieciami neuronowymi. Często najlepsze, co możemy zrobić, to sformułować kilka hipotez, a następnie opracować eksperymenty, aby spróbować przetestować te hipotezy.

Kilka możliwych wyjaśnień, które możesz spróbować przetestować:

• Być może jest to szum / przypadkowa szansa

• Być może obrazy 50-pikselowe są dość jednorodne, a obrazy 150-pikselowe dość jednorodne, a połączenie tych dwóch daje większą różnorodność, co pomaga sieci się uczyć (np. Nie nadaje się do żadnego z nich)

• Być może obiekty 50-pikselowe nie pochodzą z tego samego rozkładu co obiekty 150-pikselowe (np. 50-pikselowe obrazy przedstawiają dzieci, a 150-pikselowe obrazy dorosłych; różnią się one nie tylko wielkością; lub tło jest skorelowane z rozmiarem obiektu) i uzyskujesz większą regularyzację od wystawienia sieci na oba lub coś (jest to niejasne i może nie różnić się zbytnio od drugiego wyjaśnienia)

Może przychodzą Ci do głowy inne możliwości.