나중에 인스턴스 분할 작업을 해결하는 데 사용할 수 있도록 자체 감독 방식으로 CNN을 사전 학습 할 수 있습니까?
SSL (self-supervised learning)을 사용하여 이미지에서 기능을 학습 한 다음 (데이터 세트는 작은 차이가있는 유사한 이미지로 구성됨) 결과 학습 된 모델을 사용하여 인스턴스 분할 작업을 부트 스트랩합니다.
인스턴스 세분화 작업에 Faster R-CNN, Mask R-CNN 또는 ResNet을 사용하는 것을 고려하고 있습니다. 인스턴스 세분화 작업은 구실 작업을 해결하여 SSL 방식으로 사전 훈련되며, 이것이 더 높은 정확도와 다운 스트림 작업 중에 더 적은 예제로 CNN을 가르칩니다.
SSL을 사용하여 예를 들어 구실 작업 (예 : 회전)에 대해 더 빠른 R-CNN을 사전 훈련 한 다음, 더 나은 정확도를 얻기 위해 인스턴스 분할에이 사전 훈련 된 모델을 사용할 수 있습니까?
답변
SSL을 사용하여 예를 들어 구실 작업 (예 : 회전)에 대해 더 빠른 R-CNN을 사전 훈련 한 다음, 더 나은 정확도를 얻기 위해 인스턴스 분할에이 사전 훈련 된 모델을 사용할 수 있습니까?
예, 가능하며 이미 완료되었습니다. 세부 사항은 모르지만 (아직 해당 논문을 읽지 않았기 때문에), 잠재적으로 유용한 논문 (제목 및 초록을 기반으로 함) 및 관련 코드에 대한 링크를 제공 할 것입니다.
- 상호 작용 별 학습 인스턴스 분할 ( code , 2018)
- 물리적 상호 작용을 통한 인스턴스 분할을위한 자체지도 전이 학습 ( 코드 , 2019)
- 자가지도 학습을 통한 White Matter Tract Segmentation ( 코드 , 2020)
- 무릎 관절 경 검사에서 의미 론적 분할을 정규화하기위한자가지도 깊이 추정 ( code , 2020)
- 자가지도 및 반지도 학습을 사용한 공동 분할을위한 뇌 절제 시뮬레이션 ( code , 2020)
여기 에서 더 많은 관련 논문을 찾을 수 있습니다 . 여기서 방금 인용 한 논문도 찾았습니다.
이 문서에서 디자인 된 사전 텍스트 작업은 귀하의 경우에 유용 할 수 있지만 다른 사전 텍스트 작업을 개발하거나 여러 작업을 결합해야 할 수도 있습니다.
아마 당신은 몇 가지 사전 훈련 빠른 R-CNN 또는 인스턴스 분할에 대한 몇 가지 적절한 모델 (당신은, 예를 들어, 웹에서 찾을 수에서 시작할 수 있습니다 여기에 하나 (당신와 비슷한 이미지 데이터에 사전 훈련을하고있다) SSL 또는 다른 방법으로) 그런 다음 인스턴스 세분화를 위해 레이블이 지정된 데이터 세트로이 모델을 미세 조정하고 더 빠른 R-CNN을 처음부터 훈련하는 것보다 더 나은 결과를 얻는 지 확인하십시오. 결국이 사전 학습 된 모델이 더 높은 성능으로 이어지지 않는 경우, 생각해 낼 수있는 SSL 기술 또는 문헌에 설명 된 기술을 사용하여 직접 학습 할 수 있습니다. 물론 다운 스트림 작업 (예 : 인스턴스 분할 작업) 과 관련된 데이터로 사전 훈련 된 사전 훈련 된 모델을 사용해야합니다 . 라벨이 지정되지 않고 라벨이 지정된 데이터에 대한 세부 정보를 설명하지 않았으므로 더 구체적으로 말할 수 없습니다 (그리고 현재는 해당 논문을 완전히 읽지 않았고 SSL에 대한 제 경험을 읽지 않았기 때문에 현재는 불가능합니다.) 기술은 대부분 이론적입니다).
SSL에 대한 자세한 내용은 this 와 this 답변을 참조하십시오.