SAM-Adapter (ICCV 2023)

SAM-Adapter (2023 ICCV)

• KOKONI 3D라는 회사를 중심으로 진행된 SAM 기반 전이학습 연구 내용 제안
• SAM network를 fine-tuning하는 대신 간단하면서 효과적인 adapter를 사용하여 domain-specific information나 visual prompts를 segmentation network에 통합하는 SAM-Adapter를 제안
• 전이 학습 시 성능 효과를 위한  Adapter를 추가해 성능 향상 도모
  • Shadow Detection(그림자 위치를 정확하게 인식), Camouflaged Object Detection(배경과 관심 객체 사이 구분이 어려운 상황에서 객체 인식)을 위해 미세 조정 진행

 

다른 문제를 위한 사전 학습된 SAM 가중치 전이학습

• SAM은 Image encoder, Prompt encoder, Mask decoder로 구성
• SAM-Adapter에서는 Prompt를 입력 받는 상황을 고려 X
• 기존에 있던 Prompt encoder는 제거하고 전이 학습 진행

Encoder 부분은 고정하고 Mask decoder만 재학습

• SAM 내 Encoder 부분은 엄청나게 많은 데이터를 사용해 학습된 Encoder
• 따라서 Encoder 내 가중치는 고정(Frozen)한 후 Mask decoder만 fine-tuning

 

특정 데이터셋에 알맞은 특징 (Task-Specific)을 추출하기 위한 Adaptor

• Transformer 블럭 연산 결과와 Task-Specific 정보를 결합하여 미세 조정 진행
• 기존 Transformer 내 가중치는 고정되고 Adaptor 내부에 대해서만 학습 진행

 

SAM에서 성능이 안나오는 어려운 작업(예: Shadow Detection, Camouflaged Object Detection)을 풀기 위해 전이학습

 

 

 

참고: http://dmqm.korea.ac.kr/activity/seminar/433