Computer Vision
SAM-Adapter (ICCV 2023)
SAM-Adapter (2023 ICCV) KOKONI 3D라는 회사를 중심으로 진행된 SAM 기반 전이학습 연구 내용 제안 SAM network를 fine-tuning하는 대신 간단하면서 효과적인 adapter를 사용하여 domain-specific information나 visual prompts를 segmentation network에 통합하는 SAM-Adapter를 제안 전이 학습 시 성능 효과를 위한 Adapter를 추가해 성능 향상 도모 Shadow Detection(그림자 위치를 정확하게 인식), Camouflaged Object Detection(배경과 관심 객체 사이 구분이 어려운 상황에서 객체 인식)을 위해 미세 조정 진행 다른 문제를 위한 사전 학습된 SAM 가중치 전이학습 SAM은 ..
Meta AI의 SAM(Segment Anything Model) 리뷰
Meta AI에서 개발한 SAM(Segment Anything Model)은 자연어처리 분야의 ChatGPT 같은 *Foundation Model을 컴퓨터비전 분야에서 만들어보려고 한 시도이다. * Foundation Model : 대규모의 광범위한 데이터에 대해 훈련되고 광범위한 다운스트림 작업에 적응할 수 있는 모델. 즉, 하나의 task로 학습시킨 모델이 학습하지도 않은 다야한 분야에 적용될 수 있는 general한 모델을 의미함. SAM 논문 3줄 요약 Next token prediction으로 학습한 GPT가 온갖 task를 잘한다. Computer Vision에서도 이런 만능 모델을 만들고 싶어서 새로운 task, model, data를 개발했다. Segmentation은 당연히 잘하고, 다른..
[CVPR 2022] Oriented RepPoints for Aerial Object Detection
논문: https://arxiv.org/abs/2105.11111 깃허브: https://github.com/open-mmlab/mmrotate 배경지식 ODAI (Object Detection in Aerial Images): 위성 이미지에서의 객체 검출은 도시 계획, 재난 관리, 농업, 군사 등 다양한 분야에서 활용된다. 많은 연구로 기술의 발전이 이루어지고 있지만 가려진 물체, 어수선한 배경, 예측할 수 없는 방향(임의의 방향), 상대적으로 작은 크기의 객체 등과 같은 문제가 있어 어려운 문제이다. HBB (Horizontal Bounding Box): 기존의 Object Detection에서 사용하는 수평으로 정렬된 Bounding Box OBB (Oriented Bounding Box): 방향이..
[CVPR 2020] Bridging the Gap Between Anchor-based and Anchor-free Detection via ATSS 리뷰
더보기 https://www.youtube.com/watch?v=SxdNVSDPIOo Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection [논문] 본 논문은 Anchor-based architecture와 Anchor-free 간의 차이점을 분석하면서 Anchor라는 개념이 과연 Object Detection에 필수적인 것인지 질문을 던진다. Anchor-based와 Anchor-free의 근본적인 성능 차이는 Positive, Negative Traning Sample을 정의하는 방법으로부터 비롯된다고 지적한다. Anchor가 있든 없든 간에, 다른 말로 Box로부터든 P..
[MMRotate] Tutorial
Tutorial 1: Learn about Configs [link] Config file을 검사하려면 python tools/misc/print_config.py /PATH/TO/CONFIG 를 실행하여 전체 구성을 볼 수 있다. mmrotate는 mmdet을 기반으로 하므로 mmdet의 기본 사항을 배우는 것이 좋다. Modify a config through script arguments "tools/train.py" 나 "tools/test.py"를 사용해서 작업을 제출할 때, --cfg-options 를 지정해서 config를 수정할 수 있다. - dict chains의 config file을 업데이트 config 옵션은 원래 config의 dict 키(key) 순서에 따라 지정할 수 있습니다...
[MMRotate] 개념
MMRotate 특징 Support multiple angle representations (세 가지 주요 각도 표현을 제공) Modular Design (모듈식 설계. rotated object detection framework를 여러 구성 요소로 분해하여 다른 모듈을 결합하여 새 모델을 훨씬 쉽고 유연하게 구축 가능) Strong baseline and State of the art (강력한 베이스라인과 rotated object detection 분야의 sota methods를 제공) MMRotate란 MMRotate는 4가지 main parts로 이루어져 있음 : datasets, models, core, apis - dataset : data loading과 data augmentation을 ..
[ECCV 2020] DETR : End-to-End Object Detection with Transformers (Facebook AI)
논문 : https://arxiv.org/abs/2005.12872 코드 : https://github.com/facebookresearch/detr 참고자료 : https://www.youtube.com/watch?v=hCWUTvVrG7E 논문의 장점 기존의 object detection 기술과 비교했을 때 구조가 매우 간단하며 또한 경쟁력 있는 성능을 보인다. 논문의 단점 학습 시간이 오래걸림. (논문에서는 16개의 V100 GPUs 로 3일동안 300 epochs 학습) 제안하는 것 DETR (DEtection TRansformer) : ① 이분 매칭 손신 함수 + ② Transformer backbone : 이미지에서 feature를 추출 positional encoding : 이미지에서 상대적인..
[CVPR 2020] Learning to Cartoonize Using White-box Cartoon Representation 논문 리뷰
논문 : openaccess.thecvf.com/content_CVPR_2020/html/Wang_Learning_to_Cartoonize_Using_White-Box_Cartoon_Representations_CVPR_2020_paper.html 코드 : github.com/SystemErrorWang/White-box-Cartoonization 이미지를 만화처럼 바꿔주는 Cartoonization model이다. 현재 진행하고 있는 연구 분야라 논문을 읽어 보았는데, Cartoon만의 특징적인 representation 들을 캐치해서 White-box model로 만든 게 인상적이었다. 일반적인 Style Transfer model이 아닌 이렇게 특정 도메인에 특화된 style transfer mod..