Computer Vision/GAN
[ECCV 2020] GAN Slimming 논문 리뷰
논문 : arxiv.org/abs/2008.11062 제목에서 바로 알 수 있듯이 GAN 모델의 경량화를 위한 논문이다. 처음 접해보는 분야라 자세하게 리뷰하지는 못했고 어떤 방법을 사용하는지에 대한 개념적인 이해에 중점을 두었다. 1. Introduction GAN은 다양한 컴퓨터 비전 어플리케이션에서 인기를 얻고 있으며, 최근에는 리소스가 제한된 모바일 장치에 배포되기 시작했다. 하지만 GAN 압축 연구는 아직 초기 단계이며, 기존의 방법들은 압축 기술을 단독으로 하나씩만 사용하고 있었다. 따라서 본 논문에서는 주요한 압축 기술인 Model distillation / channel pruning / quantization 통합해 end to end 로 최적화 할 수 있는 프레임 워크인 GAN Slim..
[ICLR 2020] On the 'steerability' of generative adversarial networks 논문 리뷰
논문 : arxiv.org/abs/1907.07171 사이트 : ali-design.github.io/gan_steerability/ GAN 스터디 때 나온 주제 중 latent space를 조작하는 연구 분야가 흥미롭게 느껴져서 리뷰하게 된 논문이다. 제목에서 알 수 있듯이 GAN을 latent space에서 "steering" 즉, 조종하려고 한 논문이다. source image를 edit해서 사용하는 self-supervised 방법을 통해 학습을 진행한다. 1. Introduction GAN은 학습된 데이터셋 내에서의 변환은 잘 하지만 학습 데이터셋에서 완전 벗어난 이미지는 만들 수 없다는 한계가 존재한다. 예를 들어, 트레이닝 데이터셋에 긴 머리를 가진 남자의 이미지는 없다고 가정하면 "남자 =..
[ICLR 2016] DCGAN 개념 및 PyTorch 코드 구현
GAN의 가장 기본적인 논문이라고 할 수 있는 DCGAN을 간단히 리뷰하고 코드 구현까지 담아보려고 한다. Ian Goodfellow가 GAN을 발표한 이후로 많은 분야의 GAN 연구가 진행되었지만 그 때마다 항상 불안정한 구조로 인한 문제가 따라붙었다. 따라서 큰 이슈였던 부분이 바로 "GAN의 안정화"였다. Minimax 혹은 saddle problem을 풀어야하는 GAN은 어쩔 수 없이 태생적으로 불안정할 수 밖에 없었다. 이론적으로는 fixed solution으로 수렴하는 것이 보장되어 있지만, 실제 적용에서는 이론적 가정이 깨지면서 생기는 불안정한 구조적 단점을 보이곤 했다. 또한 MNIST와 같이 비교적 단순한 이미지는 괜찮은 이미지를 생성하였지만, CIFAR-10과 같은 복잡한 영상에 대해서..
GAN(Generative Adversarial Networks) 개념 정리 - 2
논문 : arxiv.org/abs/1406.2661 [NIPS 2014] 이전 포스팅인 개념 정리 1에서는 GAN의 개념, 구조, 최적화 과정, 비용함수, 코드 설명에 관해 다뤘다면 이번 포스팅에서는 논문에 나온 이론적 증명 부분을 자세히 다루고자 한다. GAN의 비용함수는 다음과 같은 Minmax Problem이다. 이 비용함수가 잘 작동하는지 알아보기 위해서는 다음과 같은 질문 2개에 대해 답할 수 있어야 한다. 1. 과연 극값(최대/최소값)이 존재하는가? (최적화 과정과 밀접한 관련이 있음. 극값이 있으면 최적화가 쉬워짐.) 2. 최대/최소의 값이 존재하며 찾을 수 있는가? (극값이 존재하더라도 local minima에 빠질 수 있기 때문에) 1. 과연 극값(최대/최소값)이 존재하는가? GAN의 비..
GAN(Generative Adversarial Networks) 개념 정리 - 1
논문 : arxiv.org/abs/1406.2661 [NIPS 2014] 1. GAN이란? GAN(Generative Adversarial Networks)이란 말 그대로 '적대적 생성 모델'이라고 할 수 있다. Ian Goodfellow는 논문에서 지폐위조범과 경찰로 예를 들어 설명하고 있다. 이와 같이 GAN은 "이미지를 만들어 내는 생성자(Generator)와 이렇게 만들어진 녀석을 평가하는 판별자(Discriminator)가 서로 대립(Adversarial)하며 서로의 성능을 점차 개선해 나가는 모델"이다. - Generator : 임의의 설정된 정보(latent space)를 바탕으로 가상의 이미지를 만들어 내는 신경망 구조의 생성 시스템. - Discriminator : 입력된 이미지가 진짜 ..