[딥러닝 논문 스터디] 논문미식회(CV) - 2021.09.09

(수정중)

1. Deep anomaly detection using geometric transforms

pdf


Self superivsed learning은 pretext task를 하여 transfer하여 학습
1장의 이미지가 있으면 9가지 방법으로 augmentation을 진행하고, 2개의 flip, 4개의 rotation을 적용하면 총 72가지의 geometric transform을 통해 데이터를 늘려 준다.
주의할 점은 transforming을 진행할 때 zero padding을 하면 성능이 잘 안 나온다고 한다. 또한 rotation 진행 시에도 주어진 4개의 각도로 진행해야 한다.
이 데이터를 가지고 NN에 넣어 input이 어떤 transform을 적용했는지 MSE나 cross entropy를 이용하여 학습을 진행한다.
테스트 과정에서는 이미지가 들어왔을 때 그 이미지에 대한 확률 값이 나온다.
이 이미지의 72개의 확률에 대해 최대 확률을 다 더해주면 anomaly score가 나오게 된다.
score 계산은 2가지 방법이 있다.

1. simple version

• 위 계산과 같다.

1. complicated version

• softmax의 합은 1이기 때문에 dirichlet 확률을 도입할 수 있다.

이미지에 대한 확률에 대해 dirichlet 확률을 fitting 시킨다. 이를 통해 정상은 높은 density, 비정상은 낮은 density 값을 갖게 된다.

Rotation이 transform중에 가장 결과가 좋음

2. Do Vision Transformers See Like Convolutional Neural Networks?

pdf
왜 비젼 트랜스포머(ViT)가 CNN보다 더 좋은가?

• 최근 Vision Transformer (ViT)의 강력한 성능으로 볼 때 다음과 같은 질문들을 해볼 수 있다. "Vision Transformer는 image based task 수행을 위해서 CNN과 동일한 representation을 학습하는가? 아니면 새로운 repsentation을 학습하는가?"
• 해당 논문의 주된 finding들은 다음과 같다.
  • ViT는 CNN에 비해서 더 uniform한 representation을 지닌다. 다시 말해 lower layer들과 higher layer들이 지닌 representation이 서로 비슷하다.
  • ViT의 lower layer들은 ResNet의 lower layer들에 비해서 더 global한 information을 담고 있다.
  • ResNet에서 보다 ViT에서 skip connection이 더 중요하다. 즉 성능과 representation similarity에 더 큰 영향을 미친다.
  • ResNet에서 보다 ViT에서 input spatial information이 higher layers에서도 더 잘 보존되어 있다.

레이어의 유사도를 나타낸 행렬로 y=x부분은 자기 자신이므로 가장 밝다.

With less training data, ViT does not learn to attend locally in earlier layers.

3. Differentiable Augmentation for Data-Efficient GAN Training

• GAN의 성능은 학습 데이터의 양이 제한되어 있을 경우 성능이 심각하게 저하됩니다.
• Discriminator의 overfitting 문제 때문인데 이를 해결하기 위해 Differentiable Augmentation(DiffAugment)를 제안합니다.
• 실험을 통해 DiffAugment가 다양한 GAN 아키텍처와 loss function, 데이터셋에 대해 일관적으로 효과적임을 입증한다.
• 또한, 적은 수의 이미지만을 활용하는 경우에도 transfer learning을 하는 것과 비슷한 성능의 고화질 이미지를 생성할 수 있다는 것을 보인다.

실험을 통해 DiffAugment가 다양한 GAN 아키텍처와 loss function, 데이터셋에 대해 일관적으로 효과적임을 입증한다.
데이터의 수가 적을수록 더 큰 성능 향상!
재밌는 점은,