[Deep learning] What is 'Style transfer'?

• (CVPR 2016) Image Style Transfer Using Convolutional Neural Networks (https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf)
• (ECCV 2016)Perceptual Losses for Real-Time Style Transfer and Super-Resolution (https://arxiv.org/pdf/1603.08155.pdf)

 

The result of style transfer (CVPR 2016)

 

✨ Style Transfer란?

 이미지의 '컨텐츠'는 그대로 두고 '스타일'을 변환하는 기술이다. 특히 2016년에 발표된 두 논문, "Image Style Transfer Using Convolutional Neural Networks" (CVPR 2016)과 "Perceptual Losses for Real-Time Style Transfer and Super-Resolution" (ECCV 2016)은 style transfer 기술의 발전에 큰 기여를 했다.

 

 

1. Image Style Transfer Using Convolutional Neural Networks (CVPR 2016)

 

 이 논문은 CNN을 사용해 style transfer를 이루는 방식을 연구했다. contents 이미지의 구조와 style 이미지의 style을 합하게 되는데, 두 개의 CNN 중 하나는 contents 이미지를 처리하고, 다른 하나는 style 이미지를 처리한다. 이것들이 '합해지는' 것은 결국 loss function에 달려있다. Loss 역시 둘로 나뉘는데, content loss은 contents 이미지와 생성된 이미지 사이의 차이를 최소화하고, style 손실은 style 이미지와 생성된 이미지 사이의 스타일 차이를 최소화한다.

우선 content loss다. 여기서 F는 생성된 이미지의 레이어 l에서의 feature map, P는 contents 이미지의 레이어 l에서의 feature map을 의미한다. loss 형태는 일반적으로 그렇듯 MSE loss term에 미분 편하게 1/2가 곱해진 형태다.

다음은 style loss다. 여기서 G는 생성된 이미지의 레이어 l에서의 Gram Matrix, A는 style 이미지의 레이어 l에서의 Gram Matrix다. (Gram Matrix 계산은 feature map의 곱으로 이루어진다.) MSE를 취하고 레이어 l의 필터 수인 N_l과 레이어 l의 feature map 크기 M_l을 이용해 1차 weighting을 해주고, w_l로 레이어 l의 최종 weighting을 곱해 모든 layer에서 loss를 합해(전체 layer 수 L) 최종 style loss를 계산한다.

 

 

결국 total loss는 이렇게 결정된다. 원하는 결과를 얻기 위한 alpha, beta 조정이 핵심이다.

 

The algorithm of style transfer

 

 

2. Perceptual Losses for Real-Time Style Transfer and Super-Resolution (ECCV 2016)

 

 위의 논문(CVPR 2016의 style transfer)에서는 loss 계산에 MSE를 사용해 두 이미지 간의 픽셀 단위 차이를 최소화하는 데 중점을 두었는데, 이러한 접근법은 저해상도 이미지나 노이즈가 포함된 이미지와 같은 단순한 경우에는 잘 작동할 수 있지만, 고해상도 이미지나 복잡한 패턴을 포함한 이미지에서는 한계가 있다. 그래서 이 논문에서는 style transfer와 super-resolution을 위한 새로운 loss function으로  perceptual loss을 제안했다. perceptual loss는 CNN의 중간 레이어에서 추출한 feature map을 사용해 계산되어 이미지의 고수준 시각적 정보를 유지하는 데 도움을 준다.

 

Content Loss이다. ϕj는 신경망의 jjj번째 레이어에서의 feature map을 의미한다 y_hat이 생성된 이미지, y가 contents 이미지다.

 

Style loss는 Gram Matrix를 사용하여 feature map의 채널 간 상호작용을 평가한다. 여기서 사용되는 Gram Matrix는 다음과 같다.

 

추가로  Total Variation Loss를 구하게 되는데, 이미지의 공간적 연속성을 유지하고, 생성된 이미지에서 artifact(인위적인 왜곡이나 noise)를 줄이기 위함이다.

 

 

그래서 최종적으로 최적화해야하는 loss function은 다음과 같이 된다.