[Deep learning] Class-Incremental Learning (LwF, PODNet)

 모든 데이터를 한 번에 저장하고 학습하는 것은 비효율적이고 어쩌면 비현실적이다. 특히, 데이터가 매우 크거나 민감한 정보를 포함하는 경우에는 더욱! 그래서 고안된 Class-Incremental Learning (CIL)은 모델이 시간이 지남에 따라 점진적으로 새로운 클래스를 학습하는 학습법이다. 전통적인 학습 방식에서는 모든 클래스를 한 번에 학습하지만, CIL에서는 데이터가 점진적으로 제공되며 모델이 새로운 클래스를 학습할 때 이전에 학습한 내용을 잊지 않도록 하는 것이 중요하다. 이는 CIL이 다루는 Catastrophic Forgetting 문제라고도 불리는데, 이를 해결하기 위한 다양한 방법 중 LwF와 PODNet을 간단히 소개해 보겠다.

둘을 구현한 ipynb 파일을 아래 Github repo에서 확인할 수 있다.

 

https://github.com/yoomimi/Class-Incremental-Learning

GitHub - yoomimi/Class-Incremental-Learning: Class-Incremental Learning with LwF and PODNet

 

[CIL 방법론]

• Regularization : 이전 task에서 학습한 네트워크의 파라미터가 최대한 변하지 않으면서 새로운 task를 학습
• Distillation : 이전 task에서 학습한 파라미터를 새로운 task를 위한 네트워크에 distillation
• Distillation + Memory : 이전 task의 데이터를 소량 메모리로 두고 새로운 task학습 때 활용
• Distillation + Memory + Bias correction : 새로운 task에 대한 bias를 주요 문제로 보고, 이에 대한 개선에 집중
• Distillation + Memory + Dynamic structure : task에 따라 가변적으로 적용할 수 있는 네트워크 구조 사용
• Distillation + Memory + Generative model : 이전 task의 데이터를 generative model을 사용하여 replay
• Dynamic structure : Pruning / Masking 등을 사용하여 task별로 사용할 파라미터 또는 네트워크 등을 정해줌

 

1. LWF: Learning Without Forgetting(ECCV 2016) https://arxiv.org/abs/1606.09282

 

LwF는 Distillation을 이용한 CIL이다.

이 논문에서는 세 가지 주요 접근 방식을 비교하는데,

1. Feature Extraction: 기존 네트워크의 마지막 hidden layer의 activation result 사용하여 특징 추출
2. Fine-Tuning: 기존 네트워크의 parameter를를 새로운 작업을 위해 fine-tuning하기. (일반적인 fine-tuning 적용)
3. Joint Training: 모든 parameter를 최적화

LwF는 이러한 접근 방식을 혼합해 새로운 task의 class와 기존 task의 class로 나눠서 loss를 정의했다. 

우선 new loss는 classification에 많이 쓰이는 cross entropy loss를 썼다. old loss는 잊으면 안되니 Distillation loss를 활용했다. ( -> Less-forgetting Learning in Deep Neural Networks (LFL)에서 처음 고안됨.) (y는 softmax 출력값이다.)

LFL과 뭐가 다르냐? LFL에서는 마지막 Feature에 대해 Distillation Loss를 적용한데 반해 LwF에서는 Softmax 출력값에 대해 Distillation Loss를 적용했다.

 

 

2. PODNet: Pooled Outputs Distillation for Small Tasks Incremental Learning(ECCV 2020) https://arxiv.org/abs/2004.13513

 

PODNet은 Distillation + Memory + Bias correction을 이용한 CIL 방법론이다. POD Distillation loss를 제안하고 classifier는 Local Similarity Classifier로 변경했다.

 

 

1) Pooled Outputs Distillation loss

저자들은 width pooling과 height pooling을 묶어 POD-spatial이라고 정의하고 이렇게 Pooling된 Feature에 대한 L2 Loss를 취해 POD-spatial loss를 설정했다. 여기서 잠깐 보는 pooling 종류.

 

final embedding에는 POD-flat이라는 방식의 flatten을 적용했다.

 

결국 최종 POD Distillation loss는 다음과 같다.

 

 

 

2) Local similarity classifier 

 기존의 UCIR (Unified Class Incremental Learning via Rebalancing)은 아래와 같은 logit을 썼다.

이때 theta가 하나의 class에 대한 하나의 proxy인데, 저자들은 각각의 클래스를 하나의 벡터가 아닌, 여러 벡터들로 표현하게 하기 위한 multi proxy를 제안했다.

  이렇게  local similarity classifier loss를 만들었다.

 

 

 

3) Final loss

 

 

 

4) Result of PODNet

 

간략히 보자면 cifar100에서 iCaRL, BiC, UCIR보다 PODNet이 더 나은 성능을 보였다. 외에도 ImageNet100/1000에서도 SOTA를 달성했다.