본문 바로가기

Study/Deep Learning7

[Deep learning] Class-Incremental Learning (LwF, PODNet) 모든 데이터를 한 번에 저장하고 학습하는 것은 비효율적이고 어쩌면 비현실적이다. 특히, 데이터가 매우 크거나 민감한 정보를 포함하는 경우에는 더욱! 그래서 고안된 Class-Incremental Learning (CIL)은 모델이 시간이 지남에 따라 점진적으로 새로운 클래스를 학습하는 학습법이다. 전통적인 학습 방식에서는 모든 클래스를 한 번에 학습하지만, CIL에서는 데이터가 점진적으로 제공되며 모델이 새로운 클래스를 학습할 때 이전에 학습한 내용을 잊지 않도록 하는 것이 중요하다. 이는 CIL이 다루는 Catastrophic Forgetting 문제라고도 불리는데, 이를 해결하기 위한 다양한 방법 중 LwF와 PODNet을 간단히 소개해 보겠다.둘을 구현한 ipynb 파일을 아래 Github repo.. 2024. 7. 8.

[Deep learning] What is 'Style transfer'? (CVPR 2016) Image Style Transfer Using Convolutional Neural Networks (https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf)(ECCV 2016)Perceptual Losses for Real-Time Style Transfer and Super-Resolution (https://arxiv.org/pdf/1603.08155.pdf) ✨ Style Transfer란? 이미지의 '컨텐츠'는 그대로 두고 '스타일'을 변환하는 기술이다. 특히 2016년에 발표된 두 논문, "Image Style Transfe.. 2024. 7. 7.

[Deep learning] Accelerating the Super-Resolution Convolutional Neural Network 논문 리뷰 (ECCV 2016) Accelerating the Super-Resolution Convolutional Neural Network (https://arxiv.org/pdf/1608.00367.pdf)이 논문은 기존의 Super Resolution CNN(SRCNN)의 연산을 가속화하는 방법을 연구했다. Super resolution task는 저해상도 이미지를 입력받아 고해상도로 복원하는 작업이다. 1. 기존의 SRCNN SRCNN은 Dong et al. (2014)에 의해 제안된 모델로, 기본적으로 세 개의 컨볼루션 레이어로 구성되어 Patch Extraction and Representation, Non-Linear Mapping, Reconstruction의 과정을 통해 이미지 해상도를 복원.. 2024. 7. 7.

[Deep Learning] Attention, Seq2Seq, Transformer Vision Transformer를 이해하기 위해 필수적인 개념들을 한데 정리해보려고 한다.우선 RNN, LSTM, GRU에 관한 포스팅은 아래! 이 개념을 알아야 이해하기 편하다. https://yoomimi.tistory.com/entry/RNN-LSTM-GRU [Deep Learning] RNN, LSTM, GRU 총정리★ (+판서)RNN(Recurrent Neural Network)우선 더 익숙한 CNN에서 출발해보자. CNN은 input(들)을 이용해 output을 예측하는데, 그 과정에서 data가 재사용되지 않는다. 당연하다. CNN은 input 하나를 한꺼번에 넣어주기 때문yoomimi.tistory.com 들어가기 전, 기계 번역의 발전 과정을 알고 가면 좋다.RNN > LSTM > .. 2024. 2. 19.

[Deep Learning] RNN, LSTM, GRU 총정리★ (+판서) RNN(Recurrent Neural Network)우선 더 익숙한 CNN에서 출발해보자. CNN은 input(들)을 이용해 output을 예측하는데, 그 과정에서 data가 재사용되지 않는다. 당연하다. CNN은 input 하나를 한꺼번에 넣어주기 때문이다. 하나를 한꺼번에? 이미지 하나를 넣을 때 각각의 픽셀을 순서대로 넣지 않고 한번에 Convolution layer를 만나게 해버리는 일을 상상해보면 된다. 물론 Convolution layer의 kernel size때문에 먼저 읽히는 부분이 존재하지 않느냐 싶을 수 있지만, 그 순서가 중요한가? 절대 그렇지 않다. 이미지에서 locality가 중요한 것은 sequence가 중요한 것과는 다른 의미다. RNN은 sequence data(시계열 dat.. 2024. 1. 12.

[AI] What is ResNet? 📍 What is ImageNet? ImageNet challenge는 Computer vision에서 유명한 challenge다. ImageNet은 수많은 이미지들의 집합을 데이터베이스에 저장해둔 것으로, 이를 classification하는 task로 모델의 성능을 겨뤄왔다. (*Top-5 error란? 1개당 prediction 결과를 5개 유추할 수 있게 하고 그 5개 중 정답이 있으면 accurate 한 것으로 간주.) 위의 그래프를 보면 2012년 AlexNet으로 유의미한 error 감소가 나타나고, 2015년 ResNet으로 처음 인간을 뛰어넘는 성능을 보인 것을 알 수 있다. 📍 What is ResNet? 그렇다면 ResNet은 무엇일까? He, Kaiming; Zhang, Xiangyu.. 2024. 1. 5.

[AI] 2023-2학기 공부할 내용 요약 [진도] linear regression logistic regression decision tree ensemble learning (Bagging&Boosting) dimension reduction (PCA & LDA) neaural networks (Basics/Backpropagation/In pratice) CNNs(Convolutional Neaural Networks) clustering [선수과목] linear algebra, probability, calculus, optimization, data structure and Python [참고자료] Pattern recognition and machine learning (C. Bishop) An introduction to statis.. 2023. 8. 14.

이전 1 다음

티스토리툴바