[Deep Learning] RNN, LSTM, GRU 총정리★ (+판서)

+ 칠판에 정리해본 RNN, LSTM, GRU 개념

 

 

RNN(Recurrent Neural Network)

우선 더 익숙한 CNN에서 출발해보자. CNN은 input(들)을 이용해 output을 예측하는데, 그 과정에서 data가 재사용되지 않는다. 당연하다. CNN은 input 하나를 한꺼번에 넣어주기 때문이다. 하나를 한꺼번에? 이미지 하나를 넣을 때 각각의 픽셀을 순서대로 넣지 않고 한번에 Convolution layer를 만나게 해버리는 일을 상상해보면 된다. 물론 Convolution layer의 kernel size때문에 먼저 읽히는 부분이 존재하지 않느냐 싶을 수 있지만, 그 순서가 중요한가? 절대 그렇지 않다. 이미지에서 locality가 중요한 것은 sequence가 중요한 것과는 다른 의미다.

 

RNN은 sequence data(시계열 data, 자연어 등)를 처리하는 데에 특화되어 있는 neural network인데, 이름 그대로 '순환'하는 '순환신경망'이다.

 

Basic of basic rnn

위 사진에서 input sequence data 하나는 [x0, x1, x2, ..., xt]이다. RNN은 기본적으로 input data를 time step으로 나누어 집어넣게 된다. 그리고 h_t는 시간 t에서의 hidden state다. RNN은 이 hidden state를 이용해 이전 time step의 정보를 다음 time step에서도 가지고 있을 수 있게 하는 것인데, 위 그림에서 '등호(=)'를 이해하는 것이 중요하다. RNN을 가장 간단하게 표현하면 등호 좌변의 그림과 같은데, 순환하는 화살표도 사실 h_t가 순환하는 것이다. h_t의 순환을 시간축으로 펼치면 우변의 그림처럼 표현되는 셈이다. 쉽게 말해 output을 내보내면서 동시에 다음 time에도 전달하는 것이다. (엄밀히 output과 hidden state는 다를 수도 있는데, 이를 아래에서 자세히 살펴보자.)

 

더욱 쉽게 이해할 수 있는 gif를 찾아보았다. 사실 hidden state는 우리가 흔히 아는 MLP의 hidden layer에 대응된다.

 

 

f는 activation function이고(일반적으로 tanh를 쓴다.), y_hat이 최종 output prediction이다. 수식으로 확인할 수 있듯 h_t가 output인 것은 아니고, h_t를 다음상태에 전달할 때 그대로 사용하고, output으로 내보낼 때는 h_t를 그대로 쓰거나 여기에 softmax나 sigmoid같은 activation function을 거치게 한다. 원리를 보니 간단하다. 그도 그럴것이 RNN 개념 자체는 1986년에 처음 나왔다.

 

 

 

 

결국 RNN은 좀 더 까보려고 해도 위의 그림이 전부다. 그치만 input sequence와 hidden state, time step을 완벽히 이해해야 LSTM과 GRU를 이해할 수 있는 것 같다.

 

'엄밀히 말하면 output과 hidden state는 다를 수도 있다는 말은 왜?'

regression task면 h_t를 그대로 output으로도 쓰면 되고, binary classification task면 sigmoid나 ReLU, multi-class classification task면 softmax를 거치게 해 output으로 낼 것이니 그렇다.

개인적으로 처음 인공지능 공부할 때 같은 개념을 다른 그림이나 말로 설명해둔 것들, 같은 개념에 다른 activation function을 갖다 붙인 것들이 헷갈렸어서 덧붙여 적어본다☆!

 

 

LSTM(Long Short Term Memory) & GRU(Gated Recurrent Unit)

일단 이것들을 알기 전에 RNN의 문제점을 파악해야 등장 배경을 이해하기 수월하다. RNN의 문제는 뭘까? sequence data가 굉장히 길다고 해보자. 그럼 data 하나 안에 time step도 굉장히 많아진다. 그말은 곧 activation function으로 만들어지는 hidden state의 weight가 gradient vanishing problem을 겪을 확률이 높아진다는 뜻이 된다. (gradient vanishing problem이 궁금하다면 sigmoid->ReLU 변천사에 대해 찾아보길 바란다.)

이 문제를 해결하기 위해 등장한 것이 LSTM, 이를 time-consuming 측면에서 더욱 보완한 것이 GRU라고 볼 수 있겠다.

 

LSTM부터는 gate라는 개념이 등장하는데, 우선 이 gate에 대해 이해해보자.

gate는 한마디로 'element-wise coefficient multiplicator'인데, 딥러닝에서의 coefficient, 즉 weight를 다시 element wise하게 조절해주는 function이라고 보면 된다. 일반적으로 sigmoid function을 사용해 0과 1사이 값으로 weight를 조절한다.

 

 

위의 그림에서 sigmoid를 통과해 만들어진 f, i, o가 각각 forget gate, input gate, output gate이다. 각각의 gate는 input과 hidden state를 가지고 '기존의 정보를 얼마나 잊을지', '새로 들어온 input을 얼마나 수용할지', 'output에 이번 time step에서의 정보들을 얼마나 전달할지'를 학습하게 된다. 이 세 가지를 gate들이, 그리고 모델이 '알아서 학습한다'는게 정말 놀라운 포인트다.

 

그리고 LSTM에서 추가된 또다른 개념이 바로 cell state다. 위 그림에서 이전 단계의 hidden state와 함께 C(cell state)가 들어오는 것을 볼 수 있다. 사실 LSTM이 만들어진 과정을 다시 떠올려보면 'gradient vanishing problem' 보완하기다. 지금까지 gate 이야기에는 전부 activation function을 사용했다. 그럼 대체 뭐가 이 문제를 해결하는데? 그게 바로 cell state다.

결국 모델이 가지고 가는 main stream은 activation function을 거치지 않은 cell state다. 그치만 적절한 학습을 위해 non-linearity를 아예 제거할 수는 없으니 여기서 hidden state를 빼내고 gate 3개로 지지고 볶고 한 다음 cell state에는 element-wise multiplication이나 element-wise summation만 해주는 것이다. 천재들.. 위 그림에서 pink box로 표시된 input gate에서 it를 빼고 보면 저게 원래 basic RNN이다. (그래서 g_t를 temporal C_t라고 표현하기도 한다.) 진짜 만든 사람 천재 아니냐! LSTM 핵심 연산은 아래와 같다.

element-wise multiplication과  element-wise summation

hidden state는 Ct와 output gate를 가지고 만든다.

 

 

 

GRU는 뭘까? 이름부터 Gated Recurrent Unit. (자기들이 gate로는 결판을 지었다고 생각했던 모양이다.) LSTM을 이해했다면 GRU도 이해하기 편하다. GRU는 LSTM의 gate를 3개에서 2개로 줄였고, 다시 cell state를 없앴다. 그러니 parameter가 줄고 계산량이 줄어들 수밖에. 성능도 LSTM보다 좀 더 좋다.

 

sigmoid를 거치는 gate 두 개는 각각 z(update gate)와 r(reset gate)로, 각각 기존의 input gate와 forget gate에 대응되는 일을 한다. cell state를 따로 두지 않았으며, 그러니 cell과 hidden을 분리하기 위해 필요했던 output gate도 불필요해졌다. 물론 단순히 이렇게 줄일 수 있던 것은 아니다. update gate z의 usage를 살펴보면 마치 binary cross entropy 계산처럼 (1-z)와 z가 쓰인다. 이전 time step에서의 hidden state와 방금 만든 temporal hidden state의 비중을 어떻게 조절해서 현재의 hidden state를 만들지 조절하는 것이다. 알고 보면 아이디어는 간단한데 만든 사람은 천재!!! 정말 천재다.

 

 

여담) Computer vision이 좋아서 RNN은 싫어(?)했는데, 제대로 뜯어보니 처음 CNN 배웠을 때보다 10배는 더 신기하고 재밌는 개념이다. 그리고 Video는 sequence data잖아! 그리고 ViT도 transformer에서 나온거잖아! 이렇게 생각하면 갑자기 RNN? 너 좀 좋아진다. 호호.

 

---

[참고자료]

• (Blog) RNN (https://medium.com/@archit.saxena/recurrent-neural-network-rnn-92faf7c01fd4)
• (Blog) LSTM (http://colah.github.io/posts/2015-08-Understanding-LSTMs/)
• (Blog) GRU (https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be)
• (Blog) [딥러닝] 언어모델, RNN, GRU, LSTM, Attention, Transformer, GPT, BERT 개념 정리 (velog.io)