본 게시물은 CS231n: Convolutional Neural Networks for Visual Recognition (2017) 강의의 영상과 슬라이드를 기반을 작성 되었습니다.
\n📌 RNN은 가변 길이(0~N) 데이터를 입출력으로 받아들일 수 있는 네트워크 구조
\nfunction을 tanh 사용
RNN이 hidden state를 가지며 이를 재귀적으로 호출하며 반영한다. 위에서 살펴본 각 경우에 어떤식으로 RNN이 전개되는지 알아보자🤔
\nh_0, 입력 x_1 ⇒ h_1 = f_W(h_0, x_1) ⇒ y_1, L_1\nh_1, 입력 x_2 ⇒ h_2 = f_W(h_1, x_2) ⇒ y_2, L_2\n...\nh_{t-1}, 입력 x_t ⇒ h_t = f_W(h_{t-1}, x_t) ⇒ y_t, L_t\nL_{total} = sum(L_1, L_2, ..., L_t)위와 다르게 최종 hidden state에서만 결과값이 출력된다.
\n(Many to one) + (One to many)
\n언어모델
\n📌 Character-level Language Model\n
“hello” 학습시키기
\ntest
\nBackpropagation through time
\nTruncated Backpropagation through time
\n\\n을 추적\n✨ Image Captioning with Attention\n
CNN + RNN + Attention\n
| 게이트 | \n연산 | \n의미 | \n
|---|---|---|
| i(input gate) | \nsigmoid | \n현재 정보를 저장할지 결정 | \n
| f(forget gate) | \nsigmoid | \n과거 정보를 버릴지 말지 결정 | \n
| o(output gate) | \nsigomoid | \ncell state 를 얼마나 밖으로 출력할 것이냐를 결정 | \n
| g(gate gate) | \ntanh | \ninput을 얼마나 포함시킬 것인가를 결정 | \n
forget gate - C_{t_1}
\ninput gate - gate gate
\noutput gate - tanh(C_t)
\n역전파시 Cell state는 정보를 잃지 않으면서 grdient 값을 구할 수 있다.
\n여러개의 cell을 연결하더라고 역전파 경로에 방해되는 것은 없다.
\nGRU(Gated Recurrent Unit)
\nLSTM: A Search Space Odyssey
\nAn Empirical Exploration of Recurrent Network Architectures
\nRNN에서는 기울기가 exploding 또는 vanishing 될 수 있다.
\n