[머신러닝] 모르는 것들 정리...(2)

RNN

• "Recurrent Neural Network", 순환 신경망
• 시퀀스 데이터를 처리하는 데 사용됨
• 시퀀스 데이터는 순서에 의미가 있는 데이터
• 이전 정보를 메모리처럼 사용하여 순차 데이터의 패턴을 학습하고 예측하는 데 유용
• 장기 의존성 문제로 긴 시퀀스를 처리하는 데 어려움이 있음
• 위 문제에 대한 대안으로 LSTM 같은 변형된 RNN 아키텍처가 개발됨

Transformer

• 자연어 처리와 기계 번역과 같은 작업에서 사용되는 딥러닝 아키텍처
• RNN(순환 신경망)이나 CNN(합성곱 신경망)을 사용하지 않고, 대규모 병렬 처리가 가능한 구조를 갖고 있어 학습 속도를 빠르게 만드는데 도움
• 어텐션 메커니즘을 기반으로 함
• 어텐션 메커니즘이란 입력 시퀀스 내의 각 요소가 다른 요소에 얼마나 중요한지를 계산하는 방법
• 어텐션 메커니즘을 여러 개의 계층으로 구성하고 입력 시퀀스의 각 요소에 대한 정보를 동시에 처리
• 주요 구성 요소
  1. 인코더: 입력 시퀀스를 처리하는 부분으로, 입력 정보를 다차원 벡터로 인코딩함. 각 입력 요소는 다른 요소와 어떤 관련성이 있는지를 어텐션을 사용하여 계산.
  2. 디코더: 출력 시퀀스를 생성하는 부분으로, 인코더에서 생성된 정보와 이전의 출력을 사용하여 출력 시퀀스를 생성