BART
- 구글
- 다양한 자연어 처리 작업에 사용될 수 있음
- 가장 중요한 자연어 처리 작업 중 하나는 sequence2sequence
- sequence2sequence는 paraphrasing(어조변경) 또는 언어 번역으로 알려져 있음
- BART는 어조 변경, 요약, 조건부 생성에도 사용될 수 있음
- BERT는 인코더만을 쌓은 것이고 BART는 사실상 인코더와 디코더를 포함하는 것임
Pegasus
- 추출된 갭 문장(extracted gap-sentences)을 사용하여 요약을 하는 사전 훈련된 모델
- 중요한 문장은 입력 문서에서 제거되거나 마스킹되어 출력은 나머지 내용을 기반하여 생성되게 훈련됨
- 언어 번역이나 요약에 사용될 수 있음
MT5
- 구글
- 대규모 다국어 사전 훈련된 text-to-text transformer
'LLM' 카테고리의 다른 글
| LoRA와 QLoRA (0) | 2024.08.12 |
|---|---|
| Hugging Face에서 가장 많이 다운로드 된 Encoder Models: ALBERT, RoBERTa, DistilBERT, ConvBERT, XLM-RoBERTa, Electra, LongFormer (0) | 2024.04.24 |
| BERT를 활용한 마스킹 단어 예측 (0) | 2024.04.23 |
| Reformer: The Efficient Transformer (ICLR 2020) (0) | 2024.04.23 |
