# RAG  --- Abstract 사전 학습된 대규모 언어 모델은 파인튜닝을 통해 좋은 성능을 낼 수 있지만 모델들은 답을 제시할 수는 있지만, 그 답이 왜 맞는지에 대한 구체적인 근거를 충분히 제시하는 데에는 어려움있고 새로운 지식을 반영하는데 어려움이 있다...
본 포스트는 paust-team의 깃허브를 기반으로 작성된 글 입니다. # T5 모델  T5(Traitement avec des Transformateurs pour les Exemples)는 딥 러닝 모델 중 하나로, 텍스트 데이터를 처리하고 다양한 자연어 처리(NL...
# GPT2 모델  GPT-2는 "Generative Pre-trained Transformer 2"의 약자로, 트랜스포머 아키텍처를 기반인 생성형 AI 모델이다. 2019년도에 출시 됐기 때문에 현 시점에서 GPT-2보다 좋은 모델은 당연히 존재한다. 하지만 조금... ...
# Llama2 모델을 내 실제 데이터로 학습하기  라마2는 오픈AI에서 개발한 대규모 언어 모델(LLM)이다. 2023년 6월 30일에 공개되었으며, 1370억 개의 파라미터를 가지고 있다. 라마2는 텍스트 생성, 언어 번역, 질문에 대한 답변과 같은 다양한 작업에서...
# Language Models are Few-Shot Learners  # Review 본 포스트는 정하연, 홍순빈님과 함께 학습 후 정리하며 작성된 글 입니다. ## [정하연님의 블로그](https://hayeon.hashnode.dev/) 가기 ## [홍순빈님...
# Language Models are Few-Shot Learners  # Review 본 포스트는 함께 GPT를 학습한 정하연님의 도움을 받아 작성된 글 입니다. 더 자세한 gpt3 논문리뷰는 추후 업로드 될 정하연님 블로그에서 보실 수 있습니다. ## [정하연님...
# Language Models are Unsupervised Multitask Learners  # Review Abstract  웹 상의 방대한 텍스트 자료를 활용한 학습은 ...
# Improving Language Understanding by Generative Pre-Training  # Review Abstract  자연어의 이해에 관한 내용과 현...
# Transformer 아키텍처  # 기능 별 구현 Tokenizer 구현 ```python class Tokenizer: def __init__(self, token_dict): self.token_dict = token_dict ...
# Transformer  Abstract  기존 시퀀스 모델의 복잡한 순환과 합성곱 기반 모델링에서 완전히 새로운 아키텍쳐를 제시한다. 오직 어텐션 메커니즘을 기반으로 하는 단순하...