Gemma3 Paper We introduce Gemma 3, a multimodal addition to the Gemma family of lightweight open models, ranging in scale from 1 to 27 billion parameters. This version introduces vision understa...

Embedding Model 💡 임베딩 이란? 임베딩은 텍스트의 시맨틱 의미와 맥락을 포착하여 유사한 의미를 가진 텍스트의 임베딩이 벡터 공간에서 가깝게 위치하도록 한다. 예를 들어 ‘강아지를 동물 변원에 데려갔습니다”와 “고양이를 동물병원에 데려갔습니다” 라는 문장은 유사한 맥락을 가지므로, 이들의 임베딩은 벡터 공간에서 서로 가깝게 위치합...

RAG (Retrieval-Augmented Generation) Large Language Model을 확장하여, 주어진 컨텍스트나 질문에 대해 더욱 정확하고 풍부한 정보를 제공하는 방법으로, 질문에 대한 답변을 생성하기 위해 검색(Retrieval)과 생성(Generation)을 결합한 자연어 처리 기술이다. Retrieval Phase...

오늘은 일이 많아 작성하지 못하고 있던 ‘Attention is All You Need’ 논문의 Model Architecture 부분을 리뷰 하고자 한다. Attention is All You Need - Transformer Model Attention Is All You Need Ashish Vaswani, Noam Shazeer...

오늘은 마지막 사전지식으로 Attention Mechanism에 대해 공유하고자 한다. Transformer는 Attention mechanism에 크게 의존한다. 이로 인해 기존의 RNN 기반 모델보다 훨씬 효율적이고 강력한 성능을 발휘할 수 있게 되었다. 특히, Self-Attention은 Transformer의 핵심 요소로, 모델이 시퀀스 ...

Transformer 와 Seq2Seq는 모두 순차적 데이터의 입력과 출력을 처리하는 데 사용되지만, 구조와 작동에서 몇 가지 중요한 차이점이 있다. 오늘은 Seq2Seq는 무엇이고 Transformer과의 차이는 무엇인지에 대해 간단하게 알아보고자 한다. Seq2Seq Model Seq2Seq 모델은 입력 시퀀스(문장)를 받아 출력 ...

어제 간단하게 Attention is All You Need를 읽으며 Intro에서 사전 지식으로 간단하게 알면 좋을 거 같은 몇몇개의 키워드를 추렸다. 그중에서 오늘은 ‘RNN’과 ‘CNN’에 대해 간단하게 살펴보고자 한다. CNN(Convolutional Neural Networks) CNN은 인간의 시신경 구조를 모방한 이미지 및...

회사에 들어와 약 반년이 안되는 시간동안 Large Vision Language Model을 연구 중 이다. 프로젝트로 인해 달리기만 하다보니 기초가 탄탄하지 못하다는 생각이 들어 처음 읽어 보는 건 아니지만, 근본 논문인 ‘Attention is All You Need’ 부터 자세히 읽어보고자 한다. Attention is All You N...