💡 Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization Selective retrieval improves retrieval-augmented generation (RAG) by reducing distractions from low-quality retrieva...

vLLM을 LLM 서빙 라이브러리로 사용하고자 하였으나, 현재 주로 사용하는 서버의 GPU가 오랜된 연식의 GPU여서 몇몇의 난관이 있었다. 이를 해결한 과정과 함께 최종 빌드에 성공한 스크립트를 기록하고자 한다. Docker Image: https://hub.docker.com/r/nvidia/cuda Pytorch: https:/...

Retrieval-Augmented Generation(RAG)은 LargeLanguageModel에 발생하는 환각(hallucination) 문제를 해결하고 정확성을 높이기 위해 외부 지식 기반에서 정보를 검색해 답변에 활용하는 방식이다. 시간이 지남에 따라 RAG는 크게 세 가지 형태로 발전했다. 패러다임 ...

Docker를 사용하다 보면 컨테이너의 서비스를 외부에 노출하거나, 반대로 컨테이너 내부에서 개발 환경의 다른 서비스(예: 호스트 머신에서 실행 중인 DB)에 접근해야 하는 경우가 있다. 오늘은 Docker 네트워킹에서 가장 자주 마주치는 두 가지 시나리오인 포트 포워딩 (-p 옵션)과 컨테이너에서 호스트의 localhost 서비스에 접근하는 방...

데이터베이스를 사용하고 있지만, 깊게 공부한 적은 없는 것 같다는 생각이 들었다. 이에 시간이 날떄 한번씩 10분정도 분량의 SQL 지식에 대해서 A-Z까지 학습을 해보고자 한다. 오늘은 데이터베이스의 기본 개념부터 시작해, SQL 명령어의 분류와 역할, 그리고 PL/SQL의 활용까지 간략하게 살펴보겠다. 핵심 포인트 데이터베이스는 논리...

원격 Linux 환경에서 작업을 하던 중, Docker 컨테이너에서 마운트된 디렉토리에 파일을 생성하면 외부 환경에서는 권한 문제로 해당 파일을 수정하지 못하는 경우가 종종 발생하는 경우가 있다. 이를 해결하기 위해 리눅스 환경에서 파일 및 디렉토리의 권한을 변경하는 방법을 정리하여 기록으로 남기고자 한다. 리눅스 퍼미션 구조 리눅스에서...

리액트로 Client를 작성하다보면 불필요한 렌더링과 무거운 연산이 성능 병목이 되는 경우가 있다. 이를 최적화하기 위해 주로 사용하는 방법에는 useMemo, React.memo, 그리고 useCallback을 사용하여 최적화 하는 것이다. useMemo 계산량이 많은 연산 결과를 메모이제이션하여, 입력값이 바뀔 때만 다시 계산하도록...

웹 개발을 하면서 HTTP에 대해 깊게 생각한 적이 없는 것 같다는 생각이 들었다. 이에 HTTP에 대해서 한번 제대로 알아보고자 한다. 오늘은 간단하게 HTTP는 무엇이고, 어떻게 동작하며 어떤 구조로 이루어져 있는지 간략하게 내용을 정리하고 이후로 시간이 날때마다 HTTP에 대해서 글을 작성해 나아가고자 한다. HTTP란 무엇인가? ...