[LLM] 랭체인 part 2, 데이터 연결 및 체인 사용해보기 (feat: pdf 불러오기)
Programming/AI 2024. 4. 12. 00:31

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ 랭체인 데이터 연결 ✅ 체인 에 대해서 알아보겠습니다 랭체인 데이터 연결과 체인에 대해서 데이터 연결(data connection)은 일반적인 데이터 분석 환경에서 ETL(Extract, Transform, Load)에 해당하며, 데이터를 한 곳에서 다른 곳으로 옮기는 과정을 말합니다. 추출 - 변환 - 적재의 과정을 거칩니다 랭체인의 데이터 연결도 이와 동일하게 다음 구성요소에 따라 진행합니다. 문서 가져오기(Load) - 문서 변환(Transform) - 문서 임베딩(Embed) - 벡터 저장소(Store) - 검색기(Retrieve) ✅ 랭체인 데이터 연결 라이브러리 설치 필요한 라이브러리를 설치합니다 !pip inst..

[LLM] 랭체인 part 1, 프롬프트 모듈 사용해보기 (feat: 환경 셋팅)
Programming/AI 2024. 3. 30. 13:03

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ 랭체인 모듈에 필요한 환경 설치 ✅ openAI 토큰 발급 ✅ 허깅페이스 토큰발급 ✅ 프롬프트 생성 및 LLM 호출 에 대해서 알아보겠습니다 랭체인의 모듈을 사용해 보자 랭체인으로 LLM 기반의 AI 서비스 개발하기 란 책에서 실습 부분을 읽고 작성한 글이며, 코드가 완전히 동일하지는 않고 최신 버전 사용 및 명령어가 실행되지 않아 부분적으로 오류를 찾아 수정하였습니다. ✅ python 설치 현재 로컬에 설치된 python version은 3.9이고 책에서 알려준 버전은 3.8이지만, 랭체인을 오류 없이 사용하기 위해서는 3.11 이상은 되어야 정상적으로 작동됩니다. 그래서 python 버전별로 설치하고 관리할 수 있는 py..

로컬에서 가성비있게 chatGPT 사용하기 (feat: ollama-webui)
Programming/AI 2024. 2. 3. 22:42

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ chatGPT 요금제 비교 ✅ chatGPT api 사용하기 ✅ ollama-webui에서 chatGPT 연동 에 대해서 알아보겠습니다 Ollama에서 chatGPT 연동하여 가성비 있게 사용하기 openAI의 GPT를 이용하는 방법은 크게 두 가지가 있습니다. 월정액 방식의 chatGPT 사용 종량제 방식의 openAI api 사용 두 방식에 대해 비교해보겠습니다. ✅ chatGPT 요금제 openAI의 GPT-3.5는 무료로 이용가능하고 월 20달러에 chatGPT plus를 사용할 수 있습니다. chatGPT plus는 GPT-4를 사용하며 금액 정책은 다음과 같습니다. 가볍게 보조도구로 사용하기에 월 20 달러는 생각..

ollama로 로컬에서 나만의 AI 챗봇 만들기
Programming/AI 2024. 2. 1. 17:17

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ Ollama 란 🦙 ✅ Ollama 설치 ✅ Ollama JavaScript 라이브러리 사용하기 ✅ Ollama web-ui 사용하기 에 대해서 알아보겠습니다 Ollama : 올라마 🦙 ✅ Ollama (: 올라마) 란? Get up and running with large language models, locally. - ollama.io - 로컬에서 대형 언어 모델(Large Language Models: LLM)을 쉽게 사용할 수 있도록 하는 플랫폼입니다. 현재는 MacOS 과 Linux 환경에서만 제공하고 있습니다. MacOS 기준으로 Ollama 설치를 진행하도록 하겠습니다. ✅ Ollama 설치 brew 명령어를 ..