[LLM] 랭체인 part 2, 데이터 연결 및 체인 사용해보기 (feat: pdf 불러오기)
Programming/AI 2024. 4. 12. 00:31

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ 랭체인 데이터 연결 ✅ 체인 에 대해서 알아보겠습니다 랭체인 데이터 연결과 체인에 대해서 데이터 연결(data connection)은 일반적인 데이터 분석 환경에서 ETL(Extract, Transform, Load)에 해당하며, 데이터를 한 곳에서 다른 곳으로 옮기는 과정을 말합니다. 추출 - 변환 - 적재의 과정을 거칩니다 랭체인의 데이터 연결도 이와 동일하게 다음 구성요소에 따라 진행합니다. 문서 가져오기(Load) - 문서 변환(Transform) - 문서 임베딩(Embed) - 벡터 저장소(Store) - 검색기(Retrieve) ✅ 랭체인 데이터 연결 라이브러리 설치 필요한 라이브러리를 설치합니다 !pip inst..

[LLM] 랭체인 part 1, 프롬프트 모듈 사용해보기 (feat: 환경 셋팅)
Programming/AI 2024. 3. 30. 13:03

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ 랭체인 모듈에 필요한 환경 설치 ✅ openAI 토큰 발급 ✅ 허깅페이스 토큰발급 ✅ 프롬프트 생성 및 LLM 호출 에 대해서 알아보겠습니다 랭체인의 모듈을 사용해 보자 랭체인으로 LLM 기반의 AI 서비스 개발하기 란 책에서 실습 부분을 읽고 작성한 글이며, 코드가 완전히 동일하지는 않고 최신 버전 사용 및 명령어가 실행되지 않아 부분적으로 오류를 찾아 수정하였습니다. ✅ python 설치 현재 로컬에 설치된 python version은 3.9이고 책에서 알려준 버전은 3.8이지만, 랭체인을 오류 없이 사용하기 위해서는 3.11 이상은 되어야 정상적으로 작동됩니다. 그래서 python 버전별로 설치하고 관리할 수 있는 py..

github team code review 사용해보기
Programming/Git 2024. 3. 15. 19:58

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ github team code review 란? ✅ team code review 설정 에 대해서 알아보겠습니다 github team code review ✅ github team code review(팀 코드리뷰) 란? PR(pull request)에 대해서 리뷰어(reviewers)를 지정할 때 자동 할당 기능을 통해 팀 구성원의 지정된 하위 집합이 팀 위치에 할당됩니다. team code review 언제 사용하면 좋을까? 매번 pr을 올리고 동일한 리뷰어를 검색하여 지정하는 건 매우 귀찮고 반복적인 일입니다. 물론 code owners로 사용자를 지정하면 매번 추가하지 않아도 자동으로 지정됩니다. 하지만 code ow..

aseprite 무료 다운로드 방법 for Mac
Programming/Aseprite 2024. 2. 10. 16:02

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ aseprite 무료 다운로드 및 설치 & 실행 에 대해서 알아보겠습니다 aseprite 무료 다운로드 및 설치 ✅ what is aseprite ? 픽셀 아트를 제작하기 위한 픽셀 아트 툴입니다. 공식 홈페이지에서 19.99 USD에 구매해서 사용가능합니다. 하지만 오픈소스이기 때문에 직접 빌드해서 사용할 수 있습니다. ✅ Get the source code asprite 레포지토리를 로컬에 받습니다. --recursive : 서브모듈을 업데이트할 때, 서브모듈 내의 서브모듈도 함께 재귀적으로 업데이트합니다. git clone --recursive https://github.com/aseprite/aseprite.git 🙅..

로컬에서 가성비있게 chatGPT 사용하기 (feat: ollama-webui)
Programming/AI 2024. 2. 3. 22:42

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ chatGPT 요금제 비교 ✅ chatGPT api 사용하기 ✅ ollama-webui에서 chatGPT 연동 에 대해서 알아보겠습니다 Ollama에서 chatGPT 연동하여 가성비 있게 사용하기 openAI의 GPT를 이용하는 방법은 크게 두 가지가 있습니다. 월정액 방식의 chatGPT 사용 종량제 방식의 openAI api 사용 두 방식에 대해 비교해보겠습니다. ✅ chatGPT 요금제 openAI의 GPT-3.5는 무료로 이용가능하고 월 20달러에 chatGPT plus를 사용할 수 있습니다. chatGPT plus는 GPT-4를 사용하며 금액 정책은 다음과 같습니다. 가볍게 보조도구로 사용하기에 월 20 달러는 생각..

ollama로 로컬에서 나만의 AI 챗봇 만들기
Programming/AI 2024. 2. 1. 17:17

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ Ollama 란 🦙 ✅ Ollama 설치 ✅ Ollama JavaScript 라이브러리 사용하기 ✅ Ollama web-ui 사용하기 에 대해서 알아보겠습니다 Ollama : 올라마 🦙 ✅ Ollama (: 올라마) 란? Get up and running with large language models, locally. - ollama.io - 로컬에서 대형 언어 모델(Large Language Models: LLM)을 쉽게 사용할 수 있도록 하는 플랫폼입니다. 현재는 MacOS 과 Linux 환경에서만 제공하고 있습니다. MacOS 기준으로 Ollama 설치를 진행하도록 하겠습니다. ✅ Ollama 설치 brew 명령어를 ..

matrix Required job도 GitHub Actions에서 skip 하기
Programming/Git 2024. 1. 23. 00:08

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ GitHub Actions 실행 시 필수 체크 방법 ✅ 기본적인 ci-skip 처리 방법 ✅ matrix로 설정된 required job도 skip 하도록 하는 방법 에 대해서 알아보겠습니다 GitHub ci-skip ci-test는 Pull Request 요청이나 병합 시 GitHub Actions를 통해 자동으로 build 체크 및 코드에 문제가 없는지 검증을 진행하도록 많이 사용합니다. 또한, 해당 테스트가 성공적으로 완료되어야 병합할 수 있도록 필수로 상태 체크 검증을 추가할 수 있습니다. 그럼 이러한 테스트를 skip 해야 하는 이유에는 어떤 것이 있을까요? 문서 수정이나 스크립트 수정 등 코드 수정 및 개선, 코드..

MongoDB에서 nGram 사용하기(fts, search index)
Programming/mongoDB 2023. 7. 8. 17:40

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ n-gram 이란? ✅ search Index 설정하기 에 대해서 알아보겠습니다 n-gram 이란? ✅ 전문 검색의 종류 n-gram을 설명하기 앞서 먼저 전문 검색하는 종류에 대해서 간단히 살펴볼게요 전문 검색의 아키텍처는 종류가 많이 있는데, 그중에 가장 많이 사용하는 3가지를 소개할게요 📍 grep 형 grep형은 검색 대상 문서를 처음부터 전부 읽어가는 가장 단순한 아키텍처입니다. 단순하게 구현한다면, big-O로 계산하면 O(텍스트의 길이 x 검색 대상의 검색어의 길이) 만큼 상당한 시간이 걸립니다. 장점은 즉시성이 좋고, 검색누락이없으며, 병렬화하기가 매우 간단하다는 특징이 있습니다. 📍 Suffix 형 Suffi..

mac에서 mongodb 설치하기(feat. xcode error)
Programming/mongoDB 2023. 5. 5. 19:17

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ MacOS에서 MongoDB 설치하기 ✅ 설치 중 발생되는 에러 ✅ MongoDB 실행 및 접속 에 대해서 알아보겠습니다 MacOS에서 MongoDB 설치하기 설치하는 방법은 공식 문서를 참고하였습니다. Install MongoDB Community Edition on macOS — MongoDB Manual Docs Home → MongoDB Manual MongoDB AtlasMongoDB Atlas is a hosted MongoDB service option in the cloud which requires no installation overhead and offers a free tier to get started..

Mac OS에서 CocoaPods 설치 시 에러 해결 방법
Programming/flutter 2023. 2. 11. 01:19

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ Error installing CocoaPods ✅ cocoapods 설치 error 해결 방법 ❎ flutter run 실패 ✳️ gem을 이용하여 설치 및 flutter run 성공 에 대해서 알아보겠습니다 CocoaPods 설치 에러 ✅ Error installing CocoaPods 오랜만에 flutter 공부를 다시 시작하기 위해 flutter run을 실행하니 다음과 같은 에러가 발생되었습니다. $ flutter run Launching lib/main.dart on iPhone SE (3rd generation) in debug mode... Warning: CocoaPods is installed but bro..

flutter 패키지 매니저 pub.dev 사용하기 (fluttertoast 사용해보기)
Programming/flutter 2022. 9. 16. 02:48

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번 포스팅에서는 ✅ pub.dev 소개 ✅ toast 사용해보기 에 대해서 알아보겠습니다 flutter package manager ✅ pub.dev pub.dev Dart packages Pub is the package manager for the Dart programming language, containing reusable libraries & packages for Flutter, AngularDart, and general Dart programs. pub.dev pub.dev는 Flutter는 다른 개발자들이 Flutter와 Dart 생태계에 기여한 공유 패키지들을 사용할 수 있도록 지원합니다. 이 패키지를 이용하면 처음부터 모..

Ghost 블로그를 쿠버네티스에 배포해보기(gke)
Programming/Gcp 2022. 8. 1. 14:17

안녕하세요 😉 유유자적한 개발자 유로띠 입니다 😀 👏👏👏👏 이번에 사내에서 gke 스터디를 시작하게 되었습니다. 스터디를 시작하기 전에 gke에 대해서 전혀 모르기 때문에 찾아보다가 유튜브에서 초보를 위한 쿠버네티스 안내서란 Subicura님의 강의를 찾아서 보게 되었습니다. 초보자도 알기 쉽게 설명해 주셔서 너무 좋았습니다. 쿠버네티스를 이용한 배포 데모 편에서 ghost 블로그를 쿠버네티스에 올리는 시연을 보여주셔서 저도 궁금하여 직접 해보게 되었습니다! 이번 포스팅에서는 ✅ 컨테이너 오케스트레이션 ✅ 쿠퍼네티스 소개 ✅ gke에 Ghost 블로그 배포 에 대해서 알아보겠습니다 컨테이너 오케스트레이션 ✅ 서버를 관리한다는 것 💡 (하나하나 캡처를 해서) 문서화를 잘하자! -> 업데이트가 안될 수 있고..