JIU's Data blog 🩵

DB(postgreSQL)에서 데이터를 읽어서 챗봇을 만들고자 했습니다. 아무래도 SQL 에이전트가 가장 빠르고 효율적인 방법같아서 sql agent 쓰려고 했는데 자꾸PydanticUserError: SQLDatabaseToolkit is not fully defined; you should define BaseCache, then call SQLDatabaseToolkit.model_rebuild() 이런 오류가 나는 것임니다... 코파일럿과 지피티 클로드 모두 해결하지 못하길래 일주일 반 정도 다른 일하다가 다시 왔더니 그 사이에 누가 문제를 해결해주셨다. 아래 링크 참고. 결론 : pydantic 의 버전을 2.9.2로 다운그레이드 해서 해결. https://github.com/langchain-..

Docker는 소프트웨어를 컨테이너라는 단위로 패키징하여 배포하고 실행할 수 있게하는 플랫폼. 앱과 환경을 하나로 묶어 배포하기에 어디서나 동일하게 실행될 수 있음. 또한 가상화 플랫폼으로서, 컴퓨터의 성능을 더욱 효율적으로 쓸 수 있게 함. 1. 주요 개념도커의 주요 개념에는 컨테이너, 이미지, 도커파일, 레지스트리가 있음. 1. 컨테이너경량화된 가상머신과 비슷한 개념. 애플리케이션과 환경을 하나의 패키지로 묶어 독립적으로 시행할 수 있게 함.컨테이너를 기반으로하는 가상화는 Host OS 그리고 Docker 엔진위에서 바로 동작하며 Host의 커널을 공유한다.이렇게 커널을 공유하게 되면 io처리가 쉽게 되어 성능의 효율을 높일 수 있다. 2. 이미지컨테이너를 실행하는데 필요한 파일과 설정을 포함한 것...

현재 만들고 있는 서비스의 목적은 보유 데이터를 유저에게 보여주는 것이다.개발 초기에는 이렇게 데이터가 클지 모르고, 간단하게 만들어보고자 모든 데이터를 프론트단에 모두 두고 개발을 시작했다. (처음에는 100메가 정도였다...)어느정도 만든 후, 새로운 데이터를 주시고 디벨롭했어야 했는데, 받아보니 거의 2.8기가였다는...ㅎㅎㅎㅎㅎ당연히 속도는 느릴 수밖에 없는 엄청난 데이터였다..^^;; geoJSON은 겁나,,, 겁나 커,,,,,,,,,, 이런 데이터를 처리해 본 적이 없으니 좀 당황스러워서 새로운 방안을 고민해보기 시작했다.  1. 백앤드 도입 당연히 가장 처음 생각했던 것은 백앤드 도입이었다. 이미 기존 코드를 node.js로 만들었으니, 백앤드도 node.js로 만들면 얼마 안걸릴 것이라는 ..

우리 웹사이트의 데이터는 지리 정보를 효과적으로 전달할 수 있는 geoJSON형식으로 제공한다. 아직은 초기 개발 단계여서 전체 데이터 중 일부 데이터만을 보여주려고 하지만, 앞으로 추가할 데이터가 겁나 많아서 효율적인 방법을 고민하게 되었다. 일단은 백엔드는 고려하지 않고 프론트단에서 다 끝내는 것이 낫겠다는 판단. 나중에 연도별 데이터를 추가하면 백엔드를 도입하여 연도별 필터링을 해야겠지... 구현할 생각에 두근~^^ 그렇게 찾아보던 중 효율적으로 지리 데이터를 서빙하는 방법 중 벡터 타일 형식에 대해 알게 되었다. 이것이 무엇일까~알아야 쓰지. 그래서 개념 정리를 좀 해보려고 한다. 일단 정의는 다음과 같다. 벡터 타일은 지리정보 시스템(GIS)에서 지도 데이터를 효율적으로 표현하고 전달하는 형식...

도커 새로 써보면서 삽질 기록. 삽질을 기록하지 않으면 시간만 날린 것 같고 그래 응.... 이번에 입사한 회사에서 지도 웹앱을 만들고 있다. 만들었더니 이제 도커로 올려보라는 NEW mission을 받았다!도커... 안써봐서 조금 걱정했지만 이것 저것 따라하니 2시간만에 어느 정도 할 수 있게 됐다. 뿌-듯.근데 COPY를 써서 앱 소스 코드를 복사할 시에는 코드를 수정할 때마다 새롭게 이미지 빌드를 해줘야 했다.아직 개발 단계니까 계속 이렇게 할 수 없어 질문!-> 도커 컨테이너에 Volume 으로 local에서 작업한 코드를 마운트하면 바로 적용된다!docker run \ -d \ -p 5001:5001 \ --name my-map-container \ -v ${pwd}:/usr/src/ap..

1. Django-Spring-React 프로젝트가 되어버린 건에 관하여|Chat apt api 를 활용한 인공지능 프로젝트를 진행해본 경험이 없어 spring만으로 구현이 가능할 것이라 생각했었다. 그러나 STT를 구현해주는 정확도 높은 모델 openAI사의 whisper LLM 모델을 사용하기 위해선 반드시 파이썬으로 작업해야했다. 이에 결국 장고와 스프링 그리고 리액트라는 세 개 서버의 통신으로 구현된 프로젝트를 만들게 되었다.(+ 가장 작은 기능만을 구현해놓은 상태인데, 내가 하고 싶은 단계까지 가려면 프롬포트 엔지니어링과 랭체인을 활용해야한다. 시간만 더 있으면,, 혹시라도 시간이 남는다면,, 여기까지 구현하고 싶다 ㅎㅎㅎ)2. PM으로서의 역량을 발견하다. |나는 이전에 디자이너로서 제품 디자..

1. 프로젝트 생성 스프링 부트 스타터 사이트(https://start.spring.io)에서 스프링 프로젝트 생성 프로젝트 선택 Project: Gradle Project Language: Java Spring Boot: 3.3.2 Project Metadata Group: com.feelinsight Artifact: feelinsight Name: feelinsight Package name: com.feelinsight.feelinsight Packaging: Jar Java: 17 Dependencies: Spring Boot DevTools, Lombok, Spring Web, Spring Security, OpenAI, MySQL Driver 2. 요구사항 분석주요 기능사용자 흐름(User-..

Chapter 4. [ CPU의 작동 원리 ]4-1. ALU와 제어장치ALU계산기 역할을 수행하는 것제어장치로부터 제어신호를 받아들이고, 레지스터로부터 피연산자를 받아들인다.이후 이를 활용해 산술연산, 논리 연산 등의 연산을 수행한 후, 결과값을 내보낸다.결과값은 레지스터에 저장되는데, 이는 cpu가 메모리에 접근하는 속도보다 레지스터에 접근하는 속도가 빠르기 때문이다.또한, 플래그를 내보낸다. 플래그는 플래그 레지스터에 저장되며, 플래그의 종류에는 다음과 같은 것이 있다.플래그 종류의미부호 플래그연산한 결과의 부호를 나타냄제로 플래그연산 결과가 0인지 여부를 나타냄캐리 플래그연산 결과 올림수나 빌림수가 발생했는지를 나타냄오버플로우 플래그오버플로우가 발생했는지 나타냄인터럽트 플래그인터럽트가 가능한지를 나..

이번에 혼공학습단 12기에 함께하게 되었다.다양한 기술 공부를 할수록, 비전공자로서 컴퓨터 구조에 대해 아쉬움이 남았다.이 부분을 해결하고자 기술 분야의 1티어 출판사 한빛아카데미에서 하는 이번 학습단에 참가하게 되었다.일정은 다음과 같다.이번 1주차 숙제이다.활동 인증 방법은 다음과 같다. 커리큘럼은 다음과 같이 진행된다. 학습 내용Chapter 1컴퓨터의 4가지 핵심 부품1. 중앙처리장치(CPU) 2. 주기억장치(메모리) 3. 보조기억장치 4. 입출력장치 1️⃣ 중앙처리장치 (CPU)- 산술논리연산장치 (ALU), 제어장치와 레지스터들로 구성되어 있음.- ALU : 계산만을 위해 존재하는 부품. 계산기.- 레지스터 : 프로그램을 실행하는데 필요한 값들을 임시로 저장하는 공간. CPU 내부의 작은 임시..

아래는 내 코드. 내 코드의 장점은 다른 사람이 한 눈에 이해할 수 있다는 데 있는 것 같다. 그치만 기본에 충실한 코드기에 그런거다. 코드가 길고, 신박함이 떨어진다는 단점, 비슷한 코드가 반복된다는 단점이 있다. def solution(dot): if dot[0]>0 and dot[1]>0: return 1 elif dot[0]0: return 2 elif dot[0] 0] 0과 1로 결과 값이 정해지는 경우 boolean을 활용하는 것이 key point 라고 생각한다. Boolean을 앞으로 코드에서 활용할 수 있어야겠다.