데엔잘하고싶은데엔🔥💎

• 

  🧐파이썬 코드 잘 짜는 법 : 비동기 처리로 성능 최적화 하기 2025.03.30

• 

  지금 떠오른 첫번째 생각, 단지 캐시값 일지도 몰라. 2025.03.23

• 

  무신사 PC 웹, 10개월만에 롤백합니다. (feat.계륵 같은 레거시 이자식) 2025.03.20

more

• 

  일에 대한 동기부여는 결국 '나'다. 일을 할 수 있는 '힘'은 어디에서 나오나요? 동기부여 타령을 하던 내가 드디어 이 질문에 대한 답을 찾았다. 힘? 그딴 거 없고, 광기만 남았고. 그냥 나를 위해 일한다. 그러다 보니 강해지더라! 힘내고 싶어요. 사실 한동안 일에 대한 동기부여를 잃었다. 무기력과 허탈함 속에서 의욕 없는 나날을 보냈었다. 어차피 해봐야 다시 해야 될 테고, 어차피 해봐야 비교당해서 내가 질 테고, 어차피 해봐야 성과도 안 챙겨줘서 소용없는데, 내가 이 일을 왜 해야 하지? 하 진자 하기 싫어 죽겠네. 라는 패배감에 흠뻑 젖은 찐따 같은 생각은 물론이고 들끓는 열등감을 동기부여로 승화시키지 지도 못할 만큼 그릇이 작았다. 보잘것없는 일은 미루고 미루고 그저 흐린 눈 하고 회피하고 모른척하기 바빴다. 번아웃이라고 핑계 대.. 2023.11.11

• 

  🚀 DB JOIN 정리(INNER/LEFT/RIGHT/OUTER) join(조인) 둘 이상의 테이블을 연결해서 데이터를 검색하는 방법 연결하려면 테이블들이 적어도 하나의 컬럼을 공유하고 있어야함 이 공유하고 있는 컬럼을 PK 또는 FK값으로 사용 ​ 종류 1. INNER JOIN : 내부조인 ->교집합 2. LEFT/RIGHT JOIN -> 부분집합 3. OUTER JOIN : 외부조인 ->합집합 오라클은 OUTER JOIN있지만, MYSQL은 없어서 LEFT조인 + RIGHT조인 ​ ​ 예를 들어 두가지 테이블(T1,T2)이 있다고 하면, 이걸로 join결과를 그림으로 그려보면서 복습해보자 A ID ENAME 1 AAA 2 BBB 3 CCC B ID KNAME 1 가 2 나 4 라 5 마 1. INNER JOIN : 교집합, 공통적인 부분만 SEELCT됨 ​ ID E.. 2020.01.21

• 

  🧐 파이썬 코드를 잘 짜는 법 : 병렬처리 라이브러리 비교분석 이번엔 파이썬의 한계점과 병렬처리를 통한 성능개선을 알아보고자 한다. 데이터엔지니어에게 필요한 덕?목 중에 하나가 성능을 고려해서 효율적으로 코드를 짜는거랄까..? (아찔훼) 지금 우리 회사에서는 spark 대신 파이썬의 pandas로 대부분의 데이터를 처리한다 (회사와서 spark 쓸 줄 알고 기대했는데) 하지만 점점 데이터의 크기가 커질수록 어느정도 한계를 느꼈고, 이를 개선할수 있는 병렬처리에 대해 찾다가 이글을 쓰게 되었다. 판다스 한계점: 속도도 느리고, 메모리도 많이 잡아먹네?! 판다스의 dataframe은 기본적으로 각각의 row 또는 columns을 순차적(sequential)으로 처리한다. 해당 작업이 완료될때까지 기다렸다가 하나하나씩 처리하는 방식이다. 그래서 데이터의 크기가 커질수록,.. 2022.09.30

• 

  울적한 마음에 맥주한캔 들고 망각행 열차탑승 오랜만의 근황이다. 사실 근황이라기보단 이제 정신을 차렸다랄까. 6월 이사를 하면서 이제 새로운 삶을 살아보자 다짐하고 7월 흠뻑쇼로 열정 충전하는가 싶더니 처음으로 코로나 걸리고, 8월 내내 무기력으로 주춤했던게 쭉 이어지면서 어영부영 여차저차 추석연휴까지 지나고 보니 10월중순. 분명 무더위에 땀을 삐질삐질 흘리던게 엊그제였던것 같은데 이제 천고마비의 계절, 완연한 가을이겠거니 하는 시원함을 넘어서 아침공기에 훌쩍이며 기모 후드티를 꺼낼 계절이라니ㅜ  요즘 이렇게 속절없이 지나간 시간에 비해 내가 이룬게 없단 생각이 들때마다 꽤나 울적하다. 우울은 아니고 "울적"이다. 매일 뭔가 잘못됐다는걸 인지하고 있는 현실 속에서 그렇다고 해결책을 찾기 위한 노력도 하지 않고, 그냥 퇴근길 맥주한캔으로 달래면서.. 2023.10.13

• 

  [Sagemaker] 직접 알아보는 AWS Sagemaker, 우리팀은 잘 사용하고 있는가?

• 

  📖[Kinesis] 직접 알아보는 Kinesis Data Stream

• 

  🚩[Redshift] Redshift 란? 다른DB들과 의 차이점은?

• 

  🎯[Lambda] 람다의 장점과 단점 | 콜드스타트와 동시성제한

• 

  ⚡[Athena] S3에 저장된 데이터활용하기 | 데이터파티셔닝과 압축

• 

  🧐파이썬 코드 잘 짜는 법 : 비동기 처리로 성능 최적화 하기 파이썬 비동기 처리로 개선하다 코틀린에서 코루틴으로 비동기처리를 했는데, 파이썬에서도 비동기처리를 알게 되어서 정리해본다. 예를 들어, LLM을 사용해서 이미지를 학습하려고 하는데 이때 수많은 이미지를 동시에 처리하는 작업이 필요했다.이미지들을 다운로드 하고, 변환하고, 전처리하는 각각의 과정을 하나씩 순차적으로 처리한다면 시간이 너무 오래걸릴 것이다. 그래서 파이썬의 비동기 프로그래밍을 활용해서 이러한 작업들이 동시에 실행되도록 개선해서 처리시간을 크게 단축했다.  이번 글에서는 직접 코드 리팩토링을 하면서 파이썬 비동기 처리를 하면서 알게된 개념들 위주로 알아보려고 한다.async/ await : 비동기 함수 선언 및 호출하기asyncio.run() : 동기 함수에서 비동기 함수 호출하기asyncio.. 2025.03.30

• 

  지금 떠오른 첫번째 생각, 단지 캐시값 일지도 몰라. 생각하는대로 살지 않으면 사는대로 생각하게 된다.  - 폴 발레리 사실 바쁘디 바쁜 현대사회에서 생각할 시간 조차 없다고 할수 있겠지만 그럴수록 생각해야한다.편하고 익숙한대로 살아가도면 어느순간 내가 원하지 않은 방향이라는걸 깨닫게 되는 순간이 온다.바로 지금, 이 글을 쓰는 이유이다.   생각의 캐시 값도대체 나는 왜 항상 하던대로 행동하려고 할까?이건 생각의 캐시값 때문이다.   우리는 늘 하던대로 행동한다. 그게 익숙하고 편하기 때문이다. 인간이라면 누구나 자신만의 캐시값이 있다. 부모의 말, 과거의 실패, 사회의 기준으로부터들어온 목소리들까지 내 안에 쌓이면서자신만의 생각으로 굳어졌을 것이다.  특히 나이가 들수록 캐시값의 히트율은 높아진다.생각이라는 깊은 디비를 찌르지 않고, 캐시 되어 있는 결.. 2025.03.23

• 

  무신사 PC 웹, 10개월만에 롤백합니다. (feat.계륵 같은 레거시 이자식) 무신사는 2024년 6월 PC 운영을 종료했다가 2025년 3월 31일부터 PC 운영을 재개하기로 결정했다.  왜 무신사는 PC 웹서비스를 없앴다가 10개월만에 다시 부활시키려고 하는걸까? 왜 PC를 종료하려고 했고, 왜 다시 재개하려고 하는걸까? 이번 글에서는 그들의 개발 속사정은 무엇이였을지 알아보려고 한다. 무신사 PC 웹 서비스, 운영 중단과 재개 결정무신사에서 PC 웹 사이트를 종료한다고 했었던 기억이 있다. 꽤 갑작스러워서 아직까지 생생하게 기억하고 있었는데, 작년 6월이였다.  "일관된 사용자 경험과 안정된 서비스 이용환경 제공" 이라는 명분으로 PC 웹사이트를 모바일 웹으로 전환하여 무신사 PC웹 서비스를 종료한다고 들었다.  개인적으로 웹서비스를 종료하겠다는 사유가 솔직하지 못해서.. 조.. 2025.03.20

• 

  Dify 설치 하고 기능 살펴보기, LLM 앱 개발을 위한 오픈 소스 플랫폼 LLM 앱을 뭔가 만들어보고 싶다. 그래서 AWS bedrock도 알아보고 있었는데,Dify는 그 다음으로 눈에 들어온 LLM개발 오픈소스 플랫폼이다.  Dify가 마음에 들었던 이유는 일단 빠르게 해보기 쉬워보였다. LLM 서비스라고 한다면 LangChain이나 RAG, VectorDB설정, 프롬프트 엔지니어링 까지 이것저것 하나하나 디테일을 손보면 끝도 없는데, 여기에 많은 리소스가 들어간다고 생각해서 시작하기 어려웠다. 그런데 Dify를 알고 나서 마음이 훨씬 가벼워졌다. 그래서 나처럼 LLM 서비스를 간단하게 만들어보고 싶다면, 한번쯤 사용해보면 좋은 툴인것 같다.그렇다면 이번글에서는 Dify가 무엇인지 간단하게 개념정도 알아보고, 다음글에서  Dify를 가지고 직접 간단한 LLM서비스를 만들어본.. 2025.03.16

• 

  [책] Amazon Bedrock으로 시작하는 실전 생성형 AI개발 리뷰 이번 글에서는   책에 대한 리뷰와 후기 위주의 서평글을 남겨보려고 한다. 간단하게 내용과 구성을 살펴보는 글로,  Amazon Bedrock을 직접 사용해보면서 알게 된 내용은 다음글을 참고하면 좋을것 같다.  책을 읽기에 앞서다른 책이였다면 목차만 후루룩 보고 넘어갔을테지만좋은 기회로 책을 집필하신 분들로부터 직접 제공받은 책이라 그런지머릿말부터, 추천사, 감사의말까지 하나하나 꼼꼼히 살펴보게 되었다. 집필에 몰두하느라 소중한 가족들과 친구들에게 소홀히 했다는 집필후기를 읽었는데마지막에 가족에게 전하는 감사인사가 특히 인상적이였다. 책을 펴내기까지 노고와 진심이 고스란히 느껴졌다..!  목차 살펴보기 목차는 아래와 같이 구성되어 있다. 각 파트가 짧아서 간단하게 후루룩 읽기 좋다.  특히 챕터가 0부.. 2025.02.01