반응형 분류 전체보기468 여전히 늦게 쓰는 글또 8기 후기 이렇게 벌써 6개월이 흘러 글또 8기가 끝났다. 사실 글또 7부터 이번 8기까지 연달아 두번 연속으로 진행해봤는데, 글또 자체가 늘 발전되고 개선되는 느낌이 들었다. 그럼에도 나는 여전히 글 쓰는걸 미리미리 하지 못하고,, 지금 이렇게 마지막 글조차 부랴부랴 타임어택으로 쓰는 중이다.. 지난번에도 그랬던것처럼 글또를 마무리하며 마지막 회고록을 쓸때면 처음에 글또를 시작했을때 썼던 글로 그때의 마음가짐을 다시 되돌아본다. https://pearlluck.tistory.com/772 심기일전, 글또 8기 시작! 지난 글또 7기에 이어서 이번 8기도 시작하게 되었다! https://pearlluck.tistory.com/767 글쓰는 개발자 모임, 글또 7기 굉장히 뒤늦은 후기 지난 5월, 나는 글또 7기를 .. 2023. 7. 16. 📖[Kinesis] 직접 알아보는 Kinesis Data Stream 직접 알아보는 sagmaker에 이어서....! 이번엔 직접 알아보는 Kinesis Data Stream...! https://pearlluck.tistory.com/773 [Sagemaker] 직접 알아보는 AWS Sagemaker, 우리팀은 잘 사용하고 있는가? (feat. DS와 DE의 갈등 원인과 해 사실 요즘 세이즈메이커로 distributed training 를 해야하는 "챌린지" 가 주어졌다. 그래서 밤낮없이 troubleshooting을 하고 있는데.. (인생은 원래 혼자인법이지..🥲) 그전에 지금까지 우리팀에서 개발 pearlluck.tistory.com Kinesis(키네시스)란? 실시간으로 데이터 스트립을 수집,처리,분석 해주는 서비스이다. (AWS에서 제공해주는 카프카랑 비슷한 서비.. 2023. 7. 1. [Tool] Json Formatter, ObjGen: API JSON response 만들기 앞서 API 설계 관련해서 간단하게 글을 작성했는데, 이번 글에서는 json 관련한 툴을 몇가지 소개해보려고 한다. https://pearlluck.tistory.com/781 [Kotlin] 굉장히 초라한 API 설계..와 구조? (+ JSON 생성기) 점점 더워져서 그런지 의욕이 없고, 의지가 없이 쳐지는 일상이다..ㅜㅜ 그러던 중 요즘 하고 있는 코틀린 api개발 관련해서 간단하게 기록해볼까한다... 내가 직접 짰던 코드를 바탕으로 위 다섯 pearlluck.tistory.com 대부분 API의 response가 JSON 형식이라, 이번 실제로 사용하면서 편했었다. API 테스트할때 사용하는 가장 기본적인 툴로 PostMan, Insomnia가 있지만, 너무나도 다들 잘 알고 있을것 같아서..패스... 2023. 7. 1. [Kotlin] 굉장히 초라한 API 설계..와 구조? (+ JSON 생성기) 점점 더워져서 그런지 의욕이 없고, 의지가 없이 쳐지는 일상이다..ㅜㅜ 그러던 중 요즘 하고 있는 코틀린 api개발 관련해서 간단하게 기록해볼까한다... 내가 직접 짰던 코드를 바탕으로 위 다섯가지들의 연결관계들의 흐름을 어떻게 설계했는지 간단하게 알아보려고 한다. 아래와 같이 몇가지 컴포넌트들로 구성된다. 1. Resource 2. Response 3. DTO 4. Service 5.Repository 간략하게 resouce는 요청포맷, reponse는 응답포맷을 정의하는걸로 보면되고, DTO는 응답포맷에 들어가는 data를 정의한다고 보면 된다. 그리고 Service가 주로 Repository에서 db에서 쿼리한 결과를 바탕으로 주된 동작방식을 구현한다고 이해하면 될것 같다. Resource에서는 e.. 2023. 6. 18. 2023 상반기 회고록.. (부제 : 어쩔수 없잖아) 조금은 이르지만 업무적으로, 멘탈적으로, 그리고 개인적인 일상 부분으로 올해 상반기를 되돌아보려고 한다! 사실 이번 상반기동안 진행했던 프로젝트가 드디어 마무리가 되어서 릴리즈가 되었다 그런데 성취감?만족감? 이 들기보다는 그냥 드디어 끝났네....(털석) 라는 생각이 더 많이 들었던것 같다ㅜㅜ 왜 그랬나 한번 생각해봤는데, 두가지 이유가 있을것 같다. 첫번짼, 너무 길게 했다. 이 과제를 이렇게까지 오래할 이유가 없을것 같은데, 피드백받고 수정하고 하다보니 계속 속도가 붙지 않았다. 두번짼, 이거 하나만 했다. 심지어 하나만 하는데도 일정을 못맞추니까 스트레스는 스트레스대로 다 받았다.. 결국 오로지 하나의 과제만 보고 달려가는데, 이게 딜레이가 되면서 점점 쳐지니까 의욕도 떨어지고 일할 맛이 안나는거.. 2023. 5. 20. 📖[Redshift][S3] 대용량 데이터 처리 고민: S3 Unload/Copy와 Redshift Specturm 외부테이블 대용량 데이터에 대한 고민 요즘들어 이런게 바로 데이터엔지니어링인가?싶은 부분이 있어서 기록해보려고 한다. 한창 개발중인 알고리즘은 최소 4주 이상의 사용자 행동로그를 기반으로 동작한다. 그런데 이때 이렇게 큰 대용량 데이터를 수집하고 처리하는데 아래와 같은 두가지 고민사항이 있었다. 1. 수집한 대용량 로그 데이터를 어디에 어떻게 저장할 것인가? 2. 분석하기 위해 대용량 데이터를 불러오는 가장 효율적인 방법은? 3. 최종 분석결과를 어디에 어떻게 저장할 것인가? 이러한 고민들을 엔지니어링 관점에서 어떻게 해결했는지 그리고 관련 기술에 대해 작성해보려고 한다. 1. 날짜기준으로 파티셔닝하여 s3에 unload한다 ( Redshift -> S3 ) 우리는 redshift에서 어찌저찌 수집 및 분석한 데이.. 2023. 4. 23. [snowflake] Snowflake로 S3에 있는 데이터 COPY 해보기 우리는 redshift를 어떻게 쓰고 있는가? aws 데이터웨어하우스로 두가지 목적으로 사용하고 있다. 첫번째는 DS의 데이터 분석 작업용, product info나 event log 등 분석하기 위한 테이블들을 저장한다. 두번째는 배치작업용, 실제 서비스화하려는 알고리즘들을 개발하기 위해 대용량 데이터를 처리하는 목적으로 사용한다. redshift가 힘들어요 점점 데이터분석 작업 뿐만 아니라 배치작업들이 증가하고 있다. 특히나 대부분은 대용량 데이터를 처리하는 경우가 많다. 그런데 이걸 하나의 redshift에서 처리하다보니 redshift가 힘들어하는지 처리시간도 느려지고 물론 비용도 많이 나가고 있다. 그래서 일단은 최대한 여러가지 배치작업들을 동시에 처리하는걸 피하기 위해 배치 주기를 겹치지 않게.. 2023. 4. 9. [Sagemaker] 직접 알아보는 AWS Sagemaker, 우리팀은 잘 사용하고 있는가? 사실 요즘 세이즈메이커로 distributed training 를 해야하는 "챌린지" 가 주어졌다. 그래서 밤낮없이 troubleshooting을 하고 있는데.. (인생은 원래 혼자인법이지..🥲) 그전에 지금까지 우리팀에서 개발한 모델들과 알고리즘들을 어떻게 세이즈메이커로 학습해왔는지 한번 정리해보려고 한다. Sagemaker란? fully managed machine learning service. 개발한 머신러닝 모델을을 쉽고 빠르게 build하고, train해서, production까지 deploy해주는 머신러닝 서비스다. 그리고 여기 full managed 라는 "완전관리형"에는 "알아서"의 의미가 있는데 이게 장점이다 단점이다..ㅎㅎ 뿐만 아니라 같은 애플리케이션 환경에서 모델 build/tra.. 2023. 2. 26. 심기일전, 글또 8기 시작! 지난 글또 7기에 이어서 이번 8기도 시작하게 되었다! https://pearlluck.tistory.com/767 글쓰는 개발자 모임, 글또 7기 굉장히 뒤늦은 후기 지난 5월, 나는 글또 7기를 시작했다. 그리고 당시 글또를 시작하게 된 계기와 마음가짐을 적어두었다. https://pearlluck.tistory.com/753 글쓰는 개발자 모임, 글또 7기 시작! 글또 '글쓰는 또라이가 세상 pearlluck.tistory.com 글또, 왜 또 참여하는가? 사실 지난 7기를 할때는 너무 자주 빠지는 바람에 예치금의 절반을 잃었다..ㅜㅜ 지난 한해 동안은 회사에 갓 들어온 신입으로써 본격적인 일을 한다기보단 우와~하면서 어깨너머로 보기만 한것 같다. 그러다보니 그러면 안되는데 나는 약간의 나태함과 지.. 2023. 2. 4. 타성에 젖다 (매너리즘에 빠지다) 요즘 재미있게 보는 라는 프로그램이 있다.어느날때처럼 가볍게 유튜브로 보고 있다가지금의 내 상황을 딱 적절하게 표현하는 새로운 단어를 알게 되서 적어본다. 타성이란?한자로 게으를 타, 성품 성. 즉, 오래되어 굳어진 좋지 않은 버릇결국에 타성에 젖었다는건 변화나 새로움을 꾀하지 않아 나태하게 굳어진 습성을 버리지 못하고 있다는 뜻이다.다른말로 매너리즘에 빠졌다고도 표현한다.항상 틀에 박힌 일정한 태도를 취함으로써 신선미와 독창성을 잃어버렸다고 볼수 있다. 타성에 젖은 상태가 되서 결국 뭘해도 채워지지 않는 그 깊은 공허함.이게 기안84가 세계일주를 떠나게 된 계기이면서 너무나도 공감되는 이야기였다.심지어 기안84는 자기도 모르게 자기를 속여 가면서 웃는 텐션이 나올때 짜증난다고 하던데이부분이 좀 섬칫하.. 2022. 12. 25. 이전 1 2 3 4 5 6 7 8 ··· 47 다음 728x90
