반응형 DevOps94 [유데미 강의 정리 1] docker 개념 및 도커 네트워킹 통신 아래 내용은 유데미 Docker & Kubernetes 실전강의를 듣고 정리한 도커 개념정리입니다. udemy 강의 관련 후기는 아래의 글을 참고 부탁드립니다! https://pearlluck.tistory.com/799 유데미 도커 쿠버네티스 강의추천 [Docker & Kubernetes : 실전 가이드] 수강목적 도커와 쿠버네티스에 대한 간단한 개념은 일하면서 알게 되었지만 이것저것 뒤섞인 느낌이라 기본기를 튼튼하게 다지고 싶었다. 글또 활동 덕분에 Udemy로부터 쿠폰을 지원받아서 고민 pearlluck.tistory.com 목차 Docker 시작하기 docker란? 컨테이너 기술, 컨테이너를 생성하고 관리하기 위한 도구 코드 패키지, 해당 코드를 실행하는데 필요한 모든게 포함되어 있음 도커는 컨테.. 2024. 3. 31. LocalStack으로 AWS local Kinesis 환경 만들기 목차 로그 수집기 AWS kinesis AWS kinesis를 사용해서 많은 로그들을 수집하고 있다. 키네시스는 실시간 데이터 스트리밍 서비스로, 실시간으로 흘러들어오는 데이터들을 받아서 처리해주는 서비스이다. 이때 데이터들은 어느정도라 섣불리 예상하기 어려운데, 다행히도 키네시스는 유동적으로 shard수를 조절해서 scale out까지 가능하다. 물론 도메인에 따라 다르겠지만 우리 앱 기준으로 예를 들어 상품을 클릭하고, 상품을 장바구니에 담고, 구매하고 등등 한 사용자이더라도 다양한 이벤트가 발생한다. 이에 따라 무수한 로그들을 키네시스가 실시간으로 받아서 저장하는 것이다. Receiver Server 결국 이러한 로그들을 키네시스가 받아서 처리해주기 위해, 로그들을 키네시스로 보내주는 서버가 필요하.. 2023. 12. 10. 📖[Kinesis] 직접 알아보는 Kinesis Data Stream 직접 알아보는 sagmaker에 이어서....! 이번엔 직접 알아보는 Kinesis Data Stream...! https://pearlluck.tistory.com/773 [Sagemaker] 직접 알아보는 AWS Sagemaker, 우리팀은 잘 사용하고 있는가? (feat. DS와 DE의 갈등 원인과 해 사실 요즘 세이즈메이커로 distributed training 를 해야하는 "챌린지" 가 주어졌다. 그래서 밤낮없이 troubleshooting을 하고 있는데.. (인생은 원래 혼자인법이지..🥲) 그전에 지금까지 우리팀에서 개발 pearlluck.tistory.com Kinesis(키네시스)란? 실시간으로 데이터 스트립을 수집,처리,분석 해주는 서비스이다. (AWS에서 제공해주는 카프카랑 비슷한 서비.. 2023. 7. 1. [Sagemaker] 직접 알아보는 AWS Sagemaker, 우리팀은 잘 사용하고 있는가? 사실 요즘 세이즈메이커로 distributed training 를 해야하는 "챌린지" 가 주어졌다. 그래서 밤낮없이 troubleshooting을 하고 있는데.. (인생은 원래 혼자인법이지..🥲) 그전에 지금까지 우리팀에서 개발한 모델들과 알고리즘들을 어떻게 세이즈메이커로 학습해왔는지 한번 정리해보려고 한다. Sagemaker란? fully managed machine learning service. 개발한 머신러닝 모델을을 쉽고 빠르게 build하고, train해서, production까지 deploy해주는 머신러닝 서비스다. 그리고 여기 full managed 라는 "완전관리형"에는 "알아서"의 의미가 있는데 이게 장점이다 단점이다..ㅎㅎ 뿐만 아니라 같은 애플리케이션 환경에서 모델 build/tra.. 2023. 2. 26. [docker] Mac M1 이미지 빌드 오류 : qemu: uncaught target signal 6 (Aborted) - core dumped 상황 이미지 빌드 docker build -t $IMAGE_NAME:$IMAGE_TAG --progress=plain --platform linux/amd64 .. 이미지 실행 후 에러메세지 qemu: uncaught target signal 6 (Aborted) - core dumped 경고 WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested 원인 M1(arm64) 칩에서 Intel(amd64) 컨테이너를 실행 빌드할 때 --platform 옵션으로 빌드 출력의 대상 플랫폼(예: lin.. 2022. 3. 28. 🐘 [Docker] 빅데이터환경구성 (최종) - Hadoop&Spark 설치 docker에서 하둡/스파크 설치를 위한 첫번째 도전... 2021.07.27 - [Docker] 빅데이터 분석환경 구성1-Ubuntu&Java설치 2021.07.27 - [Docker] 빅데이터 분석환경구성2-Hadoop 2.7.7 2021.07.27 - [Docker] 빅데이터 분석환경구성3-Spark 3.0설치 2021.07.27 - [Docker]빅데이터 분석환경 구성4-Zeppelin0.9 설치 이번엔 두번째 도전이다... 첫번째 도전일때도 되긴되었지만, 뭔가 뭣모르고 따라한 기분이랄까..? 그래서 뭔가 찜찜한 기분이 들엇다. 그런데 이번 두번째 설치를 함으로써 이제 어느정도 알 것 같다. 역시 한번해보는거랑 두번해보는거랑 달라......그리고 그때 안됐던 웹UI도 다 확인해볼수 있었다..! 1.. 2021. 9. 7. Amazon Corretto로 java설치하기 (OpenJDK 다운로드) hadoop은 자바기반이라서 JVM위에서 동작한다. 그래서 사전에 java설치가 필요한데, openjdk를 오라클에서 받을 경우 막혀서 wget이 안됐었다.. 결국 windows에서 받은걸 복사해서 막 번거롭게 했는데.. 좋은방법을 알게 되서 기록해본다. Amazon Corretto OpenJDK(Open Java Development Kit)의 프로덕션 준비가 완료된 무료 멀티플랫폼 배포판. Corretto를 사용하면 Amazon Linux 2, Windows 및 macOS와 같은 운영 체제에서 Java 응용 프로그램을 개발하고 실행할 수 있습니다. https://docs.aws.amazon.com/corretto/latest/corretto-11-ug/what-is-corretto-11.html Wh.. 2021. 9. 6. 🚩[Redshift] Redshift 란? 다른DB들과 의 차이점은? Redshift 란? AWS에서 완전관리형으로 제공해주는 클라우드 데이터웨어하우스. 클러스터(노드집합)를 생성하고, 클러스터가 사용할 준비가 되면(프로비저닝 완료) 데이터 적재 및 분석가능.PostgreSQL을 기반으로 해서 표준SQL을 이용한 데이터처리를 지원하고, BI도구로 분석할 수 있다. >>데이터웨어하우스 관련글 데이터웨어하우스란? 수집한 여러가지 데이터를 추출 및 변환 과정(ETL)을 거쳐 적재하는 관계형 데이터베이스 2021.03.16 - 데이터웨어하우스(Data Warehouse)란? 2021.08.15 - [데엔스터디2] 데이터엔지니어링을 위한 데이터웨어하우스(RedShift) Redshift 구성요소 클러스터 (Cluster) : 리더노드와 하나이상의 컴퓨팅 노드로 구성되어 있다. 리더.. 2021. 8. 21. 🎯[Lambda] 람다의 장점과 단점 | 콜드스타트와 동시성제한 사실 관련내용은 이곳에서도 정리했었다. 하지만 누군가에게 설명할 수 있을 정도의 수준이 되지 않아서 내가 가장 많이 사용하는만큼 다시한번 더 알아보았다. 2021.06.05 - 음악추천챗봇0. 왜 Serverless아키텍쳐인가? Lambda의 장단점-동시성 음악추천챗봇0. 왜 Serverless아키텍쳐인가? Lambda의 장단점-동시성 지금까지 한 작업은 이렇다. 1. Front - 카카오챗봇 기획작업 완료 2. Back - 스포티파이 API 파악 완료 이번엔 인프라를 구성해볼까 한다. 프론트와 백단을 이어줄 틀을 잡아준다라고 할까. 그전에 개 pearlluck.tistory.com Lambda란? 서버리스 컴퓨팅 서비스 프로비저닝 하거나 관리하지 않아도 코드를 실행할 수 있도록 해주는 컴퓨팅서비스이다... 2021. 8. 9. [EMR] EMR이란? Elastic MapReduce 마스터노드 접속해보기 EMR이란? Elastic MapReduce, AWS에 제공해주는 완전관리형 빅데이터 플랫폼이라고 볼 수 있다. 하둡(MapReduce), Spark, Hive, Zeppelin 등 오픈소스 프레임워크를 가지고 클러스터를 쉽게 구축해주는 서비스이다. 여담으로 EC2도 Elastic Computing Cloud로 앞에 'Elastic'이 들어간다. 비슷한 느낌이다. EMR을 사용하면 뭐가 좋은가? 하둡이나 스파크 같이 널리사용되는 오픈소스 프레임워크를 규모에 구애받지 않고 원하는 용량으로 쉽게 생성가능 하둡클러스터의 설정관리 또는 컴퓨팅 파워와 용량에 대해 걱정하지 않고 데이터를 처리분석하는데 집중할 수 있다. -> 유연성과 확장성이 좋다 >>AWS공식문서 EMR사용시 이점 오토스케일링으로 클러스터를 확장.. 2021. 8. 8. 이전 1 2 3 4 ··· 10 다음 728x90
