AWS고객이 주로 겪는 운영이슈1 -EC2관련

유형1. 상태확인이슈(Status Check Fail 발생)

 모니터링 지표 : Status Check Failed(System) -> 정상0, 문제1

1-1. 시스템 상태확인
인스턴스가 실행되는 기본 호스트OS에서 문제 확인

• 모니터링 지표 : Status Check Failed(System) -> 정상0, 문제1
• 원인 : 물리적 호스트의 소프트웨어/하드웨어 문제로 인한 네트워크 접속문제
• 해결방법 : 인스턴스를 stop하고 start한 다음 다른 물리적 호스트로 이동시킴

 

1-2.인스턴스 상태확인
인스턴스 자체(Guest OS)에서 문제 확인

• 모니터링 지표 : Status Check Failed(Instance) ->정상0, 문제1
• 확인 : 시스템로그/콘솔출력/오류메세지
• 원인 : 커널패닉, 게스트os부팅실패, 볼륨마운트 실패, 파일시스템 문제 등 인스턴스 자체의 잘못
• 해결방법 : 인스턴스 재시작, 게스트os 내부단의 문제이므로 리눅스 커널 파라미터 수정 

EC2인스턴스의 시스템로그

 

유형2. 인스턴스 자동 재시작 발생

• 모니터링 지표 : 예정된 이벤트가 있었는지 확인 -> EC2의 이벤트, PHD에서 확인
• 확인1: 예정된 이벤트가 없었다면 인스턴스 로그확인(syslog,dmesg)
• 확인2: CloudTrail에서 확인 -누가 reboot 인스턴스 이벤트를 실행했는지 확인가능

 

유형3. 인스턴스 생성이슈 (생성 즉시 종료 발생)

인스턴스 생성 라이프 사이클

• 원인1 : EBS 볼륨 limit을 초과했기 때문에 
• 해결방법 : aws에 EBS limit 증가요청
• 원인2 : AMI 이미지가 잘못 생성됐기 때문에 
• 해결방법 : 이미지 재생성

유형4. 인스턴스 접속이슈 (인스턴스 접속불가 발생)

인스턴스 접속 루트

인스턴스에 접속루트 : NACL 뚫고 -> SG뚫고 -> Route Table 따라서 가면 -> 인스턴스 접속성공

 

• 확인1 : NACL 인바운드/아웃바운드 확인
• 원인 : 인바운드로 들어가도 아웃바운드 열어두지 않아서 접속 불가
• 확인2: SG확인 
• 원인 : 사용하고 있는 포트의 소스IP와 포트를 허용하고 있지 않아서 접속 불가
• 확인3 : 라우트테이블 확인 
• 원인 : 나가는 트래픽이 인터넷게이트웨이를 향하고 있지 않아서 접속불가
• 확인4 : 인스턴스 자체의 문제인지 확인
• 원인 : 인스턴스 cpu가 많이 차지하고 있어서 너무 바빠서, Private key가 안맞아서, 기본사용자명이 안맞아서

 

인스턴스 상태확인 VS 시스템 상태확인

https://aws.amazon.com/ko/premiumsupport/knowledge-center/system-reachability-check/

연결할 수 없는 EC2 Linux 인스턴스의 상태 확인 실패 문제 해결

https://www.slideshare.net/awskorea/3-operating-issue-solution-for-aws-customers

AWS 고객이 주로 겪는 운영 이슈에 대한 해법-AWS Summit Seoul 2017