- 히팟 앱 개발 관련 : 이용하시기 불편한 앱임에도 지속적으로 콘텐츠 이용해주셔서 감사합니다. 현재 앱 재개발은 어느정도 마무리됐고 테스트 중에 있습니다. 곧 업데이트 할 수 있을것 같은데 확정된 날짜가 나오면 바로 말씀드리겠습니다.
- 주베, 주2회로 확장 편성 : 이미 어제 업로드가 됐지만 이제 주베는 주2회 업로드 예정입니다. 두번째 회차는 저와 간지, 행복이형, 그리고 스탠드업 코미디언 박철현님과 진행합니다. 많은 사랑 부탁드립니다.
- 식장탈출 넘버원, 리부트 시작 : 많은 분들이 사랑주셨던 식장탈출 넘버원이 다시 시작되고 이번주 일요일에 0회 업로드 예정입니다. 지난 식장탈출처럼 광고는 아직 붙지않아 당장은 유료 콘텐츠로 제작되고 유료 콘텐츠인만큼 더 재미있게 준비하겠습니다. 멤버는 박종윤, 손문선, 최란 그리고 가오가이와 임혜정이 합류하여 5인 체제로 진행합니다. 많은 관심 부탁드립니다.
- 랩스튜디오 유튜브 채널, 부활 : 식장탈출 넘버원, M의 대화 등 팟캐스트 콘텐츠를 업로드하던 랩스튜디오 채널을 부활 시킵니다. 현재 진행 중인 주베, 한남동문예부, 식장 리부트 등은 히팟/팟빵에 모두 풀버전이 업로드 되고, 랩스튜디오 채널엔 쇼츠나 짤막한 클립이 업로드 예정이고 영상 풀버전도 다른 형태 업로드를 계획하고 있습니다.
다시 한 번 랩추종윤 제작 음성콘텐츠 사랑해주신 분들께 감사말씀 드리고 앱 업데이트와 콘텐츠 제작도 청취자 분들이 좋아하실 수 있도록 잘 준비하겠습니다.
도배, 스팸, 음란물, 욕설 및 비방, 타인에게 불쾌감을 주는 댓글은 신고 대상입니다. 신고가 누적될 경우, 사전 통보 없이 계정이 삭제될 수 있습니다.
최근 일부 이용자가 서브 계정을 이용해 악성 댓글을 작성하는 사례가 확인되었습니다. 이러한 서브 계정을 통한 댓글 어뷰징 행위 역시 이용 정지 및 계정 삭제 대상에 포함됩니다. 서브 계정을 사용하여 악성 댓글을 작성할 경우, 본 계정 또한 함께 삭제될 수 있음을 안내드립니다.
건전한 커뮤니티 환경을 위해 신고 대상 댓글 작성 및 서브 계정 어뷰징을 삼가주시기 바랍니다.
안녕하세요. 히팟 담당자입니다. 5월 17일 안드로이드 버전 히팟 앱이 특정 기기 오류(재생오류, 종료 시간 설정 탭, 다운로드 오류 등) 등을 수정하여 업데이트 되었습니다. 스토어 방문하셔서 업데이트 부탁드립니다! 이용에 불편을 드려 죄송하며, 다른 오류(잠금화면 / 노티 미디어 콘트롤러 부분)도 수정이 끝나면 추가 업데이트를 진행하겠습니다. IOS 관련 오류 부분은 승인이 나면 바로 배포 진행 및 공지 올리겠습니다. 감사합니다!
안녕하세요. 히팟 담당자입니다. 5월 11일 기준 IOS(2.0), 안드로이드(1.3.0v) 버전으로 앱이 업데이트되었습니다. 이용에 참고 부탁드리며, 업데이트 이후 크고 작은 오류 사항들이 발생하고 있습니다. 이용에 불편을 드려 죄송합니다. 취합된 오류 사항을 빠르게 확인, 수정중입니다. 향후 이용에는 불편함이 없도록 하겠습니다. 히팟을 이용해 주셔서 다시 한번 감사 말씀 드리며, 계속해서 발전하는 히팟이 되도록 하겠습니다. 감사합니다.
해당 시간 동안 모든 결제 / 환불 / 본인인증 처리가 이뤄지지 않음 아임포트 결제서비스, 본인인증 서비스 및 REST API / 아임포트 어드민 모든 서비스에서 Outbound 트래픽이 차단됨 결제창/본인인증 서비스 호출 시, PG사와 사전 통신을 필수로 요하는 케이스는 결제창/인증창이 뜨지 않는 문제 발생 결제창/본인인증 서비스 호출 시, PG사와 통신을 필수로 요하지 않는 케이스는 결제창/인증창이 뜨지만 최종 승인/본인인증 단계에서 처리되지않고 Timeout 발생 REST API 를 통한 결제건 환불처리 시, Timeout 발생하며 처리되지 않음 아임포트 어드민을 통한 결제건 환불처리 시, Timeout 발생하며 처리되지 않음
2.원인
아임포트 서비스는 AWS Seoul 리전에서 모든 서비스 운영되고 있음 (availability zones - a zone / c zone 이중화 처리 중)) AWS VPC 내 NAT 게이트웨이를 거쳐 모든 AWS 리소스가 Outbound 에 대한 트래픽 처리 중 PCI-DSS / ISMS-P 인증 진행 과정 중이며, 심사기관으로부터 일부 네트워크 구성 변경에 대한 요청을 받음 17시부터 관련 구성변경을 위한 내부 인프라 변경작업 진행 과정에서 NAT게이트웨이를 통한 서브넷 구성 변경을 시작 담당자 실수로 Outbound 처리가 필요한 WAS 리소스들이 포함된 서브넷들이 NAT게이트웨이에서 제거되는 상황 발생
3.내부 대응 (시간 경과순)
-17시 28분 : 내부 트래픽 모니터링 및 Alert 시스템을 통한 인프라 장애 감지후 담당자 원인 분석 + 내부 인원간 변경이력 조사 시작
1차 원인 분석(잘못된 분석) : 해당 시점기준 특이사항 내부 파악 시, 개발팀에서 DB 테이블 컬럼 암호화 처리를 위해 대량 배치프로그램 실행한 이력 확인
-17시 55분 : 배치프로그램 중단 및 모든 WAS 순차 재기동 시작
-18시 05분 : 모니터링 로그상 여전히 이슈해결되지 않은 것을 확인하고 다른 원인 분석 시작
-18시 20분 : 아임포트로 들어오는 Inbound 트래픽은 모두 정상이며, Outbound 트래픽 처리 단계에서 Timeout 발생하는 현상 확인 및 모든 AWS 리소스에서 Outbound 트래픽이 나가지 않는 현상 확인 (올바른 분석)
-18시 25분 : VPC설정 상태 점검 시작 및 재택인원 포함 VPC 관련 변경이력 추적
-18시 35분 : NAT게이트웨이 관련 서브넷변경이력 확인
-18시 50분 : 모든 서브넷 설정 복구 완료 및 결제동작 정상화 확인
-19시 18분 : 모든 WAS 및 서버 재기동 완료 (다량의 Timeout 으로 인해 좀비프로세스가 된 시스템 완전 복구 목적)
4.회고
이번 장애는 작업자에 의한 인재로서 내부 인원들간 작업 내용 사전 공유 및 컨펌 후, 작업개시 프로세스 확립 필요 AWS CloudTrail 및 AWS Config 적극 활용을 통해 보다 빠른 변경이력 및 변경 전/후 비교 자동화 필요 향후 모든 인프라 변경작업은 항상 2인 1조로 페어로 수행하며, 작업내용에 대해 빠른 내부 공유 프로세스 확립
이용에 불편을 드려죄송합니다. PG사에 강력히 항의 하였습니다. 재발방지를 위해 최선을 다하겠습니다.