AWSで稼動させているEC2で障害発生 続

先日、AWSで稼動しているEC2がダウンしたとお伝えしましたが、その続報です
関連記事:AWSで稼動させているEC2で障害発生 初心者の障害対応日記

今回の障害では、EC2の再起動などで復旧しなかった為、定期(毎日)スナップショットを取得しているので取得したスナップショットからAMI作成→インスタンスとして起動し復旧させました。

当時の状況を問題のあったインスタンスモニター履歴から考察してみました。
まずは、CPUですが時刻がUTC表記なので日本時間だと+9時間になります
グラフの9/26 17:00(UCT)頃なので日本時間では9/27AM2:00 このタイミングでCPUのグラフは途切れている
image
9/27 02:00(日本時間同日AM11:00)頃にCPUのグラフが再び跳ね上がります。このタイミングはインスタンスをSTOP→STARTした時間です

簡単な時系列(日本時間)を
AM2:00  ALARM: “-i-XXX9a388-Status-Check-Failed-Any” in APAC – Tokyoメール受信
AM6:00  httpdダウンのメール受信
AM11:00 インスタンスをSTOP→STARTさせました。

しかし、気になるのはAM2:00~6:00間のhttpdアクセスがどのようになっていたか?
私は無料のhttpd監視サービスを利用させていただいているシーマンのサーバー管理【無料】
株式会社シーマン
シーマンのデータだとAM2:00~6:00間はhttpdがダウンしていないとログに残っているがAWS側のコンソールで確認するとNetworkOutのグラフがCPUと同じタイミングで0になっている。
image

それぞれのログデータから
AWSはグラフに記録がない時点で障害と判断されている
シーマンはhttpdのレスポンスがあればOKとしている(200番かぁな?) 実際にはAM2:00~6:00間Webサイトをブラウザで確認していないので断言できませんがレスポンスはあったのかもしれない
内部 外部それぞれからの監視の必要性を再認識した一件だった 内部だけだとWebサイト(http)の表示は確認出来ない外部だけだとサーバーステータスの確認が出来ない
だから、AWSのcloudwatchとzabbixなどの監視ツールを組み合わせて運用を行うべきである
でも、早期復旧で良かった。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

adana escort adıyaman escort afyon escort ağrı escort aksaray escort amasya escort ankara escort antalya escort ardahan escort artvin escort aydın escort balıkesir escort bartın escort batman escort bayburt escort bilecik escort bingöl escort bitlis escort bolu escort burdur escort bursa escort çanakkale escort çankırı escort çorum escort denizli escort diyarbakır escort düzce escort edirne escort elazığ escort erzincan escort erzurum escort eskişehir escort gaziantep escort gebze escort giresun escort gümüşhane escort hakkari escort hatay escort ığdır escort ısparta escort istanbul escort izmir escort izmit escort kahramanmaraş escort karabük escort karaman escort kars escort kastamonu escort kayseri escort kilis escort kırıkkale escort kırklareli escort kırşehir escort kocaeli escort konya escort kütahya escort malatya escort manisa escort mardin escort mersin escort muğla escort muş escort nevşehir escort niğde escort ordu escort osmaniye escort rize escort sakarya escort samsun escort şanlıurfa escort siirt escort sinop escort şırnak escort sivas escort tekirdağ escort tokat escort trabzon escort tunceli escort uşak escort van escort yalova escort yozgat escort zonguldak escort marmaris escort bodrum escort alanya escort side escort konyaaltı escort muratpaşa escort manavgat escort çeşme escort sincan escort çankaya escort keçiören escort mamak escort etimesgut escort buca escort konak escort karabağlar escort bornova escort karşıyaka escort bayraklı escort alsancak escort ataşehir escort pendik escort maltepe escort kartal escort kadıköy escort görükle escort atakum escort ayvalık escort deutsche escort berlin escort düsseldorf escort hamburg escort münchen escort stuttgart escort berlin escort düsseldorf escort hamburg escort münchen escort stuttgart escort deutsche escort köln escort ataşehir escort avcılar escort bağcılar escort bahçelievler escort bakırköy escort başakşehir escort bayrampaşa escort bebek escort beşiktaş escort beykoz escort beylikdüzü escort beyoğlu escort çatalca escort çekmeköy escort esenler escort esenyut escort fatih escort gaziosmanpaşa escort güngören escort kadıköy escort kağıthane escort kartal escort küçükcekmece escort maltepe escort pendik escort sancaktepe escort sarıyer escort şile escort silivri escort şişli escort sultanbeyli escort sultangazi escort taksim escort tuzla escort ümraniye escort üsküdar escort zeytinburnu escort manavgat escort