Skebが異世界無双小説的な「Herokuが障害でサポートも応答無しなので1日で他クラウドに移行して復旧させました」という対応を実行 -

投稿日 2022年12月25日 | 最終更新 2023年4月24日

seigo2016@seigo2018
障害発生
↓
エンタープライズ契約なのにサポートが音沙汰なく復旧見込みなし
↓ (1時間)
Herokuを見限る&新クラウドサービス上にステージング環境構築開始
↓ (7時間)
本番デプロイ開始
↓(8時間)
復旧

このスピード感で決定して対応できるのすごいな
2022/12/24 15:56:16

Skeb (スケブ)@skeb_jp
【復旧】12月23日、24日に発生しました障害に関するご報告
https://t.co/ju7fWsdXDu

・12月26日07時00分まで環境によってはプライバシーに関する警告が表示される場合がございます。
・12月23日、お… https://t.co/ZoTD9hqEmp
2022/12/24 12:59:15

12月23日12時よりhttps://t.co/njtGbsP5Lbにアクセスできない大規模な発生が障害しておりましたが、12月24日7時に復旧いたしました。

12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

お客さまの環境によってはプライバシーに関する警告が12月26日7時まで表示される場合がございます。
古いドメインの情報がキャッシュされていることが原因で、上記の時間までお待ちいただくか、Google Public DNS等のDNSサービスをお使いいただければ幸いです。https://t.co/CT6fbFbhIz

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

この度はみなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。
本障害につきまして詳細を下記の記事にてご報告させていただきます。https://t.co/ju7fWsdXDu

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

日時: 12月23日12時22分〜12月24日7時00分 (JST)
ダウンタイム: 18時間38分
内容: https://t.co/njtGbsP5Lbにアクセスできない不具合
原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

解決: Herokuの一切の利用を中止し、すべてのサーバとシステムを別のクラウドサービスに移管したことで復旧。
お客さまへの対応: 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分まで延長。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

その他
1. Herokuの制限によって海外に設置されていたSkebのサーバが、移管によって日本国内に設置されることになりました。日本国内からのアクセスが大幅に高速化されます。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

本日の人気記事ベスト３

最新記事はTwitterでチェック！→@nittsui_pr

2. スケブ社ではエンジニアに対して開発環境の指定を行わず、各々がWindows、Mac、Ubuntuといった好みのOSで開発しています。
どのような環境でも開発ができるように、Skebのシステムをオフラインの仮想環境で動作するコンテナイメージ化していたことが今回の早期復旧につながりました。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

3. 今回の障害を受けて、深夜残業および休日出勤による法定割増賃金に加え「障害対応手当」という社内制度を新設しました。
復旧に向けて夜間作業にあたっていたエンジニア4名に対し、1人あたり3万円のAmazonギフト券を夜間直ちに支給しました。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

4. Skebでは月間約5億円の取引があり、今回の障害で1,500万円相当の取引の機会損失が発生しました。しかしながら12月24日現在もHerokuから応答はなく詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらずこのような対応は大変遺憾です。

(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

5. Skebが利用不可能となる事例は、サービスリリース日である2018年11月30日に発生したアクセス過多による障害を除き、事実上今回が初めての大規模障害となりました。
クリスマスを目前に納品タイミングを調整されていたクリエイターの方々もいらっしゃいましたが、
(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022

メールマガジンの配信システムも障害で停止していたことから、納品期限延長の告知がTwitterと記事のみとなってしまい、大きく混乱を招く事態となってしまいました。
今後メールマガジンの配信は外部のサービスの利用も検討してまいります。
— Skeb (スケブ) (@skeb_jp) December 24, 2022

ISMS的に考えると、herokuやoracleを使う場合リスク検討を一段深めにしないとダメだ、って結論ではありますよねぇ。
AWSをはじめとした大手クラウドよりユーザ少ないのに騒ぎになる事案を起こしたってことは明確にリスクが高い可能性があるわけです。

slackの利用(親会社が同じ)すら留保が必要かも？ https://t.co/pMzLYuPDRD
— Tetsuro KITAJIMA @ 七夕研の中の人／小田原移住 (@Kitajima_ORHM) December 24, 2022

この対応スピード凄い。
同じくHerokuでエンタープライズ契約しているサービスを見ているけど、この判断はできない。 https://t.co/j5aJO3EsXv
— ヒラマツ (@hiramatu) December 24, 2022

すごいんだけど、私が憶測するには既に脱出のプランを用意してたんじゃないかな。
Herokuの何かがSkebと合わなくて、散々サポートとか営業とかと揉め、脱出の準備してたら、この歳末にHerokuがとんでもない事故やらかして、踏ん切りついたみたい、とか。 https://t.co/iykKAxdZzi
— ふじた_🐱♨️💻雑用係 (@nfujita55a) December 24, 2022

くゎ＠ほしがたタイムカプセル@the_kwa
このSkebの事件、たぶんITmediaやImprespあたりが記事に残すだろうし、このへんは検索結果の上位に来やすいのもあるし、なんやかんやHerokuのイメージによろしくなさそう。
クリスマスのホリデーシーズンとはいえ、エンタ… https://t.co/vfSWHQzlXu
2022/12/24 13:19:15

ゆーとし@yuutosi_hiyuu
Herokuについてはあまり知らないのですが、Salesforceについてはマジで社内システム破壊されてるので絶対に許さない
2022/12/24 17:41:00

ktgohan@ktgohan
あくまでもskebの主張する内容にただのひとつの誤りもなければ、という前提はつけざるを得ないのだけれど、これ「Heroku Enterprise は激ヤバでは」のと、「間に入っているセールスフォース・ジャパンもダメなのでは」という… https://t.co/I18YoBNuOQ
2022/12/24 20:01:28

Skebの件、よくわからないけど、「セールスフォース・ジャパンに連絡。Herokuのサポート窓口に直接連絡するように案内を受ける」って、外資系IT企業のダメな所の典型だよね。日本で無茶苦茶稼いでいるのに本社に対する発言力がまったくない。
昔、これで苦労させられたよ。https://t.co/M4rTofEb9U
— 杉本啓 (@sugimoto_kei) December 25, 2022

skeb大規模障害に関するherokuのサポート対応、典型的なたらい回しで笑っちゃったw
エンプラ契約なのに担当エンジニアすらいないんですかね…
そら10分で他のサービス切り替えたくなりますわ pic.twitter.com/lqXhZ1HEwk
— 革靴、uq契約 (@F4tHL8reNCs) December 24, 2022

ssig33@ssig33
Heroku がやばい == Salesforce がやばい == Slack がやばいということなのでマジでみなさん身の振り方は考えておいた方がいい
2022/12/24 13:59:16

フルマネージド良いよ全然大丈夫だよと言い続けたこの10年を後ろからHerokuに撃たれた感じはある
— Aki＠めもおきば (@nekoruri) December 24, 2022

そっか今HerokuもSlackもSalesforce傘下か。
えー両方ともこの前無料プランの改悪で混乱起きたばっかじゃんよ……。
— 千紗みかん🍊🌌12/31東Ｚ20a (@chisamikan) December 24, 2022

いざとなれば一瞬で Heroku から脱出できるということこそが、 Heroku というサービスがいかに偉大なものだった(過去形)かを示しているよね。あの Heroku の末路がこんなだというのが本当に悲しい。
— ssig33 (@ssig33) December 24, 2022

Heroku（と代理店のSalesforce）のサポート体制がクソとここまではっきり言われたのは多分初でしょう。
多分Premium Supportなんだろうけど「回答まで1時間の SLA」守れてないので救いはないですねhttps://t.co/wDsXBHlFIB
— Mark Hammer (@Mar9Hammer) December 24, 2022