ＡＮＡのシステムトラブルの裏側...大変でしょうね [その他]
元の職業柄というかなんというか、今発生しているＡＮＡのシステムトラブルのようなことがあると利用者側の憤りなど以上に、裏方さんの大変さが目に浮かんでしまいますT_T;
たぶん、不眠不休で復旧作業をされたのでしょうが時間との闘いで、システム運用の責任者は多方面から色々なことを聞かれ...
ということで、あくまで私の経験に基づく勝手な想定ですが、裏側がどうなっているかを少し...
（以降に書かれていることは、事実とは異なる可能性が多分にありますのでその程度としてお読みくださいませ）私の経験では、原因はともかくいつ復旧するのかを定期的に報告することになるのですが...その見積もりが結構難しかったりします。
システムのバックアップはどこまで信頼できる状況にあるのか、オンラインのトランザクション系のデータなどについてはどこまでリカバリーできるのかなど、考えなくてはならないことも多く、想定以上にリカバリー時間がかかったりする場合もあります。
このような大手の大規模基幹システムなどの場合は、ほぼ全てのパターンでの障害を想定し、事前にリカバリー試験を行い、手順も作ってあるはずなので、一応はその通りにリカバリーしていく訳ですが、システム開発時のリカバリー試験では上手くいっていたものが、ＮＧになることも結構あります。
例えば、データ量が想定以上に肥大化していたり、ちょっとしたバグ（試験時のデータではＯＫだが、商用データではＮＧなど）でリカバリー用のプログラムが不正終了したり、その原因は色々ですが、本当にうまくいかないことが結構あるのです...
たぶん、今裏側ではてんやわんや。大抵数名わっているコアなエンジニアがいるため、その数名が冷や汗をかきながら直していたはずですが、このような大規模システムでも全体を掌握していたり、コアな技術をもっている技術者というのは結構少ないものだったりします。
対応ができる人員は交代がきかないことが多いと、他にも色々大変なことがあります。労基法の問題などもあるため連続勤務は限られ、そんなに短い時間で処理は終わらないので...結局、近くにホテルを手配したり、ある程度見切りがついたら、２番手のエンジニアに交代して近くのホテルで仮眠させたり...結構壮絶な状況に...
で、仮復旧が終わった後が更に大変です。エンジニア達は原因や復旧に時間がかかったことなどの説明責任がついてまわり、短時間で膨大な資料を求められるのですが、原因が難解だったりするとこれまた大変な事態に...
原因が特定がなかなか進まないこともあるのですが、仮に原因がわかっても内容が技術的に込入っているような場合、おえらいさんに咀嚼して説明する資料を作らねばならず...これがまた混迷を極めますT_T;
エンジニア側からすると、おいおいＩＣＴの会社で人の上に立つのであればこれくらい理解してくれよ！と言いたくなるのですが、専門家でも理解に苦しむものを畑違いの方に理解しろというのが無理...
ＤＢＭＳの構造こうなっていて、ネットワーク上のプロトコルがこうなっていて、このタイミングでなんちゃらかんちゃら...全員とは言いませんがさっと理解してくれるような方はそれほどいませんので、大抵はエンジニアと経営者の間にトランスファーする人が介在することになります。
実はこのあたりが私の得意分野でした＾技術者を抱える身...でもそれほど偉くはないと言えば大体の立ち位置がわかるでしょうか。役員さんのお付きをしたこともあるため、エンジニアと幹部両方の立場が分かり...板挟みでいつも困っていましたT_T;
結局、担当者には任せられないため自分で資料を書くことも多く、咀嚼した資料（相対性理論を知らない方に数式を使わず１ペーパーで相対性理論を説明するようなもの）を毎度作るはめになります...このような資料って、技術的背景をしっかり理解しないと作れないため、本当に毎度泣きながら勉強...凡人にはきつい作業ですT_T;
そして最後に発生するのが賠償関連の話し。今回はＡＮＡさんが旅客に1000円分のお食事代？を出したりしているため、単なる運航が出来なかった費用だけでなく、対応にかかった労力やこれらの費用、ブランドが傷つけられたとしての損害賠償金...などなど大変な騒ぎがあり、これらは尾をひくことが多く、下手をすると一年越しでトップ同士の会談など含めた対応をすることになります。
きっとというようなことが発生（今後発生する）しているはず...中の人達、死なない程度に頑張って下さい...お悔み申し上げます...
因みに、全日空は２０１３年から８年かけシステムのメインフレーム⇒オープン化を実施している最中の様子で、主要ベンダーはＵ〇〇〇〇Ｓさん？らしいです...だとすると、今回の関連者とは関係ない方達ですが、ご一緒したことありますねぇ...
因みに、私は既にこの業界から足を洗っているため、今はまるで関わりがありませんのであしからず＾
スポンサーリンク
たぶん、不眠不休で復旧作業をされたのでしょうが時間との闘いで、システム運用の責任者は多方面から色々なことを聞かれ...
ということで、あくまで私の経験に基づく勝手な想定ですが、裏側がどうなっているかを少し...
（以降に書かれていることは、事実とは異なる可能性が多分にありますのでその程度としてお読みくださいませ）私の経験では、原因はともかくいつ復旧するのかを定期的に報告することになるのですが...その見積もりが結構難しかったりします。
システムのバックアップはどこまで信頼できる状況にあるのか、オンラインのトランザクション系のデータなどについてはどこまでリカバリーできるのかなど、考えなくてはならないことも多く、想定以上にリカバリー時間がかかったりする場合もあります。
このような大手の大規模基幹システムなどの場合は、ほぼ全てのパターンでの障害を想定し、事前にリカバリー試験を行い、手順も作ってあるはずなので、一応はその通りにリカバリーしていく訳ですが、システム開発時のリカバリー試験では上手くいっていたものが、ＮＧになることも結構あります。
例えば、データ量が想定以上に肥大化していたり、ちょっとしたバグ（試験時のデータではＯＫだが、商用データではＮＧなど）でリカバリー用のプログラムが不正終了したり、その原因は色々ですが、本当にうまくいかないことが結構あるのです...
たぶん、今裏側ではてんやわんや。大抵数名わっているコアなエンジニアがいるため、その数名が冷や汗をかきながら直していたはずですが、このような大規模システムでも全体を掌握していたり、コアな技術をもっている技術者というのは結構少ないものだったりします。
対応ができる人員は交代がきかないことが多いと、他にも色々大変なことがあります。労基法の問題などもあるため連続勤務は限られ、そんなに短い時間で処理は終わらないので...結局、近くにホテルを手配したり、ある程度見切りがついたら、２番手のエンジニアに交代して近くのホテルで仮眠させたり...結構壮絶な状況に...
で、仮復旧が終わった後が更に大変です。エンジニア達は原因や復旧に時間がかかったことなどの説明責任がついてまわり、短時間で膨大な資料を求められるのですが、原因が難解だったりするとこれまた大変な事態に...
原因が特定がなかなか進まないこともあるのですが、仮に原因がわかっても内容が技術的に込入っているような場合、おえらいさんに咀嚼して説明する資料を作らねばならず...これがまた混迷を極めますT_T;
エンジニア側からすると、おいおいＩＣＴの会社で人の上に立つのであればこれくらい理解してくれよ！と言いたくなるのですが、専門家でも理解に苦しむものを畑違いの方に理解しろというのが無理...
ＤＢＭＳの構造こうなっていて、ネットワーク上のプロトコルがこうなっていて、このタイミングでなんちゃらかんちゃら...全員とは言いませんがさっと理解してくれるような方はそれほどいませんので、大抵はエンジニアと経営者の間にトランスファーする人が介在することになります。
実はこのあたりが私の得意分野でした＾技術者を抱える身...でもそれほど偉くはないと言えば大体の立ち位置がわかるでしょうか。役員さんのお付きをしたこともあるため、エンジニアと幹部両方の立場が分かり...板挟みでいつも困っていましたT_T;
結局、担当者には任せられないため自分で資料を書くことも多く、咀嚼した資料（相対性理論を知らない方に数式を使わず１ペーパーで相対性理論を説明するようなもの）を毎度作るはめになります...このような資料って、技術的背景をしっかり理解しないと作れないため、本当に毎度泣きながら勉強...凡人にはきつい作業ですT_T;
そして最後に発生するのが賠償関連の話し。今回はＡＮＡさんが旅客に1000円分のお食事代？を出したりしているため、単なる運航が出来なかった費用だけでなく、対応にかかった労力やこれらの費用、ブランドが傷つけられたとしての損害賠償金...などなど大変な騒ぎがあり、これらは尾をひくことが多く、下手をすると一年越しでトップ同士の会談など含めた対応をすることになります。
きっとというようなことが発生（今後発生する）しているはず...中の人達、死なない程度に頑張って下さい...お悔み申し上げます...
因みに、全日空は２０１３年から８年かけシステムのメインフレーム⇒オープン化を実施している最中の様子で、主要ベンダーはＵ〇〇〇〇Ｓさん？らしいです...だとすると、今回の関連者とは関係ない方達ですが、ご一緒したことありますねぇ...
因みに、私は既にこの業界から足を洗っているため、今はまるで関わりがありませんのであしからず＾
スポンサーリンク
表に出る人も大変ですが、裏方さんはそれ以上に大変ですよねぇ(*_*)
「上手くいって当たり前」と言われればそうなんですが、それでも・・・ねぇ(>_<)
by ニッキー (2016-03-24 15:39)
ニッキーさん
コメントありがとうございます。
システム運用以外でも裏方はどこでも大変だと思いますね。本当に上手く行って当たり前の世界でだれも褒めてはくれないですが、ちょっとでも問題があると大騒ぎになります...
昔、直属の部長さんとプロジェクト運営について色々話したことがあるのですが、このようなトラブルの時に怒鳴り散らさず、現場をサポートできるかどうかで責任者の質がわかるのだとか。
まっとうな責任者はサービス開始までは鬼のように厳しく、トラブルが発生した時には皆が苦労しないように全力でサポートすべきだそうです。
商用トラブルの苦労を知っているからこそ、サービス開始までは恨まれ役を買ってでも厳しく接し、それでもことが起こったら責任転嫁することなく、クレームや説明責任を一手に引き受け、怒らずメンバを全力でサポートする...言うのは簡単ですが、実践するのは本当に大変です＾
by 釣り好きアウトドアマン (2016-03-25 00:55)