دلیل 6 ساعت قطعی فیسبوک، اینستاگرام، واتس اپ

سرویس های DNS فیسبوک، اینستاگرام و واتس اپ برای 6 ساعت از دسترس خارج شد. تمام سرویس های داخلی و خارجی کمپانی تو این 6 ساعت پایین بودن . حتی مهندس های شرکت دسترسی به کد نداشتن، ورود به ساختمان ها هم مختل شده بوده همچنین سیستم مسیج داخلی هم کار نمیکرده.

در همین زمان دیشب کارمند سابق فیسبوک که یک سری گزارشات داخلی را به بیرون پخش کرده بود به برنامه  60 minutes دعوت شده بود و با شخصیت واقعی کمپانی را زیر سوال برد. (آیا این دو اتفاق به هم مربوط هستن؟)

استاک فیسبوک امروز 4.89% سقوط کرد که البته زیاد مربوط به قطعی نبود:

1. کل بازار Nasdaq امروز 2.14% پایین بود.
2. به خاطر خبر فیسبوک قبل از قطعی حدود 4 درصد پایین بود.
3. به خاطر قطعی 6 ساعته طبق تخمین سر انگشتی چیزی حدود 80 میلیونن دلار ضرر زد که عدد خیلی کوچیکیه برای فیسبوک

که البته اینقدر مردم در مورد قطع شدن و مصاحبه پست و استوری گذاشتن که کل ضرر تو کمتر از 6 ساعت دیگه جبران شد.

بعد از بالا آمدن استاک 60 درصد برگشت بالا 😉

دلایل احتمالی :

• اشتباهات مهندسی ، به خصوص یک کانفیگ خیلی کلیدی ، که خیلی بعیده تو همچین سیستم هایی ولی بازم دلیل نمیشه پیش نیاد قبلا هم شده مشابهش
• حمله و هک هایی با طبیعت denial of service
• احتمال هک بزرگتری یا نفوظ بوده و کمپانی برای جلوگیری از اتفاقات بدتر شش ساعت دسترسی ها رو بسته
• گروه های مخالف کمپانی داخل سیستم دست به حمله زدن همزمان و در حمایت حضور افشاگر در تلویزیون.

و اما گزارش خود شرکت احتمال اول را گزارش داد.

دیروز در ساعت 15:51 دقیقه UTC یک رخداد داخلی تحت عنوان “Facebook DNS lookup returning SERVFAIL” ایجاد شد. به این دلیل که مهندسین کمپانی نگران بودند چیزی در DNS 1.1.1.1 اشتباه است ، اما همانطور که میخواستند در وضعیت عمومی خود پست بگذارند ، متوجه شدند چیز جدیتری در حال رخ دادن است.

رسانه های اجتماعی به سرعت منفجر شدند از گزارش هایی مبنی بر اتفاقاتی که مهندسین به سرعت آنها را تایید کردند. در واقع فیسبوک و سرویس های وابسته به آن (واتس اپ و اینستاگرام) از کار افتادند. نام DNS آنها متوقف شد و IP های زیر ساختی آنها غیر قابل دسترسی بود. گویی شخصی کابلها را به یکباره از مراکز دیتا بیرون شده و اتصال به اینترنت را قطع کرده است.

اصلا چطور این امکان وجود داشت؟

فیسبوک در حال حاضر در وبلاگ خود گزارشی مبنی بر تمام رخداد ها انتشار داده است . اما مشکل در واقع با تغییر پیکربندی شروع شد که کل ستون داخلی را تحت تاثیر قرار داد. این امر به فیسبوک و سایر املاک و کارکنان و … در سرویس ضربه زد.

حالا به آنچه از بیرون دیدیم بپردازیم:

در ابتدا با BGP آشنا شوید

BGP مخفف Border Gateway Protocol است این مکانیزمی برای مسیریابی تبادل اطلاعات بین سیستم های خود مختار AS در اینترنت است.روترهای بزرگی که باعث میشوند اینترنت کار کند، دارای لیست های عظیم و دائما به روزشده از مسیرهای احتمالی است که میتوان از آنها برای تحویل هر بسته شبکه به مقصد نهایی خود استفاده کرد. بدون پروتکل BGP ، روتر های اینترنتی نمیدانند چه کار کنند و اینترنت دیگر کار نمیکند.
اینترنت به معنای واقعی کلمه یک شبکه از شبکه هایی است که توسط BGP به هم متصل شده اند.

شبکه های شخصی جداگانه هر کدام یک ASN دارند ( Autonomous  System Number به معنای شماره سیستم خودمختار).
یک سیستم خودمختار AS یک شبکه فردی با یک سیاست مسیریابی داخلی یکپارچه است. AS میتواند پیشوندهایی را ایجاد کند (مثلا گروهی از آدرس های IP را کنترل میکند) و همچنین پیشوندهای ترانزیتی( گروه های خاصی که آدرس های آیپی خاصی دارند) دسترسی پیدا میکنند.هر ASN باید مسیرهای پیشوند خود را با استفاده از BGP به اینترنت اعلام کند.

در این نمودار ساده زیر میتوانید شش سیستم AS در اینترنت و دو مسیر ممکن را مشاهده کنید که یک بسته می تواند از ابتدا تا انتها از آنها استفاده کند.
AS1 → AS2 → AS3 سریع ترین و AS1 → AS6 → AS5 → AS4 → AS3 کندتر اما در زمانیکه اولین شکست ایجاد شود میتواند به کاربرده شود.

در ساعت 15:58 ساعت محلی UTC متوجه شدند که فیسبوک اعلام مسیرهای مربوط به پیشوندهای دی ان اس خود را متوقف کرده است. این به این معناس که همه سرورهای DNS با اختلال قطعی کامل مواجه شده اند. در همین راستا به هیچ وجه آدرس های اینترنتی متصل به IP facebook.com پاسخی دریافت نمیشود.

یک پیغام BGP UPDATE یک روتر را از هر گونه تغییری که در پیشوند تبلیغات یا هر به روزرسانی اطلاع میدهد. ما میتوانیم به صورت واضح ببینیم چند تا از آپدیت ها توسط فیسبوک دریافت شده است زمانیکه سری زمانی دیتابیس BGP ما در حال بررسی ست.به صورت نرمال چارت زیر یک سری تغییراتی که مداوم ارسال میشود را نمایش میدهد.
اما حدود ساعت 15:40 دقیقه این تعداد تغییرات از فیسبوک را مشاهده کنید که نشان دهنده اوج تغییرات مسیریابی از فیسبوک است که این جا دردسر شروع شد.

اگر ما این اعلان ها و برداشت های مسیر را مشاهده کنیم حتی تصور بهتری از آنچه اتفاق افتاده است میگیریم . مسیریاب ها خودشان را کنار کشیده وسرورهای DNS فیسبوک آفلاین شده اند و یک دقیقه بعد فیسبوک و سایتهای آن عملا خود را از اینترنت قطع کرده بودند.

دی ان اس ها تحت تاثیر قرار میگیرند ، به این دلیل که DNS مانند بسیاری از سیستم های دیگر در اینترنت ، مکانیسم مسیریابی خود را دارد وقتی شخصی https://facebook.com را در مرورگر تایپ میکند ، سیستم DNS ، مسئول ترجمه نام دامنه به آدرس آی پی واقعی برای اتصال است ، ابتدا بررسی میکند اگر چیزی کش شده باشد (یعنی در حافظه مانده باشد) آنرا استفاده میکند در غیر این صورت سیستم تلاش میکند تا پاسخی از نام سرور پیدا کند ، که معمولا توسط نهادی که صاحب آن است بگیرد.
اگر نیم سرورها غیر قابل دسترسی باشند یا بنا به دلایلی پاسخی ندهند ، SERVFAIL  را برمیگرداند و مرورگر خطایی را برای کاربر صادر میکند.
این همان پیامیست که در اولین اتفاق برای فیسبوک برگردانده شد.

منبع : سایت کلودفلر