تحميل السيرة الذاتية
ENعربي

الإثبات  ·  منصّة العمليات الميدانية

نجحت مجموعات الاختبار الستّ كلّها، ومع ذلك كان النظام يخطئ

نجاح مجموعات الاختبار الستّ، كلٌّ منها وحدها، لم يكن يعني أن النظام يعمل. وحين نفّذتُ كل خطوة موثّقة بالترتيب، ظهرت سبعة أخطاء. وأكثرها فائدةً كانت تلك التي لم يصل إليها أي اختبار أصلاً.

يمكنك التحقّق من كل ما في هذه الصفحة بمراجعة الكود، فهو منشور للعامة.

خطة التعلّم بمجالاتها التسعة، التي كانت في هذه الصفحة، انتقلت إلى صفحة التقنيات ←

تحقّق بنفسك

كل ذلك موجود في مستودع الكود: وحدة حلّ التعارضات، والاختبارات الآلية، وأداة اختبار الضغط. انسخ المستودع وشغّل اختبارات وحدة حلّ التعارضات (48 اختباراً)، وستنتهي في أقلّ من ثانية.

ما كشفه تشغيل النظام

7 أخطاء  ·  أُصلحت كلّها وأُعيد فحصها

ستة من الأخطاء السبعة مشروحة أدناه، وهي التي فيها درس يستحق الذكر. لم تكشف أيّاً منها مجموعاتُ الاختبار، بل ظهرت حين شغّلتُ النظام نفسه وفق خطواته الموثّقة.

01

ترتيب الفحوصلم يصل إليه أي اختبار

السيناريو الأساسي، الذي صُمّم النظام كلّه من أجله، أعطى نتيجة خاطئة.

السبب الجذري

فحص ملكية المهمة كان يقارن السائق المسندة إليه المهمة حالياً بالسائق الذي أرسل الطلب، وذلك قبل أن يبدأ كشف التعارض. فالسائق الذي حُوّلت مهمته إلى غيره وهو دون اتصال كان يُرفض فوراً، ولا يصل طلبه أبداً إلى وحدة حلّ التعارضات التي كان يُفترض أن تحكم لصالحه.

02

ترتيب الفحوص · كان مختبئاً خلف الأوللم يصل إليه أي اختبار

إصلاح ذلك كشف خللاً ثانياً خلفه مباشرة. فلم يكن أي طلب قد وصل من قبل إلى تلك المرحلة من المعالجة ليصطدم به.

السبب الجذري

فحص صحة الانتقال من حالة إلى أخرى كان يعتمد على الحالة الحالية للسجلّ، وهي الحالة التي وضعها تعديل المكتب المتعارض للتوّ. أي أن فحصاً ثانياً مستقلاً كان يعيد الأولوية لقرار المكتب بصمت، بعد خطوة واحدة فقط من حكم وحدة حلّ التعارضات بعكس ذلك.

03

نجاح ظاهريلم يصل إليه أي اختبار

طلب من عدة بنود فشل بنده الثاني، لكن المخزون الذي خُصم للبند الأول بقي مخصوماً.

السبب الجذري

الجزء الذي يعالج حالة «المخزون غير كافٍ» استخدم return بدل throw، والدالة التي تدير المعاملة لا تتراجع عن التغييرات إلا إذا أُلقي خطأ (throw). فبدا return العادي نجاحاً، فاعتُمدت المعاملة، وثُبّت كل خصم سابق نهائياً، بينما أبلغ النظام أن الطلب مرفوض. والسبب كلمة برمجية واحدة.

04

لا يمكن رصدهلم يصل إليه أي اختبار

المؤشر الأهمّ في النظام لم يكن من الممكن الوصول إليه أصلاً، بسبب طريقة بنائه.

السبب الجذري

كان يُسجَّل فقط داخل عملية خلفية مستقلة لها سجلّ مؤشرات خاص بها، دون خادم HTTP، ودون عنوان تسحب منه أداة المراقبة البيانات (Scrape target). وتأكّد ذلك بتمرير عملية توصيل حقيقية عبر النظام، ومشاهدة الرقم وهو يبقى صفراً في العنوان الذي تقرأ منه أداة المراقبة.

05

لا يمكن رصده · منذ أول جلسةلم يصل إليه أي اختبار

إحدى الخدمات التي تستقبل الأحداث كانت تتوقف بعد نحو ثلاثين ثانية من كل تشغيل للنظام، بسبب مشكلة توقيت عابرة مع وسيط الرسائل (Race condition)، ولم تكن هناك أي سياسة لإعادة تشغيلها.

السبب الجذري

وهذا يعني أن نصف مسار الأحداث كان متوقفاً في كل جلسة منذ الجلسة الأولى، دون أعطال متكررة تلفت النظر (Crash loop)، ودون فحص سلامة (Healthcheck) يفشل وينبّه إلى المشكلة.

06

أدوات المراقبةالأسوأ بينها

بعد إضافة أداة لتتبّع مسار الطلبات عبر الخدمات (Distributed tracing)، صارت الواجهة البرمجية تؤكّد أن التعديل طُبّق وترفع رقم النسخة، بينما السجلّ في Postgres لم يتغيّر إطلاقاً.

السبب الجذري

تأكّد ذلك ثلاث مرات بالمقارنة مع نسخة ثانية تعمل بجانبها دون أدوات المراقبة، على منفذ (Port) آخر، وتتصل بقاعدة البيانات نفسها. وهذا أسوأ من توقّف النظام، لأن التوقّف على الأقل يكشف نفسه. أمّا هنا فكانت الواجهة البرمجية تؤكّد بثقة أن توصيل السائق سُجّل وهو لم يُسجَّل، والسبب هو الأداة نفسها التي أُضيفت لكشف المشكلات.

كيف أُطلق في النهاية

أُطلق النظام مع تعطيل تتبّع قاعدة البيانات وتوثيق سبب عدم التوافق، بدل التضحية بصحة البيانات مقابل تقارير تتبّع أجمل.

الغاية من الاختبارات

الاختبارات السريعة تُكتب فعلاً، والبطيئة تُهمَل

وحدة حلّ التعارضات لا تعتمد على أي شيء خارجها: لا قاعدة بيانات، ولا نظام تسجيل، ولا ساعة النظام. كل ما تحتاجه يصلها كمُدخلات. وهذا ليس حرصاً على «نقاء» التصميم، بل طريقة في الاختبار لها نتيجة يمكن قياسها: ثمانية وأربعون اختباراً في أقلّ من ثانية، على المنطق الذي يقرّر هل يُحتسب للسائق يوم عمله كما أنجزه.

لو اعتمدَت على قاعدة البيانات، لاحتاجت كل حالة من هذه الحالات إلى تشغيل Postgres، ولاستغرق تشغيلها دقائق، ولكتبتُ عشرة اختبارات بدل ثمانية وأربعين. وكان الخلل سيختبئ في الثمانية والثلاثين التي لم أكتبها.

الاختبارات الآلية

115

في ستّ طبقات، دون تخطّي أي اختبار

اختبارات حلّ التعارضات

48 في 0.7 ث

لا تعتمد على شيء خارجها، فتبقى سريعة

أخطاء كشفتها الاختبارات

1

خلل الترتيب في وحدة حلّ التعارضات، خلال 0.7 ثانية

أخطاء كشفها التشغيل

7

رغم نجاح مجموعات الاختبار الستّ

الخلل الذي كشفته الاختبارات فعلاً

جعلتُ قاعدة الدمج أول ما يُطبَّق، وما إن شغّلتُ الاختبارات حتى فشلت فوراً. السائق يسجّل حالة المهمّة ووقت التسليم، والمكتب يسجّل السائق المكلَّف بها، ولا تشترك المجموعتان في أي حقل. فعملت قاعدة الدمج، ولم تجد أي خلاف، فاعتمدت التعديلين معاً. والنتيجة مهمّة «سُلِّمت» و«أُسندت إلى سائق ثانٍ» في الوقت نفسه.

وهذا بالضبط الخطأ الذي صُمّم النظام كلّه لمنعه، ومع ذلك أخطأتُ في كتابته. كشفته أربعة اختبارات وحدة (unit tests) في سبعة أعشار الثانية. والإصلاح شرط واحد: أي تعديل يُثبت شيئاً حدث فعلاً على أرض الواقع لا يمرّ بقاعدة الدمج إطلاقاً.

الدمج آمن فقط حين لا يؤكّد أيٌّ من الطرفين واقعةً حدثت فعلاً. هذه الفقرة صارت الآن تعليقاً مكتوباً فوق هذا الشرط في الكود، فمن يحاول لاحقاً تبسيط الترتيب سيقرأ السبب قبل أن يلمس الكود.

الأسباب بالتفصيل

من مستودع الكود، دون اختصار

في مستودع الكود ثلاث وثائق تشرح لماذا صُمّم النظام بهذا الشكل. كتبتُها ليقرأها أحد، لا لتُضاف كملاحق.

وما لم يُصلَح بعد

ارتفع الحدّ الأقصى لتحمّل النظام 38%، لكنه ما زال حدّاً

حين حاول 300 جهاز إعادة الاتصال في اللحظة نفسها، انهار النظام: فشلت 44.66% من عمليات المزامنة، وعلِق زمن الاستجابة (p95) عند 30 ثانية، وهي أقصى مدة ينتظرها التطبيق. السبب: خمس مجموعات اتصال بقاعدة البيانات (connection pools) أخذت كلٌّ منها القيمة الافتراضية، 20 اتصالاً، بينما الحدّ الأقصى في قاعدة البيانات max_connections هو 100. وهذا الاختناق لا يُظهر أي خطأ، لأن الطلبات تنتظر دورها بصمت. وبعد إعادة توزيع الاتصالات انخفض فشل المزامنة إلى 20.15%، وزادت قدرة النظام على المعالجة 38%.

بصراحة: لم يُحَلّ بعد

زمن الاستجابة لـ95% من الطلبات (p95) ما زال عالقاً عند السقف نفسه حين يعود الـ300 جهاز كلّها معاً. فبعد أن لم تعد الاتصالات بقاعدة البيانات شحيحة، صار Postgres نفسه هو العائق التالي: طلبات تتزاحم على قفل السجلات نفسها، وانتظار حفظ سجلّ التغييرات (WAL) على القرص، وانتظار الأقفال، لأن التصميم ينفّذ معاملة مستقلة لكل تعديل، واحدة تلو الأخرى، وكل ذلك على حاوية (Container) واحدة تعمل على حاسوب محمول واحد. والخطوة التالية هي تشغيل عدة نسخ من الواجهة البرمجية (API) خلف موزّع للأحمال (Load balancer)، وهذا تغيير أكبر من مجرد تعديل إعدادات الاتصالات، ولم يُنفَّذ بعد.