الاختبارات الآلية
115
في ستّ طبقات، دون تخطّي أي اختبار
الإثبات · منصّة العمليات الميدانية
نجاح مجموعات الاختبار الستّ، كلٌّ منها وحدها، لم يكن يعني أن النظام يعمل. وحين نفّذتُ كل خطوة موثّقة بالترتيب، ظهرت سبعة أخطاء. وأكثرها فائدةً كانت تلك التي لم يصل إليها أي اختبار أصلاً.
يمكنك التحقّق من كل ما في هذه الصفحة بمراجعة الكود، فهو منشور للعامة.
خطة التعلّم بمجالاتها التسعة، التي كانت في هذه الصفحة، انتقلت إلى صفحة التقنيات ←
تحقّق بنفسك
كل ذلك موجود في مستودع الكود: وحدة حلّ التعارضات، والاختبارات الآلية، وأداة اختبار الضغط. انسخ المستودع وشغّل اختبارات وحدة حلّ التعارضات (48 اختباراً)، وستنتهي في أقلّ من ثانية.
7 أخطاء · أُصلحت كلّها وأُعيد فحصها
ستة من الأخطاء السبعة مشروحة أدناه، وهي التي فيها درس يستحق الذكر. لم تكشف أيّاً منها مجموعاتُ الاختبار، بل ظهرت حين شغّلتُ النظام نفسه وفق خطواته الموثّقة.
01
السبب الجذري
فحص ملكية المهمة كان يقارن السائق المسندة إليه المهمة حالياً بالسائق الذي أرسل الطلب، وذلك قبل أن يبدأ كشف التعارض. فالسائق الذي حُوّلت مهمته إلى غيره وهو دون اتصال كان يُرفض فوراً، ولا يصل طلبه أبداً إلى وحدة حلّ التعارضات التي كان يُفترض أن تحكم لصالحه.
02
السبب الجذري
فحص صحة الانتقال من حالة إلى أخرى كان يعتمد على الحالة الحالية للسجلّ، وهي الحالة التي وضعها تعديل المكتب المتعارض للتوّ. أي أن فحصاً ثانياً مستقلاً كان يعيد الأولوية لقرار المكتب بصمت، بعد خطوة واحدة فقط من حكم وحدة حلّ التعارضات بعكس ذلك.
03
السبب الجذري
الجزء الذي يعالج حالة «المخزون غير كافٍ» استخدم return بدل throw، والدالة التي تدير المعاملة لا تتراجع عن التغييرات إلا إذا أُلقي خطأ (throw). فبدا return العادي نجاحاً، فاعتُمدت المعاملة، وثُبّت كل خصم سابق نهائياً، بينما أبلغ النظام أن الطلب مرفوض. والسبب كلمة برمجية واحدة.
04
السبب الجذري
كان يُسجَّل فقط داخل عملية خلفية مستقلة لها سجلّ مؤشرات خاص بها، دون خادم HTTP، ودون عنوان تسحب منه أداة المراقبة البيانات (Scrape target). وتأكّد ذلك بتمرير عملية توصيل حقيقية عبر النظام، ومشاهدة الرقم وهو يبقى صفراً في العنوان الذي تقرأ منه أداة المراقبة.
05
السبب الجذري
وهذا يعني أن نصف مسار الأحداث كان متوقفاً في كل جلسة منذ الجلسة الأولى، دون أعطال متكررة تلفت النظر (Crash loop)، ودون فحص سلامة (Healthcheck) يفشل وينبّه إلى المشكلة.
06
السبب الجذري
تأكّد ذلك ثلاث مرات بالمقارنة مع نسخة ثانية تعمل بجانبها دون أدوات المراقبة، على منفذ (Port) آخر، وتتصل بقاعدة البيانات نفسها. وهذا أسوأ من توقّف النظام، لأن التوقّف على الأقل يكشف نفسه. أمّا هنا فكانت الواجهة البرمجية تؤكّد بثقة أن توصيل السائق سُجّل وهو لم يُسجَّل، والسبب هو الأداة نفسها التي أُضيفت لكشف المشكلات.
كيف أُطلق في النهاية
أُطلق النظام مع تعطيل تتبّع قاعدة البيانات وتوثيق سبب عدم التوافق، بدل التضحية بصحة البيانات مقابل تقارير تتبّع أجمل.
الغاية من الاختبارات
وحدة حلّ التعارضات لا تعتمد على أي شيء خارجها: لا قاعدة بيانات، ولا نظام تسجيل، ولا ساعة النظام. كل ما تحتاجه يصلها كمُدخلات. وهذا ليس حرصاً على «نقاء» التصميم، بل طريقة في الاختبار لها نتيجة يمكن قياسها: ثمانية وأربعون اختباراً في أقلّ من ثانية، على المنطق الذي يقرّر هل يُحتسب للسائق يوم عمله كما أنجزه.
لو اعتمدَت على قاعدة البيانات، لاحتاجت كل حالة من هذه الحالات إلى تشغيل Postgres، ولاستغرق تشغيلها دقائق، ولكتبتُ عشرة اختبارات بدل ثمانية وأربعين. وكان الخلل سيختبئ في الثمانية والثلاثين التي لم أكتبها.
الاختبارات الآلية
115
في ستّ طبقات، دون تخطّي أي اختبار
اختبارات حلّ التعارضات
48 في 0.7 ث
لا تعتمد على شيء خارجها، فتبقى سريعة
أخطاء كشفتها الاختبارات
1
خلل الترتيب في وحدة حلّ التعارضات، خلال 0.7 ثانية
أخطاء كشفها التشغيل
7
رغم نجاح مجموعات الاختبار الستّ
الخلل الذي كشفته الاختبارات فعلاً
جعلتُ قاعدة الدمج أول ما يُطبَّق، وما إن شغّلتُ الاختبارات حتى فشلت فوراً. السائق يسجّل حالة المهمّة ووقت التسليم، والمكتب يسجّل السائق المكلَّف بها، ولا تشترك المجموعتان في أي حقل. فعملت قاعدة الدمج، ولم تجد أي خلاف، فاعتمدت التعديلين معاً. والنتيجة مهمّة «سُلِّمت» و«أُسندت إلى سائق ثانٍ» في الوقت نفسه.
وهذا بالضبط الخطأ الذي صُمّم النظام كلّه لمنعه، ومع ذلك أخطأتُ في كتابته. كشفته أربعة اختبارات وحدة (unit tests) في سبعة أعشار الثانية. والإصلاح شرط واحد: أي تعديل يُثبت شيئاً حدث فعلاً على أرض الواقع لا يمرّ بقاعدة الدمج إطلاقاً.
الدمج آمن فقط حين لا يؤكّد أيٌّ من الطرفين واقعةً حدثت فعلاً. هذه الفقرة صارت الآن تعليقاً مكتوباً فوق هذا الشرط في الكود، فمن يحاول لاحقاً تبسيط الترتيب سيقرأ السبب قبل أن يلمس الكود.
من مستودع الكود، دون اختصار
في مستودع الكود ثلاث وثائق تشرح لماذا صُمّم النظام بهذا الشكل. كتبتُها ليقرأها أحد، لا لتُضاف كملاحق.
CONFLICT_RESOLUTION.md
قواعد حلّ التعارضات
حسم تعارض البيانات قرار يتعلّق بالعمل، لا بالتقنية
سائق سلّم طرداً عند 14:02 وهاتفه بلا إنترنت، فلم يصل تسجيل التسليم إلى النظام إلا عند 17:00، بعد أن حوّل المكتب المهمة إلى سائق آخر عند 14:30. كل إجابة بديهية عن «أيّ التعديلين يُعتمد» خاطئة، والإجابة الصحيحة ليست تقنية.
TEST_RESULTS.md
115 اختباراً في ستّ طبقات
دمج تعديلين آمن فقط حين لا يُثبت أيٌّ منهما واقعة حدثت فعلاً
في المرة الأولى كتبتُ الجزء المسؤول عن حسم التعارضات بشكل خاطئ. أربعة اختبارات آلية فشلت في أقل من ثانية، وأرتني بالضبط ما الذي فهمتُه خطأً.
AWS.md
النشر ومفاتيح الوصول
كلما طالت صلاحية تصريح الدخول، وجب أن يضيق ما يسمح به
هاتف السائق يجب أن يبقى مسجّلاً للدخول وصالحاً للعمل تسع ساعات، دون أي فرصة للاتصال بالخادم. الحلول المعتادة لا تنفع هنا، والتظاهر بأنها تنفع سيكون أول ثغرة أمنية.
وما لم يُصلَح بعد
حين حاول 300 جهاز إعادة الاتصال في اللحظة نفسها، انهار النظام: فشلت 44.66% من عمليات المزامنة، وعلِق زمن الاستجابة (p95) عند 30 ثانية، وهي أقصى مدة ينتظرها التطبيق. السبب: خمس مجموعات اتصال بقاعدة البيانات (connection pools) أخذت كلٌّ منها القيمة الافتراضية، 20 اتصالاً، بينما الحدّ الأقصى في قاعدة البيانات max_connections هو 100. وهذا الاختناق لا يُظهر أي خطأ، لأن الطلبات تنتظر دورها بصمت. وبعد إعادة توزيع الاتصالات انخفض فشل المزامنة إلى 20.15%، وزادت قدرة النظام على المعالجة 38%.
بصراحة: لم يُحَلّ بعد
زمن الاستجابة لـ95% من الطلبات (p95) ما زال عالقاً عند السقف نفسه حين يعود الـ300 جهاز كلّها معاً. فبعد أن لم تعد الاتصالات بقاعدة البيانات شحيحة، صار Postgres نفسه هو العائق التالي: طلبات تتزاحم على قفل السجلات نفسها، وانتظار حفظ سجلّ التغييرات (WAL) على القرص، وانتظار الأقفال، لأن التصميم ينفّذ معاملة مستقلة لكل تعديل، واحدة تلو الأخرى، وكل ذلك على حاوية (Container) واحدة تعمل على حاسوب محمول واحد. والخطوة التالية هي تشغيل عدة نسخ من الواجهة البرمجية (API) خلف موزّع للأحمال (Load balancer)، وهذا تغيير أكبر من مجرد تعديل إعدادات الاتصالات، ولم يُنفَّذ بعد.