115
اختباراً آلياً
على ست طبقات، دون تخطّي أي اختبار
PRJ-001 · منصّة · 2026 · الكود منشور للعامة
يعمل سائقو التوصيل لساعات دون إنترنت، ثم تُزامَن بياناتهم حين يعود الاتصال. والصعب هنا ليس المزامنة نفسها، بل ما يحدث حين يختلف ما سجّله الميدان عمّا قرّره المكتب.
الكود منشور للعامة
يحتوي مستودع الكود على وحدة حلّ التعارضات نفسها المستخدمة في التشغيل الفعلي، والاختبارات الآلية الـ115 كلّها، والمستندات التي تستند إليها هذه الصفحة: CONFLICT_RESOLUTION.md وTEST_RESULTS.md وAWS.md.
115
اختباراً آلياً
على ست طبقات، دون تخطّي أي اختبار
7
أخطاء كشفها التشغيل الفعلي
أُصلحت كلّها وأُعيد التحقق منها
48 / 0.7 ث
اختبارات حلّ التعارضات
لا تستورد أي وحدة أخرى، لذلك تبقى سريعة
3
بروتوكولات
REST وgRPC وGraphQL، كلٌّ في المكان الذي يناسبه
المشكلة
يفقد سائقٌ الإشارة عند 13:40. وعند 14:02 يسلّم طرداً لعميل ويضغط «تم التوصيل» على هاتف لا اتصال فيه. وعند 14:30 يلاحظ المكتب أن المهمة لم يصله عنها أي تحديث منذ ساعة، فيفترض، وهو افتراض معقول، أن السائق عالق، فيحوّل المهمة إلى سائق آخر. وعند 17:00 يعود الاتصال إلى هاتف السائق فتصل عملية التوصيل متأخرة ثلاث ساعات، لكن بيانات المهمة في النظام كانت قد تغيّرت في غيابه.
آخر تعديل هو الذي يُعتمد
هنا تُعطى الكلمة الأخيرة لمنسّق التوزيع، فيعتبر النظام أن الطرد الموجود فعلاً في مطبخ العميل ما زال في الطريق إليه، ويرسل سيارة توصيل ثانية لاستلامه.
الخادم هو المرجع
يؤدي إلى النتيجة نفسها، لكن بتسمية تبدو أكثر إقناعاً. فما لدى الخادم ليس أصدق ممّا حدث في الميدان، بل أحدث فقط، وكون المعلومة أحدث لا يجعلها حقيقة.
الوثوق بساعة الهاتف
يبني اتساق البيانات كلّه على رقم يمكن تغييره يدوياً في أي هاتف مفتوح الصلاحيات (Rooted).
سؤال موظف في كل مرة
في يوم سيّئ يعني هذا أربعين تعارضاً، وبحلول الخامس لا يعود أحد يقرؤها، فيضيع التعارضان اللذان كانا يحتاجان إلى قرار بشري فعلاً بين ثمانية وثلاثين لم تكن تحتاج إليه.
الحلّ المعتمد
التوصيل حدث فعلاً، ولا يمكن التراجع عنه. أمّا تحويل المهمة إلى سائق آخر فهو نيّة بشأن ما ينبغي أن يحدث. فإذا تعارضت خطة مع حدث وقع، يُعتمد الحدث، ويُبلَّغ صاحب الخطة بأن الواقع سبقها. وهذه القاعدة مبنية في النظام على شكل ترتيب للأولوية: الحالات التي تصف ما حدث فعلاً (مثل التوصيل) تتقدّم على القرارات الإدارية، والقرارات الإدارية تتقدّم على الحالات التي ما زالت جارية. ولهذا لا يستطيع إلغاء المهمة أن يجعل طرداً سُلِّم كأنه لم يُسلَّم.
ومعظم ما يبدو تعارضاً ليس تعارضاً في الحقيقة. لذلك تُحدَّد بوضوح الجهة التي تملك كل حقل من حقول البيانات، وإذا عدّل الطرفان حقولاً مختلفة يُدمج التعديلان تلقائياً دون أن يُعرضا على أحد، وهذا ما يُبقي قائمة التعارضات التي يراجعها الموظفون قصيرة بما يكفي لقراءتها. أمّا إذا تساوت الأولوية وعدّل الطرفان الحقول نفسها، فيُحال الأمر إلى موظف ليقرّر، ومعه النسختان كاملتين. وعند الإحالة لا يغيّر النظام أي شيء، لأن نظاماً يُحيل القرار إلى موظف ثم يتصرّف من تلقاء نفسه لم يُحِل شيئاً في الحقيقة.
بنية النظام
كل تعديل يُنفَّذ في معاملة واحدة على Postgres (Transaction)، أي أن خطواته كلّها تنجح معاً أو تُلغى معاً. وتشمل هذه المعاملة ست عمليات كتابة على خمسة جداول: قفل السجلّ المعني، والتحقق من أنه لم يتغيّر منذ آخر مرة قرأه فيها الجهاز، وخصم المخزون بشرط أن يكون كافياً، وتسجيل المبلغ النقدي، وقيدٌ في سجل القيود المالية، وكتابة الحدث في جدول الأحداث الصادرة (Outbox). فالأحداث تُكتب في هذا الجدول داخل المعاملة نفسها، ثم تنقلها عمليات مستقلة إلى Kafka، فإذا تعطّل وسيط الرسائل تتأخر الأحداث فقط، ولا يضيع منها شيء.
اتصالات البثّ اللحظي (Sockets) لعرض التحديثات فقط، ولا تُكتب عبرها أي بيانات. فلو انقطعت كلّها في اللحظة نفسها، لما ضاع توصيل واحد.
ومع كل قرار ثمنه
القرار الذي لا يُذكر ثمنه مجرّد تفضيل. هذه هي القرارات السبعة التي شكّلت النظام، ومع كلٍّ منها الثمن الذي يترتّب عليه.
01
السبب
حلّ التعارض قرار يخصّ العمل نفسه، وليس قراراً تقنياً. التقنية تستطيع اكتشاف التعارض، أما تحديد مَن المُحقّ فلا يقرّره إلا أصحاب العمل.
الثمن
هذه القاعدة خاصة بهذا النوع من العمل. فهي صحيحة لتوصيل الطرود وزيارات المتاجر، لكنها ستكون خاطئة في منصّة تداول مالي، حيث يكون للإلغاء أثر قانوني. والخطأ الحقيقي هو التظاهر بأنها تصلح لكل مجال. وإذا ارتفعت نسبة الحالات المُحالة إلى الموظفين، فهذا يعني أن النظام يعترف بصدق بأن الواقع فيه حالة لا تغطّيها القواعد. أما الفشل الذي يجب الخوف منه فعلاً، فهو أن تصل نسبة الإحالة إلى صفر لأن النظام صار يخمّن.
02
السبب
لا يمكن إبقاء سجلّ في قاعدة البيانات مقفولاً طوال تسع ساعات يكون فيها السائق دون اتصال. لذلك يرسل الهاتف مع كل تعديل رقم النسخة التي رآها آخر مرة، ولا يُحفظ التعديل إلا إذا كان الرقم ما زال مطابقاً (Optimistic concurrency). فإذا لم يتغيّر أي سجلّ، عُرف أن هناك تعارضاً، وهذه هي آلية الكشف كلّها. إنها مقارنة رقم واحد فقط، وتعمل بالطريقة نفسها سواء غاب الجهاز أربع ثوانٍ أو أربعة أيام.
الثمن
التعارضات تُكتشف عند المزامنة، ولا تُمنع لحظة التعديل، ولهذا يصبح وجود جهة تفصل بينها ضرورياً، وهذا هو المقصود تماماً. فالتعديل المبني على بيانات قديمة ليس خاطئاً، بل صاحبه لم يكن يعلم بما تغيّر.
03
السبب
ساعة الهاتف في الميدان قد تتقدّم أو تتأخر مع الوقت، وقد يضبطها صاحبها يدوياً، وتقفز حين تتغيّر المنطقة الزمنية. أما داخل الجهاز الواحد، فالعدّاد المحلي الذي يرقّم العمليات بالتسلسل هو المرجع الصحيح للترتيب، ويُعتمد حتى لو خالفه التوقيت المسجّل.
الثمن
أما ترتيب العمليات القادمة من أجهزة مختلفة فيبقى معتمداً على توقيت الجهاز، مع قاعدة ثابتة لحسم حالات التساوي، لأن إعادة تنفيذ العمليات يجب أن تعطي النتيجة نفسها في كل مرة. ولو نُفّذت العمليات بترتيب وصولها، فقد تصل دفعة مبعثرة الترتيب، فيحاول النظام تسجيل «تم التوصيل» قبل «تم الاستلام»، ويرفضه لأنه انتقال غير مسموح، فيضيع توصيل حقيقي لمجرد أن الشبكة أوصلت البيانات بترتيب مختلف.
04
السبب
لا يمكن ضمان أن تنجح الكتابة في قاعدة البيانات والإرسال إلى وسيط الرسائل معاً أو تفشلا معاً. لكن كتابة الحدث في جدول داخل المعاملة نفسها تجعلهما لا ينفصلان، ثم تتولّى عملية مستقلة نقله لاحقاً. ولو كانت الواجهة البرمجية ترسل الحدث مباشرة، لكان أي تعطّل في Kafka يمنع السائقين من تسجيل التوصيلات، أي أن أهمّ وظيفة في النظام ستتوقف بسبب خدمة لا تحتاجها أصلاً لتعمل بشكل صحيح.
الثمن
يصل كل حدث مرة واحدة على الأقل، وقد يصل أكثر من مرة. لذلك يجب أن تتعامل الخدمات التي تستقبل الأحداث مع التكرار، بحيث تُنفَّذ العملية مرة واحدة فقط مهما تكرّر وصول الحدث. ويُكشف التكرار بمعرّف الحدث ومجموعة الخدمات المستقبِلة (Consumer group) معاً، حتى يبقى كل حدث يصل إلى كل الجهات التي تحتاجه. ولو كُشف التكرار بمعرّف الحدث وحده، لما رأت المجموعة الثانية أبداً أي حدث سبقتها إليه المجموعة الأولى، دون أي تنبيه. فالإرسال «مرة واحدة بالضبط» غير موجود في الواقع، لكن الإرسال «مرة واحدة على الأقل» مع خدمات تتجاهل المكرَّر يحقّق الأثر نفسه: كل عملية تُنفَّذ مرة واحدة فقط.
05
السبب
الجهاز الذي بقي دون اتصال طوال فترة بعد الظهر قد يرسل دفعة من 200 تعديل، بعضها ينجح وبعضها يتعارض مع ما تغيّر في غيابه. ولو نُفّذت الدفعة كلّها في معاملة واحدة، لكان تعديل واحد قديم كافياً لإلغاء يوم كامل من العمل الميداني السليم.
الثمن
يجب أن يكون النجاح الجزئي ردّاً أساسياً يدعمه النظام، لا حالة استثنائية، فيأتي الردّ بنتيجة مستقلة لكل تعديل بدل حالة واحدة للطلب كلّه. وبهذا يعرف الجهاز، تعديلاً تعديلاً، ما الذي حُفظ منها بالضبط.
06
السبب
السائق الذي حُوّلت مهمته إلى سائق آخر وهو دون اتصال لسبب مشروع، يبقى مخوّلاً بما فعله قبل التحويل. أما التحقق من أن المهمة مسندة إليه الآن، فيرفض بالضبط الحالة التي وُجد النظام أصلاً للتعامل معها.
الثمن
يتطلّب ذلك تسجيل السائق السابق مع تحويل المهمة في عملية واحدة لا تتجزأ، بدل استنتاجه لاحقاً. أما الحلّ السهل، وهو تجاوز فحص ملكية المهمة عند وجود تعارض، فكان سيسمح لأي شخص بالاستيلاء على أي مهمة بمجرد افتعال تعارض.
07
السبب
النظام الذي يُلغي قرار موظف دون أن يخبره، سيقاومه ذلك الموظف، ثم يلتفّ عليه، ثم يوقفه في النهاية. والقرار الآلي الذي لا يفهمه أحد أسوأ من عدم وجود قرار آلي أصلاً، لأن النتيجة حينها جواب خاطئ لا يراقبه أحد.
الثمن
كل طريقة لحلّ التعارض يجب أن تُنتج شرحاً مكتوباً، وهذا جهد أكبر من إرجاع قيمة جاهزة من قائمة محدّدة (Enum). فالسبب المكتوب هو القيمة الحقيقية التي يقدّمها النظام، أما الحلّ نفسه فمجرّد آلية.
اختبار الضغط
موجة عودة جماعية للاتصال: يعود 300 جهاز في اللحظة نفسها بعد فترات طويلة دون إنترنت، و15% منها تعيد إرسال الدفعة نفسها، للتأكد من أن كل عملية تُنفَّذ مرة واحدة فقط مهما تكرّر الطلب، حتى حين تصل الطلبات كلّها في وقت واحد.
في البداية كانت أداة الاختبار نفسها خاطئة، وهذه نقطة مهمة
أنشأت الأداة جلسة جهاز واحدة فقط، وجعلت المستخدمين الـ300 الذين تحاكيهم يشتركون فيها كلّهم. ولأن نظام الحدّ من عدد الطلبات (Rate limiter) يحسب الطلبات لكل جهاز على حدة، قُيِّد 98% من الطلبات. أي أن الاختبار كان يقيس نظام الحدّ من الطلبات، لا مسار المزامنة.
ثم انهار النظام فعلاً
sync_failed
44.66%
sync_batch_latency
p95 30s
ثابت عند أقصى مدة ينتظرها التطبيق
http_req_failed
20.76%
الدورات المكتملة
~2,000
من أصل ~3,600
التشخيص
ظهر 6,616 تحذيراً عن استعلامات بطيئة، كلّها على عملية بحث بسيطة للتحقق من التكرار تستغرق عادةً أقل من 5 ملّي ثانية، ومع ذلك لم يسجّل Postgres أي خطأ. وغياب الأخطاء هذا هو ما دلّ على السبب: كل خدمة ورثت الإعداد الافتراضي لعدد الاتصالات المفتوحة بقاعدة البيانات (Connection pool)، وهو 20 اتصالاً، ولم تغيّره أي خدمة. فخمس خدمات بعشرين اتصالاً لكل منها تساوي 100 اتصال بالضبط، وهو الحدّ الأقصى الذي يقبله Postgres (max_connections)، دون أي هامش احتياطي.
ومهلة الاتصال في مكتبة الاتصال بقاعدة البيانات (Database driver) لا تحدّ إلا من وقت إنشاء اتصال TCP الأول، لا من الوقت الذي يقضيه الطلب منتظراً دوره للحصول على اتصال. لذلك حين تنفد الاتصالات المتاحة لا يظهر أي خطأ أبداً، بل تنتظر الطلبات في الطابور بصمت، ويرتفع زمن الاستجابة دون أن يُسجَّل شيء، حتى تنتهي مدة انتظار التطبيقات، فتعيد إرسال طلباتها، وتضيف عبئاً جديداً فوق العبء القائم.
الإصلاح · إعادة توزيع الاتصالات على الخدمات حسب حاجتها الفعلية: 80 اتصالاً في أسوأ الحالات، مع 20 احتياطياً
sync_failed
44.66% → 20.15%
http_req_failed
20.76% → 10.53%
الدورات المكتملة
~2,000 → ~2,765 +38% في عدد العمليات المنجزة
بصراحة: لم يُحَلّ بالكامل بعد
زمن الاستجابة لـ95% من الطلبات (p95) ما زال عالقاً عند السقف نفسه حين يعود الـ300 جهاز كلّها معاً. فبعد أن لم تعد الاتصالات بقاعدة البيانات شحيحة، صار Postgres نفسه هو العائق التالي: طلبات تتزاحم على قفل السجلات نفسها، وانتظار حفظ سجلّ التغييرات (WAL) على القرص، وانتظار الأقفال، لأن التصميم ينفّذ معاملة مستقلة لكل تعديل، واحدة تلو الأخرى، وكل ذلك على حاوية (Container) واحدة تعمل على حاسوب محمول واحد. والخطوة التالية هي تشغيل عدة نسخ من الواجهة البرمجية (API) خلف موزّع للأحمال (Load balancer)، وهذا تغيير أكبر من مجرد تعديل إعدادات الاتصالات، ولم يُنفَّذ بعد.
النتيجة
بُني النظام كاملاً من أوله إلى آخره، وشُغِّل فعلياً من أوله إلى آخره، وهذا هو الجزء الذي صنع الفرق. ومن بين الأخطاء السبعة خطأ كانت فيه الواجهة البرمجية (API) تؤكّد أن التعديل حُفظ، بينما لم يتغيّر السجلّ في قاعدة البيانات إطلاقاً. والاختبارات الآلية الـ115 كلّها تنجح على ست طبقات، دون تخطّي أي اختبار.
وخضع النظام لاختبار الضغط حتى بلغ حدّ الفشل، ثم شُخّص السبب، وأُصلح، وأُعيد القياس، والأرقام منشورة كاملة لا ملخّصة. والكود منشور للعامة، فتفاصيل عمله الداخلية ليست مجرّد ادّعاء، بل يمكن لأي أحد التحقق منها.