Zeromq تداول نظام

زيرومق-ديف يمكن أن تعتمد منصة التداول على أوسلاشمق لدي عميل تبادل مالي حيث يجب أن يتم تمرير بيانات (السوق) من نظام تداول أساسي إلى مستودع عبر تكبيب. ما أرى رؤية في الدليل هو أن كوتين في بعض الحالات النادرة يقطع رسائل مق بصمت، إذا لم يكن هناك استراتيجية واضحة للتعافي من إروركوت. من الواضح أننا لا يمكن أن تسمح أي رسائل يتم تجاهل تجاهل تجاهلها بصمت. أنا ذاهب من خلال الدليل، واللعب مع عدة أنماط أن يكون أفضل يشعر ل مق أبي والفلسفة، ولكن أود أن نقدر حقا معرفة شخص يشعر بالفعل المختصة تماما مع المنتج لإنقاذ لي بعض كوتيميدنايت أويلكوت: 1. هل هناك آلية بنيت على سبيل المثال بدء تحميل الرسائل إلى القرص، في حالة طابور على وشك أن تفيض أو لمجرد وقف بدلا من تجاهل الرسائل بصمت 2. ماد الصندوق الأسود هو الشيء الذي يبدو أقرب إلى ما نحتاجه، ولكن لدينا بالفعل الناشرين أنفسهم شارد. سوف شردهم أكثر في مختلف كوبيشوكوترز 3939 يكون ضروريا لتجنب quotsubscriber39s أوفيرفلوكوت (على سبيل المثال الجانب معالجة سيكون أبطأ، كما أنه ديسيرياليزس ربما جوجل بروتوبوفس ويستمر الرسائل إلى القرص) 3. في حالة الإجابة 3 هو نعم، لا إضافية شاردينغ الداخلي إدخال نقطة جديدة من الفشل (مثل يموت الخيط، وما إلى ذلك)، وفي هذه الحالة هناك نوع من بنيت في آلية إعادة المحاولة الانتعاش (على غرار بم، ولكن قليلا من مستوى أعلى، لأننا نتعامل مع رسائل زمتب) بحث المناقشات مارتن سوستريك هاي أناتولي، هناك خيار 39 زمزواب في الإصدارات 2.x. تطبيق باكبريسور (كوتستوبوت) يعمل جيئة وذهابا أنماط ريكريب و بوشبول. مع بوبسوب، وتطبيق باكبريسور جنبا إلى جنب مع بطيديد المشترك يمكن أن يؤدي إلى تأخر غير محدود، حتى إلى طريق مسدود من كامل نظام توزيع الرسالة. أعتقد أنك تتحدث عن بيانات السوق هنا. إذا كان الناشر مثقلا، فكر في إنشاء طبولوجيا أكثر تعقيدا باستخدام أجهزة في الوسط لتوزيع الحمل. إذا كانت النقطة التي يخزن الرسالة في 7 سبتمبر 2011 في 6:51 ص 1. هل هناك آلية بنيت على سبيل المثال. بدء تحميل الرسائل إلى القرص، في حالة طابور على وشك أن تفيض أو لمجرد إيقاف بدلا من تجاهل الرسائل بصمت هناك خيار 39 زمزواب في الإصدارات 2.x. تطبيق باكبريسور (كوتستوبوت) يعمل جيئة وذهابا أنماط ريكريب و بوشبول. مع بوبسوب، وتطبيق باكبريسور جنبا إلى جنب مع بطيديد المشترك يمكن أن يؤدي إلى تأخر غير محدود، حتى إلى طريق مسدود من كامل نظام توزيع الرسالة. 2. ماد الصندوق الأسود هو الشيء الذي يبدو أقرب إلى ما نحتاجه، ولكن لدينا بالفعل الناشرين أنفسهم شارد. سوف شرائهم أكثر في مختلف كوبيشكوترز 3939 يكون ضروريا لتجنب quotsubscriber39s أوفيرفلكوت (على سبيل المثال، الجانب معالجة سيكون أبطأ، كما أنه ديسيرياليزس ربما جوجل بروتوبوفس ويستمر الرسائل إلى القرص) أعتقد أنك تتحدث عن بيانات السوق هنا. إذا كان الناشر مثقلا، فكر في إنشاء طبولوجيا أكثر تعقيدا باستخدام أجهزة في الوسط لتوزيع الحمل. 3. في حال كان الجواب على 3 نعم، لا يعرض شارد داخلي إضافي نقطة جديدة للفشل (مثل يموت الخيط، وما إلى ذلك)، وفي هذه الحالة هناك نوع من بنيت في آلية إعادة المحاولة الانتعاش (على غرار بم، ولكن قليلا من مستوى أعلى، لأننا نتعامل مع رسائل زمتب) إذا النقطة التي تخزن الرسالة يموت، يتم فقدان الرسالة. وهذا ينطبق على بم أو أي آلية أخرى. الخيار الوحيد هو تخزين الرسائل على القرص، مع عقوبة الأداء واضحة. حتى في ذلك الحين، إذا كان القرص يموت، يتم فقدان الرسائل. لمنع ذلك لديك لتخزينها على ريد، سان أو سوميسوتش. إذا تم تدمير ريد كله الخ في الأربعاء، سبتمبر 7، 2011 في 2:51 صباحا، كتب مارتن سوستريك: 1. هل هناك آلية بنيت على سبيل المثال. بدء تحميل الرسائل إلى القرص، في حالة وجود طابور على وشك أن تفيض أو لمجرد وقف بدلا من تجاهل الرسائل بصمت هناك خيار 39 زمزواب في الإصدارات 2.x. تطبيق باكبريسور (كوتستوبوت) يعمل جيئة وذهابا أنماط ريكريب و بوشبول. مع بوبسوب، وتطبيق باكبريسور جنبا إلى جنب مع بطيديد المشترك يمكن أن يؤدي إلى تأخر غير محدود، حتى إلى طريق مسدود من كامل نظام توزيع الرسالة. 2. ماد الصندوق الأسود هو الشيء الذي يبدو أقرب إلى ما نحتاجه، ولكن لدينا بالفعل الناشرين أنفسهم شارد. سوف شرائهم أكثر في مختلف كوبيشكوترز 3939 يكون ضروريا لتجنب quotsubscriber39s أوفيرفلكوت (على سبيل المثال، الجانب معالجة سيكون أبطأ، كما أنه ديسيرياليزس ربما جوجل بروتوبوفس ويستمر الرسائل إلى القرص) أعتقد أنك تتحدث عن بيانات السوق هنا. إذا كان الناشر مثقلا، فكر في إنشاء طبولوجيا أكثر تعقيدا باستخدام أجهزة في الوسط لتوزيع الحمل. 3. في حال كان الجواب على 3 نعم، لا يعرض شارد داخلي إضافي نقطة جديدة للفشل (مثل يموت الخيط، وما إلى ذلك)، وفي هذه الحالة هناك نوع من بنيت في آلية إعادة المحاولة الانتعاش (على غرار بم، ولكن قليلا من مستوى أعلى، لأننا نتعامل مع رسائل زمتب) إذا النقطة التي تخزن الرسالة يموت، يتم فقدان الرسالة. وهذا ينطبق على بم أو أي آلية أخرى. الخيار الوحيد هو تخزين الرسائل على القرص، مع عقوبة الأداء واضحة. حتى في ذلك الحين، إذا كان القرص يموت، يتم فقدان الرسائل. لمنع ذلك لديك لتخزينها على ريد، سان أو سوميسوتش. إذا تم تدمير ريد كامل الخ تحذير: هذا النص هو إهمال ويشير إلى إصدار قديم من مق. يبقى هنا للاهتمام التاريخي. لا تستخدم هذا لتعلم مق. إنترودكتيون كما يقصد أساسا مق إلى الأعمال التجارية تداول الأسهم، أنشأنا عينة التطبيق الذي يحاكي العمل الداخلي لبورصة الأوراق المالية. التركيز الأساسي لهذا المثال هو لإظهار كيف بيرفرومق مق في سيناريو مثل العالم الحقيقي. يوضح الرسم البياني أدناه بنية التطبيق: يجب أن يحصل مكون البوابة على أوامر من التجار عبر الشبكة (باستخدام بروتوكول فيكس أو بروتوكول خاص) وإرسال الردود إلى التجار. ومع ذلك، كما يهدف تطبيق المثال لإظهار ما هي بلاتبوتسلاتيونس المحتملة من هذا النظام، بوابة يولد أوامر عشوائية بدلا من تلقيها من التجار. عند بدء تشغيل البوابة، يمكنك تحديد عدد الطلبات في الثانية التي سيتم إنشاؤها. وحدة مطابقة تحتوي على جوهر منطق الأعمال بورصة الأوراق المالية. يطابق أوامر واحد إلى آخر وتنتج الصفقات ونقلت. تنفيذنا هو أضيق الحدود، استنادا إلى خوارزمية مطابقة الوقت الزمني (تنفيذ خوارزمية التناسبي يترك ك إكسرسييس للقارئ). ومع ذلك، فإن الخوارزمية لديها تعقيد O (1) وأنها الأمثل بشكل كبير. رأينا أنها عملية حوالي 18 مليون أوامر في الثانية الواحدة. يتلقى عنصر الإحصاء معلومات الأداء التي تم إنشاؤها بواسطة كل من البوابة ومحرك مطابقة ويعرضها في شكل للقراءة البشرية. لجعل قراءة الإحصاءات حتى أكثر ملاءمة، يتم تضمين أداة رسومية بسيطة في المثال. الأداء التالي يظهر لقطة أمثلة الأداء على اثنين الراقية 8 النواة (3GHZ) صناديق كل وجود 2 مخصصة 1GbE نيك. نضع في اعتبارنا أنه إذا قمت بتشغيله على الأجهزة أوندرزبيسيفيد أندور غير مرغوب فيه فإنه يمكن أن يكون لا يزال سريعا جدا، ومع ذلك، سوف تحصل على أقل من سرعة الرسائل والمزيد من قمم الكمون. إذا قمت بتعيين معدل رسالة عالية جدا يمكنك حتى تجربة فشل الممر لأن مكون شريط المستخدمة لإرسال أوامر في معدل ثابت لن تكون قادرة على مواكبة. يعرض الخط الأصفر زمن الاستجابة ذهابا وإيابا، أي المدة التي يستغرقها نقل الطلب من البوابة إلى المحرك المطابق، ومعالجته وإرسال تأكيد الطلب مرة أخرى إلى البوابة. في زمن الاستجابة لدينا تقلبت حوالي 200 ميكروثانية في المتوسط. خط إنتاج أقل (900،000 مساجيسكوند) هو معدل الطلبات التي يتم تمريرها من البوابة إلى محرك مطابقة. خط الإنتاجية العلوي (2،300،000 مساجيسكوند) هو معدل تأكيدات النظام، الصفقات وأسعار الأسهم مرت من محرك مطابقة إلى البوابة. في المجموع، رأينا ما يقرب من 3،200،000 رسائل في الثانية تمر عبر الشبكة. بناء عليه لبناء مثال استخدام --with تبادل الخيار مع تكوين: لتكون قادرة على تشغيل أداة الرسوم البيانية لديك ليكون بيرل تك تثبيت (تعبئتها كما بيرل تك على دبيان) وكذلك تك :: الرسم البياني من كبان . تشغيله على سبيل المثال، لدينا طوبولوجيا الشبكة التالية لتشغيل المثال على. تمثل الصناديق آلات فردية، وتمثل السهام الكابلات المادية بين واجهات الشبكة الفردية (التي تحمل عناوين إب الخاصة بها): هناك 3 صناديق (test01، test02 و test03) متصلة بالشبكة المحولة مع عناوين إب ذات الصلة 192.168.0.1، 192.168.0.2 و 192.168.0.3. وعلاوة على ذلك هناك نوعان من وصلات مباشرة بين test02 و test03. اتصال واحد يربط واجهة الشبكة 10.0.0.1 على test02 مع واجهة الشبكة 10.0.0.2 على test03. آخر واحد يربط واجهة الشبكة 10.1.0.1 على test02 مع واجهة الشبكة 10.1.0.2 على test03. حسنا تشغيل زمكسرفر والمكون الإحصائي على test01، محرك مطابقة على test02 والبوابة على test03. حسنا استخدام واحدة من الاتصالات المباشرة بين test02 و test03 لتمرير أوامر من بوابة إلى محرك مطابقة والآخر لتمرير التأكيدات، الصفقات ونقلت من محرك مطابقة إلى بوابة. أولا، بدء زمكسرفر على test01: بعد ذلك بدء المكون الإحصائي على test01. المعلمات هي مربع حيث زمكسيرفر قيد التشغيل واجهة الشبكة لتلقي المعلومات الإحصائية على: بدلا من ذلك يمكنك الأنابيب البيانات الإحصائية إلى أداة الرسوم البيانية: الآن بدء محرك مطابقة. توريد زمكسرفر s اسم المضيف، واجهة لتلقي الرسائل على واجهة لإرسال الرسائل على النحو المعلمات: وأخيرا، تشغيل البوابة. موقع توريد زمكسرفر وعدد من أوامر لإرسال في الثانية كمعلمات: خاتمة تبادل مثال يسمح لك لاختبار أداء مقس في سيناريو مثل العالم الحقيقي. ومع ذلك، والحصول على الكمون مستقرة في الإنتاجية العالية هي مسألة صعبة تعتمد على ضبط العام من الأجهزة، ونظام التشغيل، بيئة التنفيذ وما إذا كنت جادا حول اختبار الأداء، اتصل بنا لمساعدتك في هذه المهمة. كتب: 1218019882Y. m.e المنقحة: 1286694428Y. m.e إذا وجدت هذه الصفحة مفيدة، يرجى تقييمه حتى يجد الآخرون it. OslashMQ هو نظام الرسائل، أو الوسيطة الموجهة رسالة، إذا كنت سوف. تستخدم في بيئات متنوعة مثل الخدمات المالية، وتطوير اللعبة، وأنظمة جزءا لا يتجزأ، والأبحاث الأكاديمية والفضاء. تعمل أنظمة المراسلة أساسا كرسائل فورية للتطبيقات. تطبيق يقرر إبلاغ الحدث إلى تطبيق آخر (أو تطبيقات متعددة)، فإنه يجمع البيانات المراد إرسالها، يضرب زر الإرسال وهناك نحن غومداشث نظام الرسائل يعتني بقية. على عكس الرسائل الفورية، على الرغم من أن أنظمة الرسائل ليس لديها واجهة المستخدم الرسومية، ولا يفترض أي إنسان في نقاط النهاية قادرة على التدخل الذكي عندما يحدث شيء خاطئ. وبالتالي فإن أنظمة التراسل يجب أن تكون متسامحة مع الأخطاء وأكثر من الرسائل الفورية الشائعة. وقد تم تصميم أوسلاشمق أصلا باعتباره نظام الرسائل فائقة السرعة لتداول الأسهم، وبالتالي كان التركيز على الأمثل القصوى. وقد أنفقت السنة الأولى من المشروع على وضع منهجية للمقارنة ومحاولة تحديد بنية تتسم بأكبر قدر ممكن من الكفاءة. وفي وقت لاحق، تقريبا في السنة الثانية من التنمية، تحول التركيز إلى توفير نظام عام لبناء التطبيقات الموزعة ودعم أنماط الرسائل التعسفية، وآليات النقل المختلفة، وربط اللغة التعسفي، وما إلى ذلك. وخلال السنة الثالثة كان التركيز أساسا على تحسين قابلية الاستخدام وتسطيح منحنى التعلم. اعتمدنا أبي بسد مآخذ، حاولت تنظيف الدلالات من أنماط الرسائل الفردية، وهلم جرا. ونأمل أن يعطي هذا الفصل نظرة ثاقبة حول كيفية ترجمة الأهداف الثلاثة المذكورة أعلاه إلى العمارة الداخلية ل أوسلاشمق، وتقديم بعض النصائح لأولئك الذين يكافحون مع نفس المشاكل. منذ عامها الثالث أوسلاشمق قد تجاوزت كودباس هناك مبادرة لتوحيد بروتوكولات الأسلاك التي يستخدمها، والتنفيذ التجريبي لنظام الرسائل مثل أوسلاشمق داخل نواة لينكس، الخ هذه الموضوعات ليست مشمولة في هذا الكتاب. ومع ذلك، يمكنك التحقق من الموارد على الانترنت لمزيد من التفاصيل: 250bpmconcepts. groups. googlegroupsp-بحث-المجموعة. و 250bpmhits. 24.1. التطبيق مقابل مكتبة أوسلاشمق هي مكتبة، وليس خادم الرسائل. استغرق الأمر عدة سنوات العمل على بروتوكول أمكب، محاولة صناعة المالية لتوحيد بروتوكول الأسلاك ل ميساجينغمداشوريتينغ الأعمال التنفيذ مرجعية لذلك والمشاركة في العديد من المشاريع على نطاق واسع تعتمد بشكل كبير على الرسائل تيشنولوجيمداشتو ندرك أن ثيريس شيء خاطئ مع نموذج كلينتسيرفر الكلاسيكية من خادم الرسائل الذكية (وسيط) والبريد الرسائل العملاء. كان شاغلنا الأساسي في ذلك الوقت مع الأداء: إذا كان هناك ملقم في الوسط، كل رسالة لديها لتمرير الشبكة مرتين (من المرسل إلى وسيط ومن الوسيط إلى المتلقي) إحداث عقوبة من حيث الكمون والإنتاجية. وعلاوة على ذلك، إذا تم تمرير جميع الرسائل من خلال وسيط، في مرحلة ما من المقرر أن تصبح عنق الزجاجة. وكان الشاغل الثانوي يتعلق بعمليات نشر واسعة النطاق: فعندما يعبر النشر الحدود التنظيمية، لا ينطبق مفهوم السلطة المركزية التي تدير كامل تدفق الرسالة. لا توجد شركة على استعداد للتنازل عن السيطرة على خادم في شركة مختلفة هناك أسرار تجارية و ثيرس المسؤولية القانونية. والنتيجة في الممارسة هي أن ثيريس خادم الرسائل واحد لكل شركة، مع جسور مكتوبة بخط اليد لربطه إلى أنظمة المراسلة في الشركات الأخرى. وبالتالي فإن النظام البيئي بأكمله هو مجزأة إلى حد كبير، والحفاظ على عدد كبير من الجسور لكل شركة المعنية لا يجعل الوضع أفضل. لحل هذه المشكلة، نحن بحاجة إلى بنية موزعة بالكامل، وهي بنية حيث يمكن أن يحكم كل مكون من قبل كيان تجاري مختلف. وبالنظر إلى أن وحدة الإدارة في العمارة المستندة إلى الخادم هو الملقم، يمكننا حل المشكلة عن طريق تثبيت ملقم منفصل لكل مكون. في مثل هذه الحالة يمكننا مواصلة تحسين التصميم من خلال جعل الخادم والمكون مشاركة نفس العمليات. ما ننتهي به هو مكتبة الرسائل. وقد بدأ أوسلاشمق عندما حصلنا على فكرة حول كيفية جعل الرسائل العمل دون خادم مركزي. انها تتطلب تحويل مفهوم كامل من الرسائل رأسا على عقب واستبدال نموذج مخزن مركزي مستقل للرسائل في وسط الشبكة مع نقطة النهاية الذكية، بنية الشبكة البكم على أساس مبدأ من طرف إلى طرف. وكانت النتيجة الفنية لهذا القرار أن أوسلاشمق، منذ البداية، كانت مكتبة، وليس تطبيق. في هذه الأثناء كنا قادرين على إثبات أن هذا العمارة على حد سواء أكثر كفاءة (أقل الكمون، وارتفاع الإنتاجية) وأكثر مرونة (من السهل لبناء طبولوجيا معقدة التعسفية بدلا من أن تكون مرتبطة نموذج المحور التقليدي وتحدث). بيد أن أحد النتائج غير المقصودة هو أن اختيار نموذج المكتبة يحسن إمكانية استخدام المنتج. مرارا وتكرارا للمستخدمين التعبير عن سعادتهم حول حقيقة أنها لم يكن لديك لتثبيت وإدارة خادم الرسائل مستقل. اتضح أن عدم وجود ملقم هو الخيار المفضل لأنه يقلل من التكلفة التشغيلية (لا حاجة أن يكون مسؤول إدارة الرسائل) ويحسن الوقت إلى السوق (لا حاجة للتفاوض على الحاجة لتشغيل الخادم مع العميل، و إدارة أو فريق العمليات). والدرس المستفاد هو أنه عند بدء مشروع جديد، يجب أن تختار تصميم المكتبة إذا كان ذلك ممكنا على الإطلاق. من السهل جدا لإنشاء تطبيق من مكتبة عن طريق استدعاء ذلك من برنامج تافهة ومع ذلك، من المستحيل تقريبا لإنشاء مكتبة من القائمة التنفيذية القابلة للتنفيذ. توفر المكتبة المزيد من المرونة للمستخدمين، وفي الوقت نفسه تجنيبهم جهود إدارية غير تافهة. 24.2. المتغيرات العالمية العالمية العالمية لا تلعب بشكل جيد مع المكتبات. قد يتم تحميل مكتبة عدة مرات في العملية ولكن حتى ثيريس فقط مجموعة واحدة من المتغيرات العالمية. ويبين الشكل 24.1 مكتبة أوسلاشمق المستخدمة من مكتبتين مختلفتين ومستقلتين. ثم يستخدم التطبيق كل من تلك المكتبات. الشكل 24.1: أوسلاشمق المستخدمة من قبل المكتبات المختلفة عندما يحدث مثل هذا الوضع، كل من أوسلاشمق الوصول إلى المتغيرات نفسها، مما أدى إلى ظروف السباق، فشل غريب وسلوك غير معروف. لمنع هذه المشكلة، مكتبة أوسلاشمق ليس له متغيرات عالمية. بدلا من ذلك، يكون مستخدم المكتبة مسؤولا عن إنشاء الحالة العالمية بشكل صريح. الكائن الذي يحتوي على الحالة العالمية يسمى السياق. في حين أن سياق منظور المستخدمين تبدو أكثر أو أقل مثل مجموعة من المواضيع عامل، من منظور أوسلاشمق مجرد كائن لتخزين أي حالة عالمية أننا نحتاج إلى الحاجة. في الصورة أعلاه، سيكون ليبا سياقها الخاص و ليب سيكون لها أيضا. لن يكون هناك سبيل لأحدهم لكسر أو تخريب الآخر. الدرس هنا واضح جدا: لا تستخدم الحالة العالمية في المكتبات. إذا فعلت ذلك، من المرجح أن كسر مكتبة عندما يحدث أن مثيل مرتين في نفس العملية. 24.3. الأداء عندما بدأ أوسلاشمق، كان هدفه الأساسي لتحسين الأداء. يتم التعبير عن أداء أنظمة المراسلة باستخدام مقياسين: يمكن نقل عدد كبير من الرسائل خلال مقدار معين من الوقت ووقت الاستجابة لوقت طويل يستغرق وصول رسالة من نقطة نهاية إلى أخرى. أي مقياس يجب أن نركز على ما العلاقة بين اثنين ليس من الواضح تشغيل الاختبار، وتقسيم الوقت الإجمالي للاختبار من قبل عدد من الرسائل مرت وما تحصل عليه هو الكمون. تقسيم عدد من الرسائل حسب الوقت وما تحصل عليه هو الإنتاجية. وبعبارة أخرى، الكمون هو القيمة العكسية للإنتاجية. تافهة، يمين بدلا من البدء في الترميز على الفور قضينا بعض الأسابيع التحقيق في مقاييس الأداء بالتفصيل ووجدنا أن العلاقة بين الإنتاجية والكمون هو أكثر دقة من ذلك بكثير، وغالبا ما تكون مقاييس غير بديهية تماما. تخيل إرسال رسائل إلى B. (انظر الشكل 24.2). الوقت الإجمالي للاختبار هو 6 ثوان. هناك 5 رسائل مرت. وبالتالي فإن الإنتاجية هي 0.83 مسغسيك (56) و الكمون هو 1.2 ثانية (65)، الحق إلقاء نظرة على الرسم البياني مرة أخرى. يستغرق وقتا مختلفا لكل رسالة للحصول على من A إلى B: 2 ثانية، 2.5 ثانية، 3 ثانية، 3.5 ثانية، 4 ثانية. المتوسط ​​هو 3 ثوان، وهو بعيد جدا عن حسابنا الأصلي من 1.2 ثانية. يوضح هذا المثال المفاهيم الخاطئة التي يميل إليها الأشخاص بشكل حدسي لتحقيق مقاييس الأداء. الآن إلقاء نظرة على الإنتاجية. الوقت الإجمالي للاختبار هو 6 ثوان. ومع ذلك، في A يستغرق سوى 2 ثانية لإرسال جميع الرسائل. من وجهة نظر الإنتاجية هو 2.5 مسغسيك (52). في B يستغرق 4 ثوان لتلقي جميع الرسائل. لذلك من منظور بس الإنتاجية هو 1.25 مسغسيك (54). لا أي من هذه الأرقام يطابق حسابنا الأصلي من 1.2 مسغسيك. لجعل قصة قصيرة قصيرة، الكمون والإنتاج هما مقياسان مختلفان أن الكثير هو واضح. والشيء المهم هو فهم الفرق بين الاثنين وعلاقتهما المتبادلة. يمكن قياس الكمون فقط بين نقطتين مختلفتين في النظام ثيرس لا شيء مثل الكمون عند النقطة A. كل رسالة لديها الكمون الخاصة بها. يمكنك متوسط ​​عدد مرات ظهور رسائل متعددة، ومع ذلك، لا شيء مثل الكمون من مجموعة من الرسائل. ومن ناحية أخرى، لا يمكن قياس الإنتاجية إلا في نقطة واحدة من النظام. ثيرس الإنتاجية في المرسل، ثيريس الإنتاجية في المتلقي، ثيريس الإنتاجية في أي نقطة وسيطة بين اثنين، ولكن ثيريس لا شيء مثل الإنتاجية الإجمالية للنظام بأكمله. والإنتاجية المنطقي فقط لمجموعة من الرسائل ثيريس لا شيء مثل الإنتاجية من رسالة واحدة. أما بالنسبة للعلاقة بين الإنتاجية والكمون، اتضح أن هناك حقا علاقة ولكن، الصيغة تنطوي على تكاملات ونحن لن نناقش هنا. لمزيد من المعلومات، قراءة الأدب على نظرية الطابور. هناك العديد من المزالق في قياس أنظمة المراسلة التي لن نذهب إلى أبعد من ذلك. يجب أن يوضع الضغط على الدرس المستفاد: تأكد من فهم المشكلة التي تحلها. حتى مشكلة بسيطة مثل جعله سريع يمكن أن تأخذ الكثير من العمل لفهم صحيح. ما هو أكثر من ذلك، إذا كنت لا تفهم المشكلة، فمن المحتمل أن تبني افتراضات ضمنية والخرافات الشعبية في التعليمات البرمجية الخاصة بك، مما يجعل الحل إما معيبة أو على الأقل أكثر تعقيدا أو أقل فائدة بكثير مما كان يمكن أن يكون. 24.4. المسار الحرج اكتشفنا أثناء عملية التحسين أن ثلاثة عوامل لها تأثير حاسم على الأداء: عدد تخصيصات الذاكرة عدد مكالمات النظام نموذج التزامن ومع ذلك، ليس كل تخصيص الذاكرة أو كل مكالمة النظام له نفس التأثير على الأداء. إن الأداء الذي نهتم به في أنظمة الرسائل هو عدد الرسائل التي يمكننا نقلها بين نقطتين نهائيتين خلال فترة معينة من الوقت. بدلا من ذلك، قد نكون مهتمين في الوقت الذي يستغرقه وصول رسالة من نقطة نهاية إلى أخرى. ومع ذلك، وبالنظر إلى أن أوسلاشمق مصمم للسيناريوهات مع اتصالات طويلة العمر، والوقت الذي يستغرقه لإقامة اتصال أو الوقت اللازم لمعالجة خطأ اتصال غير ذي صلة في الأساس. هذه الأحداث تحدث نادرا جدا، وبالتالي فإن تأثيرها على الأداء العام لا يكاد يذكر. الجزء من كودباس التي يتم استخدامها بشكل متكرر جدا، مرارا وتكرارا، ويسمى الأمثل المسار الحرجة ينبغي أن تركز على المسار الحرج. دعونا نلقي نظرة على مثال: أوسلاشمق ليست الأمثل للغاية فيما يتعلق بتخصيصات الذاكرة. على سبيل المثال، عند التلاعب بالسلاسل، فإنه غالبا ما يخصص سلسلة جديدة لكل مرحلة وسيطة من التحول. ومع ذلك، إذا نظرنا بدقة في باثمداشث الحرجة رسالة الفعلية باسينغمداشويل معرفة أنه يستخدم تقريبا أي تخصيصات الذاكرة. إذا كانت الرسائل صغيرة، تخصيص الذاكرة واحد فقط لكل 256 رسائل (يتم الاحتفاظ بهذه الرسائل في واحد كبير تخصيص الذاكرة قطعة). إذا، بالإضافة إلى ذلك، تيار الرسائل ثابت، دون قمم حركة المرور الضخمة، وعدد من تخصيصات الذاكرة على المسار الحرج قطرات إلى الصفر (لا يتم إرجاع قطع الذاكرة المخصصة إلى النظام، ولكن إعادة استخدامها مرارا وتكرارا) . الدرس المستفاد: تحسين حيث يجعل الفرق. تحسين أجزاء من التعليمات البرمجية التي ليست على المسار الحرج هو الجهد الضائع. 24.5. تخصيص الذاكرة على افتراض أن جميع البنية التحتية تم إنيتياليزد وتم إنشاء اتصال بين نقطتين نهاية، ثيريس شيء واحد فقط لتخصيص عند إرسال رسالة: الرسالة نفسها. وهكذا، لتحسين المسار الحرج كان علينا أن ننظر في كيفية تخصيص الرسائل وتمرير صعودا وهبوطا المكدس. المعرفة المشتركة في مجال الشبكات عالية الأداء أن أفضل أداء يتحقق من خلال موازنة بعناية تكلفة توزيع الرسالة وتكلفة نسخ الرسالة (على سبيل المثال، hal. inria. frdocs00292831PDFOpen-مكس-IOAT. pdf انظر التعامل مع مختلف الرسائل الصغيرة والمتوسطة والكبيرة). للرسائل الصغيرة، والنسخ هو أرخص بكثير من تخصيص الذاكرة. ومن المنطقي تخصيص أي قطع الذاكرة الجديدة على الإطلاق، وبدلا من ذلك لنسخ الرسالة إلى الذاكرة بريالوكاتد كلما دعت الحاجة. بالنسبة للرسائل الكبيرة، من ناحية أخرى، النسخ هو أكثر تكلفة بكثير من تخصيص الذاكرة. من المنطقي تخصيص الرسالة مرة واحدة وتمرير مؤشر إلى الكتلة المخصصة بدلا من نسخ البيانات. ويسمى هذا النهج صفر نسخة. أوسلاشمق يعالج كلتا الحالتين بطريقة شفافة. تم تمثيل رسالة أوسلاشمق بمعالجة غير شفافة. يتم ترميز محتوى الرسائل الصغيرة جدا مباشرة في المقبض. لذلك فإن نسخ نسخة من المقبض ينسخ بيانات الرسالة. عندما تكون الرسالة أكبر، يتم تخصيصها في مخزن منفصل والمقبض يحتوي فقط على مؤشر إلى المخزن المؤقت. جعل نسخة من المقبض لا يؤدي إلى نسخ بيانات الرسالة، وهو أمر منطقي عندما تكون الرسالة طويلة ميغابايت (الشكل 24.3). وتجدر الإشارة إلى أنه في الحالة الأخيرة يتم حساب المخزن المؤقت للإشارة بحيث يمكن الرجوع إليه بواسطة مقابض متعددة دون الحاجة لنسخ البيانات. الدرس المستفادة: عند التفكير في الأداء، لا تفترض ثيريس أفضل حل واحد. قد يحدث أن هناك عدة فئات فرعية للمشكلة (مثل الرسائل الصغيرة مقابل الرسائل الكبيرة)، ولكل منها خوارزمية مثالية. 24.6. الخلط وقد سبق ذكره أن العدد الهائل من نظام يدعو في نظام الرسائل يمكن أن يؤدي إلى عنق الزجاجة الأداء. في الواقع، المشكلة أكثر عمومية من ذلك بكثير. هي عقوبة الأداء غير تافهة المرتبطة اجتياز كومة المكالمة، وبالتالي، عند إنشاء تطبيقات عالية الأداء، من الحكمة لتجنب أكبر قدر من كومة عبور ممكن. انظر الشكل 24.4. لإرسال أربع رسائل، يجب اجتياز كومة الشبكة بالكامل أربع مرات (أي أوسلاشمق، غليبك، حدود مساحة المستخدم، تنفيذ تكب، تنفيذ إب، طبقة إيثرنيت، نيك نفسه ونسخ المكدس مرة أخرى). ومع ذلك، إذا قررت الانضمام إلى تلك الرسائل في دفعة واحدة، سيكون هناك اجتياز واحد فقط من المكدس (الشكل 24.5). يمكن أن يكون التأثير على إنتاجية الرسائل ساحقا: يصل إلى أمرين من حيث الحجم، خاصة إذا كانت الرسائل صغيرة ومئات منها يمكن أن تكون معبأة في دفعة واحدة. من ناحية أخرى، يمكن أن يكون للخلط تأثير سلبي على زمن الاستجابة. دعونا نأخذ، على سبيل المثال، خوارزمية ناجليز المعروفة، كما تم تنفيذها في برنامج التعاون الفني. فإنه يؤخر الرسائل الصادرة لفترة معينة من الزمن ويدمج جميع البيانات المتراكمة في حزمة واحدة. ومن الواضح أن زمن الاستجابة من البداية إلى النهاية للرسالة الأولى في الرزمة أسوأ بكثير من زمن الكمون الأخير. وهكذا، المشتركة ل التطبيقات التي تحتاج باستمرار الكمون المنخفض للتبديل ناجليز خوارزمية قبالة. حتى المشتركة لإيقاف الخلط على جميع المستويات من المكدس (على سبيل المثال نيك يقاطع ميزة التجميع). ولكن مرة أخرى، لا الخلط يعني اجتياز واسعة من المكدس والنتائج في انخفاض الإنتاجية الرسالة. يبدو أننا اشتعلت في الإنتاجية مقابل معضلة الكمون. يحاول أوسلاشمق تقديم حالات تأخر منخفضة باستمرار جنبا إلى جنب مع الإنتاجية العالية باستخدام الاستراتيجية التالية: عندما تدفق الرسالة هو متفرق ولا تتجاوز شبكة مداخن عرض النطاق الترددي، أوسلاشمق يتحول كل الخلط قبالة لتحسين الكمون. المفاضلة هنا أعلى إلى حد ما وحدة المعالجة المركزية أوساجيمداشو لا يزال لديك لاجتياز كومة في كثير من الأحيان. ومع ذلك، لا يعتبر ذلك مشكلة في معظم الحالات. عندما يتجاوز معدل الرسالة عرض النطاق الترددي من كومة الشبكة، يجب أن تكون الرسائل كويدمداستوريد في الذاكرة حتى كومة جاهزة لقبول لهم. الطابور يعني الكمون هو الذهاب الى النمو. إذا كانت الرسالة تنفق ثانية واحدة في قائمة الانتظار، فإن زمن الاستجابة من طرف إلى طرف سيكون ثانية واحدة على الأقل. ما هو أسوأ من ذلك، كما ينمو حجم طابور، وسوف تزيد من حالات التأخير تدريجيا. إذا كان حجم قائمة الانتظار غير ملزم، يمكن أن يتجاوز الكمون أي حد. وقد لوحظ أنه على الرغم من ضبط كومة الشبكة لأقل الكمون ممكن (خوارزمية ناجليز إيقاف، نيك توقف المقاطعة اغلاق، وما إلى ذلك) يمكن أن تظل حالات الكارثة كئيبة بسبب تأثير الطابور، كما هو موضح أعلاه. في مثل هذه الحالات من المنطقي لبدء الخلط بقوة. ثيريز شيئا لانقاص كما في حالات الطوارئ مرتفعة بالفعل على أي حال. من ناحية أخرى، الخلط العدواني يحسن الإنتاجية ويمكن تفريغ طابور من ريسيدنتسمداشيش في انتظار يعني بدوره الكمون سوف تنخفض تدريجيا مع انخفاض الطابور تأخير. مرة واحدة لا توجد رسائل المعلقة في قائمة الانتظار، يمكن إيقاف تشغيل الخلط لتحسين الكمون أبعد من ذلك. ملاحظة إضافية واحدة هي أن الخلط يجب أن يتم فقط على أعلى مستوى. إذا تم تجميع الرسائل هناك، فإن الطبقات السفلى ليس لديها أي دفعة على أي حال، وهكذا كل خوارزميات الخلط تحتها لا تفعل شيئا سوى إدخال الكمون إضافية. الدرس المستفادة: للحصول على الإنتاجية المثلى جنبا إلى جنب مع الوقت الأمثل للاستجابة في نظام غير متزامن، إيقاف تشغيل جميع خوارزميات الخلط على الطبقات المنخفضة من المكدس والدفعة على أعلى مستوى. دفعة فقط عندما تصل البيانات الجديدة أسرع مما يمكن معالجتها. 24.7. العمارة نظرة عامة حتى هذه النقطة ركزنا على المبادئ العامة التي تجعل أوسلاشمق بسرعة. من الآن فصاعدا لدينا نظرة على العمارة الفعلية للنظام (الشكل 24.6). المستخدم يتفاعل مع أوسلاشمق باستخدام ما يسمى مآخذ. فهي مشابهة جدا لمآخذ تكب، والفرق الرئيسي هو أن كل مأخذ يمكن التعامل مع الاتصالات مع أقرانهم متعددة، قليلا مثل مقابس أودب غير منضم القيام به. ويعيش كائن مأخذ التوصيل في مؤشر ترابط المستخدمين (انظر مناقشة نماذج الترابط في المقطع التالي). وبصرف النظر عن ذلك، يقوم أوسلاشمق بتشغيل سلاسل عمل متعددة تتعامل مع الجزء غير المتزامن من الاتصال: قراءة البيانات من الشبكة، وضع الرسائل، قبول الاتصالات الواردة، إلخ. هناك أشياء مختلفة تعيش في سلاسل عمليات العامل. كل واحد من هذه الكائنات مملوكة من قبل كائن واحد الأصل بالضبط (يشار إلى ملكية من قبل خط كامل بسيط في الرسم التخطيطي). يمكن للوالد أن يعيش في خيط مختلف عن الطفل. معظم الكائنات مملوكة مباشرة من قبل مآخذ ومع ذلك، هناك زوجين من الحالات التي يتم فيها كائن يملكه كائن الذي يملكه مأخذ. ما نحصل عليه هو شجرة من الكائنات، مع واحدة من هذه الشجرة في مأخذ. يتم استخدام الشجرة أثناء إيقاف أي كائن يمكن أن تغلق نفسها حتى يغلق جميع أطفالها. وبهذه الطريقة يمكننا التأكد من أن عملية إيقاف التشغيل تعمل كما هو متوقع على سبيل المثال، أن يتم دفع الرسائل الصادرة المعلقة إلى الشبكة قبل إنهاء عملية الإرسال. تقريبا، هناك نوعان من الكائنات غير المتزامنة هناك كائنات غير متضمنة في تمرير الرسالة وهناك عناصر هي. الأول يجب أن تفعل أساسا مع إدارة الاتصال. على سبيل المثال، يستمع كائن مستمع تكب لاتصالات تكب واردة وينشئ كائن إنزيسيونسيون لكل اتصال جديد. وبالمثل، يحاول كائن موصل تكب الاتصال بنظير تكب وعندما ينجح فإنه ينشئ كائن إنجينسيسيون لإدارة الاتصال. عند فشل هذا الاتصال، يحاول كائن الموصل إعادة تأسيسه. هذه الأخيرة هي الكائنات التي تعالج نقل البيانات نفسها. وتتكون هذه الكائنات من جزأين: كائن جلسة هو المسؤول عن التفاعل مع مقبس أوسلاشمق، وكائن المحرك هو المسؤول عن التواصل مع الشبكة. ثيريس نوع واحد فقط من كائن جلسة، ولكن ثيريس نوع محرك مختلف لكل بروتوكول الأساسي أوسلاشمق يدعم. Thus, we have TCP engines, IPC (inter-process communication) engines, PGM engines (a reliable multicast protocol, see RFC 3208), etc. The set of engines is extensiblemdashin the future we may choose to implement, say, a WebSocket engine or an SCTP engine. The sessions are exchanging messages with the sockets. There are two directions to pass messages in and each direction is handled by a pipe object. Each pipe is basically a lock-free queue optimized for fast passing of messages between threads. Finally, theres a context object (discussed in the previous sections but not shown on the diagram) that holds the global state and is accessible by all the sockets and all the asynchronous objects. 24.8. Concurrency Model One of the requirements for OslashMQ was to take advantage of multi-core boxes in other words, to scale the throughput linearly with the number of available CPU cores. Our previous experience with messaging systems showed that using multiple threads in a classic way (critical sections, semaphores, etc.) doesnt yield much performance improvement. In fact, a multi-threaded version of a messaging system can be slower than a single-threaded one, even if measured on a multi-core box. Individual threads are simply spending too much time waiting for each other while, at the same time, eliciting a lot of context switching that slows the system down. Given these problems, weve decided to go for a different model. The goal was to avoid locking entirely and let each thread run at full speed. The communication between threads was to be provided via asynchronous messages (events) passed between the threads. This, as insiders know, is the classic actor model . The idea was to launch one worker thread per CPU coremdashhaving two threads sharing the same core would only mean a lot of context switching for no particular advantage. Each internal OslashMQ object, such as say, a TCP engine, would be tightly bound to a particular worker thread. That, in turn, means that theres no need for critical sections, mutexes, semaphores and the like. Additionally, these OslashMQ objects wont be migrated between CPU cores so would thus avoid the negative performance impact of cache pollution (Figure 24.7 ). This design makes a lot of traditional multi-threading problems disappear. Nevertheless, theres a need to share the worker thread among many objects, which in turn means there has to be some kind of cooperative multitasking. This means we need a scheduler objects need to be event-driven rather than being in control of the entire event loop we have to take care of arbitrary sequences of events, even very rare ones we have to make sure that no object holds the CPU for too long etc. In short, the whole system has to become fully asynchronous. No object can afford to do a blocking operation, because it would not only block itself but also all the other objects sharing the same worker thread. All objects have to become, whether explicitly or implicitly, state machines. With hundreds or thousands of state machines running in parallel you have to take care of all the possible interactions between them andmdashmost importantlymdashof the shutdown process. It turns out that shutting down a fully asynchronous system in a clean way is a dauntingly complex task. Trying to shut down a thousand moving parts, some of them working, some idle, some in the process of being initiated, some of them already shutting down by themselves, is prone to all kinds of race conditions, resource leaks and similar. The shutdown subsystem is definitely the most complex part of OslashMQ. A quick check of the bug tracker indicates that some 30--50 of reported bugs are related to shutdown in one way or another. Lesson learned: When striving for extreme performance and scalability, consider the actor model its almost the only game in town in such cases. However, if you are not using a specialised system like Erlang or OslashMQ itself, youll have to write and debug a lot of infrastructure by hand. Additionally, think, from the very beginning, about the procedure to shut down the system. Its going to be the most complex part of the codebase and if you have no clear idea how to implement it, you should probably reconsider using the actor model in the first place. 24.9. Lock-Free Algorithms Lock-free algorithms have been in vogue lately. They are simple mechanisms for inter-thread communication that dont rely on the kernel-provided synchronisation primitives, such as mutexes or semaphores rather, they do the synchronisation using atomic CPU operations, such as atomic compare-and-swap (CAS). It should be understood that they are not literally lock-freemdashinstead, locking is done behind the scenes on the hardware level. OslashMQ uses a lock-free queue in pipe objects to pass messages between the users threads and OslashMQs worker threads. There are two interesting aspects to how OslashMQ uses the lock-free queue. First, each queue has exactly one writer thread and exactly one reader thread. If theres a need for 1-to - N communication, multiple queues are created (Figure 24.8 ). Given that this way the queue doesnt have to take care of synchronising the writers (theres only one writer) or readers (theres only one reader) it can be implemented in an extra-efficient way. Second, we realised that while lock-free algorithms were more efficient than classic mutex-based algorithms, atomic CPU operations are still rather expensive (especially when theres contention between CPU cores) and doing an atomic operation for each message written andor each message read was slower than we were willing to accept. The way to speed it upmdashonce againmdashwas batching. Imagine you had 10 messages to be written to the queue. It can happen, for example, when you received a network packet containing 10 small messages. Receiving a packet is an atomic event you cannot get half of it. This atomic event results in the need to write 10 messages to the lock-free queue. Theres not much point in doing an atomic operation for each message. Instead, you can accumulate the messages in a pre-write portion of the queue thats accessed solely by the writer thread, and then flush it using a single atomic operation. The same applies to reading from the queue. Imagine the 10 messages above were already flushed to the queue. The reader thread can extract each message from the queue using an atomic operation. However, its overkill instead, it can move all the pending messages to a pre-read portion of the queue using a single atomic operation. Afterwards, it can retrieve the messages from the pre-read buffer one by one. Pre-read is owned and accessed solely by the reader thread and thus no synchronisation whatsoever is needed in that phase. The arrow on the left of Figure 24.9 shows how the pre-write buffer can be flushed to the queue simply by modifying a single pointer. The arrow on the right shows how the whole content of the queue can be shifted to the pre-read by doing nothing but modifying another pointer. Lesson learned: Lock-free algorithms are hard to invent, troublesome to implement and almost impossible to debug. If at all possible, use an existing proven algorithm rather than inventing your own. When extreme performance is required, dont rely solely on lock-free algorithms. While they are fast, the performance can be significantly improved by doing smart batching on top of them. 24.10. API The user interface is the most important part of any product. Its the only part of your program visible to the outside world and if you get it wrong the world will hate you. In end-user products its either the GUI or the command line interface. In libraries its the API. In early versions of OslashMQ the API was based on AMQPs model of exchanges and queues. (See the AMQP specification .) From a historical perspective its interesting to have a look at the white paper from 2007 that tries to reconcile AMQP with a brokerless model of messaging. I spent the end of 2009 rewriting it almost from scratch to use the BSD Socket API instead. That was the turning point OslashMQ adoption soared from that point on. While before it was a niche product used by a bunch of messaging experts, afterwards it became a handy commonplace tool for anybody. In a year or so the size of the community increased tenfold, some 20 bindings to different languages were implemented, etc. The user interface defines the perception of a product. With basically no change to the functionalitymdashjust by changing the APImdashOslashMQ changed from an enterprise messaging product to a networking product. In other words, the perception changed from a complex piece of infrastructure for big banks to hey, this helps me to send my 10-byte-long message from application A to application B. Lesson learned: Understand what you want your project to be and design the user interface accordingly. Having a user interface that doesnt align with the vision of the project is a 100 guaranteed way to fail. One of the important aspects of the move to the BSD Sockets API was that it wasnt a revolutionary freshly invented API, but an existing and well-known one. Actually, the BSD Sockets API is one of the oldest APIs still in active use today it dates back to 1983 and 4.2BSD Unix. Its been widely used and stable for literally decades. The above fact brings a lot of advantages. Firstly, its an API that everybody knows, so the learning curve is ludicrously flat. Even if youve never heard of OslashMQ, you can build your first application in couple of minutes thanks to the fact that you are able to reuse your BSD Sockets knowledge. Secondly, using a widely implemented API enables integration of OslashMQ with existing technologies. For example, exposing OslashMQ objects as sockets or file descriptors allows for processing TCP, UDP, pipe, file and OslashMQ events in the same event loop. Another example: the experimental project to bring OslashMQ-like functionality to the Linux kernel turned out to be pretty simple to implement. By sharing the same conceptual framework it can re-use a lot of infrastructure already in place. Thirdly and probably most importantly, the fact that the BSD Sockets API survived almost three decades despite numerous attempts to replace it means that there is something inherently right in the design. BSD Sockets API designers havemdashwhether deliberately or by chancemdashmade the right design decisions. By adopting the API we can automatically share those design decisions without even knowing what they were and what problem they were solving. Lesson learned: While code reuse has been promoted from time immemorial and pattern reuse joined in later on, its important to think of reuse in an even more generic way. When designing a product, have a look at similar products. Check which have failed and which have succeeded learn from the successful projects. Dont succumb to Not Invented Here syndrome. Reuse the ideas, the APIs, the conceptual frameworks, whatever you find appropriate. By doing so you are allowing users to reuse their existing knowledge. At the same time you may be avoiding technical pitfalls you are not even aware of at the moment. 24.11. Messaging Patterns In any messaging system, the most important design problem is that of how to provide a way for the user to specify which messages are routed to which destinations. There are two main approaches, and I believe this dichotomy is quite generic and applicable to basically any problem encountered in the domain of software. One approach is to adopt the Unix philosophy of do one thing and do it well. What this means is that the problem domain should be artificially restricted to a small and well-understood area. The program should then solve this restricted problem in a correct and exhaustive way. An example of such approach in the messaging area is MQTT. Its a protocol for distributing messages to a set of consumers. It cant be used for anything else (say for RPC) but it is easy to use and does message distribution well. The other approach is to focus on generality and provide a powerful and highly configurable system. AMQP is an example of such a system. Its model of queues and exchanges provides the user with the means to programmatically define almost any routing algorithm they can think of. The trade-off, of course, is a lot of options to take care of. OslashMQ opts for the former model because it allows the resulting product to be used by basically anyone, while the generic model requires messaging experts to use it. To demonstrate the point, lets have a look how the model affects the complexity of the API. What follows is implementation of RPC client on top of a generic system (AMQP): On the other hand, OslashMQ splits the messaging landscape into so-called messaging patterns. Examples of the patterns are publishsubscribe, requestreply or parallelised pipeline. Each messaging pattern is completely orthogonal to other patterns and can be thought of as a separate tool. What follows is the re-implementation of the above application using OslashMQs requestreply pattern. Note how all the option tweaking is reduced to the single step of choosing the right messaging pattern ( REQ ): Up to this point weve argued that specific solutions are better than generic solutions. We want our solution to be as specific as possible. However, at the same time we want to provide our customers with as wide a range of functionality as possible. How can we solve this apparent contradiction The answer consists of two steps: Define a layer of the stack to deal with a particular problem area (e. g. transport, routing, presentation, etc.). Provide multiple implementations of the layer. There should be a separate non-intersecting implementation for each use case. Lets have a look at the example of the transport layer in the Internet stack. Its meant to provide services such as transferring data streams, applying flow control, providing reliability, etc. on the top of the network layer (IP). It does so by defining multiple non-intersecting solutions: TCP for connection-oriented reliable stream transfer, UDP for connectionless unreliable packet transfer, SCTP for transfer of multiple streams, DCCP for unreliable connections and so on. Note that each implementation is completely orthogonal: a UDP endpoint cannot speak to a TCP endpoint. Neither can a SCTP endpoint speak to a DCCP endpoint. It means that new implementations can be added to the stack at any moment without affecting the existing portions of the stack. Conversely, failed implementations can be forgotten and discarded without compromising the viability of the transport layer as a whole. The same principle applies to messaging patterns as defined by OslashMQ. Messaging patterns form a layer (the so-called scalability layer) on top of the transport layer (TCP and friends). Individual messaging patterns are implementations of this layer. They are strictly orthogonalmdashthe publishsubscribe endpoint cant speak to the requestreply endpoint, etc. Strict separation between the patterns in turn means that new patterns can be added as needed and that failed experiments with new patterns wont hurt the existing patterns. Lesson learned: When solving a complex and multi-faceted problem it may turn out that a monolithic general-purpose solution may not be the best way to go. Instead, we can think of the problem area as an abstract layer and provide multiple implementations of this layer, each focused on a specific well-defined use case. When doing so, delineate the use case carefully. Be sure about what is in the scope and what is not. By restricting the use case too aggressively the application of your software may be limited. If you define the problem too broadly, however, the product may become too complex, blurry and confusing for the users. 24.12. Conclusion As our world becomes populated with lots of small computers connected via the Internetmdashmobile phones, RFID readers, tablets and laptops, GPS devices, etc. mdashthe problem of distributed computing ceases to be the domain of academic science and becomes a common everyday problem for every developer to tackle. The solutions, unfortunately, are mostly domain-specific hacks. This article summarises our experience with building a large-scale distributed system in a systematic manner. It focuses on problems that are interesting from a software architecture point of view, and we hope that designers and programmers in the open source community will find it useful. Back to top Back to The Architecture of Open Source Applications .