Table of Contents

نشرنا أسطول GPU محليًا يخصص الموارد لكل طلب، وصممنا مستوى تحكم هجينًا له. يبدأ المسار المتحقق منه في LiteLLM، ثم يختار مجموعة نماذج ويحمّل نموذجًا محليًا على GPU واحد في كل مرة. سياسة مستويات Hermes مقترحة، كما أن عنصر إعداد Tailscale Aperture جاهز لاختبار التكامل التالي. لم يُتحقق من أي منهما بوصفه جزءًا من مسار متكامل من البداية إلى النهاية.

تُعدّن البطاقات الخاملة Pearl. يوقف طلب الذكاء الاصطناعي التعدين على البطاقة المستأجرة وحدها، ويعالج الطلب، ويفرغ النموذج، ثم يعيد البطاقة إلى برنامج التعدين.

أهم النقاط

  • تتولى المستويات T0 إلى T2 الأعمال المكلفة أو الصعبة. تفضّل هذه المسارات النماذج السحابية المتقدمة وسلاسل الرجوع المرتبة.
  • يتولى T3 الأعمال المحلية الكبيرة. يوزع الأسطول التخطيط والبرمجة والمراجعة والرؤية على نماذج من 4B إلى 12B.
  • يتولى T4 الأعمال المحلية كثيرة التكرار. توجه النماذج الصغيرة الطلبات وتصنف البيانات وتستخرجها وتنتج التضمينات وتنجز مهام برمجية محدودة.
  • كل GPU مورد مستقل. تخدم بطاقة واحدة مهام الذكاء الاصطناعي بينما تواصل البطاقات الأخرى التعدين.
  • تبقى النماذج المحلية غير محمّلة وقت الخمول. لا يحتفظ أي نموذج بذاكرة GPU بين فترات الطلبات.
  • تعرض كل بوابة الكتالوج المنطقي نفسه. توزع الأسماء المستعارة المشتركة العمل على الأنظمة المؤهلة. وتحافظ الأسماء التي تبدأ باسم عقدة على موضع محدد عند الحاجة.
  • لم يدخل الوسيط التجريبي مرحلة الإنتاج. خدم اختباره المحدود طلبًا، ثم أخفق في اختبار الإيقاف السليم. ظل LiteLLM على المسار المتحقق منه لكل طلب.
  • ما زال Hermes وAperture في مرحلة الإعداد. التصميم المستهدف قائم، لكن اختبار القبول الشامل لم يكتمل.

المتطلبات المسبقة: عدة مضيفات Linux مزودة بوحدات GPU، وبرامج تشغيل NVIDIA مستقرة، وشبكة Tailscale خاصة، وsystemd، وبرنامج تعدين عامل، وتخزين للنماذج، واختبارات قبول لكل مسار نموذج.

الوقت والصعوبة: متقدم. خصص عدة أيام لجرد الأجهزة، وتنزيل النماذج، وتعريف الخدمات، واختبارات التوجيه، وتدريبات الأعطال، وفحوص استعادة التعدين لكل بطاقة.

مصطلحات مستخدمة أدناه: شبكة Tailscale الخاصة هي الشبكة الخاصة التي تشكلها هويات وأجهزة Tailscale. الاسم المستعار للنموذج اسم ثابت للنموذج يظهر للعملاء. مجموعة النماذج تضع عدة عمليات نشر خلف اسم مستعار واحد. وسيط المجموعة خدمة محلية صغيرة تستأجر GPU، وتشغّل عامل النموذج، ثم تعيد البطاقة إلى التعدين.

هدف التصميم

تأتي أعمال الوكلاء بأشكال متعددة. يحتاج إصلاح مستودع برمجي إلى نموذج يختلف عن النموذج المناسب لعنوان أو لقطة شاشة أو تضمين أو وسم للنية. إرسال كل دور إلى أكبر نموذج يهدر المال والسعة المحلية. وإرسال كل دور إلى أصغر نموذج يسبب إعادة المحاولة ويضعف النتائج.

أردنا كتالوجًا واحدًا بخمسة مستويات لأحمال العمل. كان على السياسة تقديم النماذج السحابية والمحلية عبر صيغ API مألوفة. كما أردنا إبقاء وحدات GPU المحلية منتجة بين طلبات الذكاء الاصطناعي.

احتاج الأسطول أيضًا إلى العمل المتزامن. ينبغي للمضيف ذي البطاقات المتعددة أن يخدم عدة مهام مستقلة في الوقت نفسه. ويجب ألا يوقف طلب على بطاقة واحدة التعدين على جميع بطاقات الهيكل.

مخطط معماري مجهول الهوية يفصل توجيه Hermes المقترح وAperture قيد الإعداد عن بوابات LiteLLM المتحقق منها وعمال GPU المحليين

يقع مسار التحكم المقترح وقيد الإعداد فوق مسار التنفيذ المتحقق منه في LiteLLM وعلى مستوى كل GPU

يستخدم المخطط أسماء عقد عامة. ولا يعرض العناوين الخاصة أو هويات المستخدمين أو مفاتيح الوصول أو بيانات المحافظ أو تسميات المضيفات الفعلية.

معنى المستويات T0 إلى T4

أسماء المستويات جزء من سياسة التوجيه لدينا. وهي ليست معيارًا في القطاع ولا تصف حجم النموذج وحده.

المستوىالدور الأساسيالوجهة المعتادةالتصرف عند الفشل
T0المنسق الافتراضي وأصعب القراراتنموذج استدلال سحابي متقدمسلسلة رجوع سحابية مرتبة
T1وكلاء عاملون ذوو قيمة عاليةمجموعة نماذج سحابية عالية القدرةإعادة المحاولة ضمن السلسلة المحددة
T2مجموعة عامة من العمالنماذج سحابية سريعة مع إمكانية التصعيدتصعيد المهام الصعبة إلى T1 أو T0
T3أعمال محلية خاصة كبيرةنماذج دردشة وبرمجة ومراجعة ورؤية محلية من 4B إلى 12Bإعادة المحاولة على عقدة محلية مؤهلة، ثم الرفض الآمن للبيانات المقيدة
T4أعمال محلية ضيقة النطاق ومتكررةنماذج محلية للتوجيه والتصنيف والبرمجة والتضمين من 0.6B إلى 3Bإعادة المحاولة على نسخة محلية أو الانتقال إلى T3 ضمن حدود البيانات نفسها

تصف المستويات المهمة قبل النموذج. يناسب T4 تصنيفًا أمنيًا قصيرًا وحساسًا. وتناسب T3 أو مستوى أعلى خطة طويلة لمستودع برمجي. أما القرار المعماري الصعب فيبدأ بمستوى أعلى حتى لو كان طلبه قصيرًا.

يغير هذا التقسيم أيضًا اقتصاديات الوكلاء. تتولى وحدات T4 التحويلات المتكررة منخفضة المخاطر. وتحفظ وحدات T3 الأعمال البرمجية والتحليلات الشائعة داخل شبكة Tailscale الخاصة. وتظل T0 إلى T2 متاحة للأعمال الصعبة والتعافي من الأعطال.

يجب أن يسبق فحص فئة البيانات كل رجوع إلى نموذج مستضاف. تحصل الأعمال العامة والداخلية والمقيدة على سلاسل منفصلة. وتبقى الأعمال المقيدة محلية، مع الرفض الآمن عند الفشل. تتطلب إعادة المحاولة العابرة لحدود البيانات إدخالًا منقحًا وموافقة صريحة من المستخدم أو سير العمل. ويحذف التنقيح بيانات الاعتماد وأسرار المستودع ومخرجات الأدوات الخاصة ومحتوى الاسترجاع الحساس قبل أي اتصال مستضاف.

كيف سيتولى Hermes سياسة المهام

Hermes هو طبقة الوكلاء المقترحة. تعيّن السياسة المستهدفة فئة نموذج، وتشغّل الأدوات، وتفوّض العمل، وتتبع سلاسل رجوع صريحة. يوثق Hermes مسارات منفصلة للنموذج الأساسي والمهام المساعدة والوكلاء المفوضين وعمليات الرجوع الخاصة بالمهمة. كما يدعم نقاط نهاية مخصصة متوافقة مع OpenAI عبر عنوان URL أساسي. راجع دليل إعداد Hermes و دليل مزودي الرجوع .

تربط سياستنا مهام Hermes بأسماء مستعارة ثابتة بدلًا من الخوادم الفعلية. ومن أمثلتها:

t3-smart
t3-code
t3-review
t3-vision
t4-code
t4-classify
t4-router
t4-embedding

يعبر الاسم المستعار عن الغرض. ولا يحتاج Hermes إلى معرفة وحدة GPU المتاحة أو العقدة ذات البطاقة الأكبر أو النسخة التي أخفقت في فحص السلامة. تتولى الطبقات الأدنى هذه القرارات.

ما زالت بعض الأعمال تحتاج إلى تحديد موقع حتمي. يرسل معرّف نموذج يبدأ باسم عقدة تشخيصًا تشغيليًا أو اختبارًا معياريًا إلى نظام محدد. وينبغي أن تقصر أذونات Aperture المنفصلة هذه الأسماء المستعارة على المشغلين. تستخدم حركة الوكلاء المعتادة أسماء مستويات مشتركة.

الوصول إلى النماذج لا يؤمّن أدوات الوكلاء. يحتاج طرح Hermes إلى قوائم سماح للأدوات وفق أقل الصلاحيات، ومساحات عمل معزولة، وبيانات اعتماد محدودة النطاق، وضوابط لاتصالات الشبكة الصادرة، ومعالجة حقن الموجهات. وينبغي ألا يرث العمال المفوضون صلاحيات تتجاوز حاجة المهمة المسندة إليهم.

Aperture حد الهوية قيد الإعداد

يربط Tailscale البوابة المضبوطة ومضيفات الاستدلال من دون نشر كل خدمة على الإنترنت العام. يجري إعداد Aperture ليكون الحد الموجه للمستخدم وموجه النماذج. وما زال هذا المسار يحتاج إلى اختبار قبول شامل. توثق Tailscale وصول العملاء المشفر عبر الشبكة الخاصة وتمرير الطلبات إلى المزود عبر TLS في طريقة عمل Aperture .

يفصل Aperture أيضًا بين إمكانية الوصول والإذن. تكون أذوناته رافضة افتراضيًا. ويحتاج المستخدم أو الجهاز المصنف إلى إذن نموذج مطابق بعد الوصول إلى البوابة. يشرح دليل أذونات Aperture نموذج الأذونات التراكمي ومصادر الهوية.

ينبغي أن يتبع إعداد Aperture قيد التجهيز أربع قواعد قبل النشر:

  1. تملك هوية مسماة واحدة دور المسؤول. لا تمنح صلاحية الوصول العام إلى النماذج صلاحية الإدارة.
  2. تسرد المزودات معرّفات النماذج حرفيًا. لا يستنتج Aperture النماذج من خدمة upstream.
  3. تشير عناوين URL للمزودات إلى عناوين الشبكة الخاصة. تبقى أسماء العقد الخاصة وعناوينها خارج المقال وأمثلة الإعداد العامة.
  4. تبقى الأسرار في ملفات تملكها الخدمة. طبّق أذونات للمالك وحده، وحسابات خدمة مقيدة، وتدويرًا للأسرار، وتنقيحًا للسجلات قبل النشر. يجب ألا تطبع مخرجات التشخيص مفاتيح LiteLLM أو عناوين الشبكة الخاصة أو رموز الاشتراك أو بيانات المحافظ.

يضيف Aperture مسار الطلب الوارد إلى عنوان URL الأساسي لكل مزود. ويحذر مرجع الإعداد من وضع لاحقة /v1 مكررة في جذر المزود. تسبب هذا التفصيل بمخاطر تكامل كافية لإضافة فحص تحقق صريح.

أُعد مسار الرؤية للعمل عبر تنسيق OpenAI Chat Completions مع محتوى الصور. وتستخدم التضمينات نقطة نهاية LiteLLM الخاصة مباشرة، لأن مصفوفة مزودات Aperture المستضافة ذاتيًا توثق تنسيقات الدردشة، بينما يعتمد مسار التضمين لدينا على نقاط نهاية LiteLLM وllama.cpp خارج محدد الدردشة. راجع مرجع المزودات والعملاء المدعومين .

يحتاج مسار التضمين المباشر إلى حد تفويض خاص به. ينبغي أن يقيد الوصول بهويات أو وسوم خدمة معتمدة كل من مصادقة LiteLLM وأذونات Tailscale الصارمة وربط الخدمة بواجهة الشبكة الخاصة وقواعد جدار الحماية للمضيف. العنوان الخاص وحده لا يشكل سياسة تفويض.

مخطط توجيه مجهول الهوية يفصل العمل المستضاف المعتمد عن الطلبات المقيدة الموجهة إلى عمال GPU المحليين

تحدد الهوية والأذونات وتصنيف البيانات ما إذا كان الطلب سيغادر الأسطول الخاص

يقدم LiteLLM كتالوجًا واحدًا

تشغّل كل عقدة استدلال بوابة LiteLLM. وتعرض كل بوابة كتالوج النماذج المنطقي نفسه حتى عندما يكون النموذج على عقدة أخرى. ويحتفظ العميل بصيغة API واحدة ومجموعة أسماء مستعارة واحدة.

يجمع LiteLLM عدة عمليات نشر تحت اسم نموذج واحد. ثم يختار الموجه عملية نشر مؤهلة ويطبق إعادة المحاولات والمهل وفترات التهدئة أو الرجوع. توضح وثائق توجيه LiteLLM الحالية أسماء النماذج المشتركة واستراتيجيات التوجيه وسلوك إعادة المحاولة.

يضم الكتالوج طريقتين للعناوين:

طريقة العنوانالمثالالاستخدام
اسم مستعار مشتركt4-classifyتوزيع العمل المعتاد على العقد المؤهلة
اسم مستعار للعقدةnode-b/qwen-smallإجراء التشخيص أو الحفاظ على الموقع المحدد

توفر الأسماء المستعارة المشتركة توسعًا أفقيًا من دون تغيير Hermes. تؤدي إضافة نسخة مؤهلة إلى توسيع مجموعة النماذج. ويؤدي حذف نسخة غير سليمة إلى تضييق المجموعة.

نبقي منطق دورة حياة GPU أسفل LiteLLM. تظل البوابة دافئة لأن بصمتها الذاكرية لا تحجز ذاكرة GPU. يستقبل وسيط مجموعة محلي طلب النموذج المختار، ويستأجر بطاقة، ويبدأ العامل، ثم ينهيه بعد الرد.

كتالوج النماذج المحلية

يفضل الأسطول النماذج التي لا تتجاوز 12B معلمة. يناسب هذا الحد ذاكرة البطاقات المتاحة مع ترك مساحة للسياق ومخازن وقت التشغيل.

ترميز النماذج: يرمز B إلى مليارات المعلمات. ويرمز K إلى آلاف رموز السياق المضبوطة. التكميم يخزن أوزان النموذج بدقة رقمية أقل لتقليل استهلاك الذاكرة. ويحتفظ مخبأ KV بحالة الانتباه للسياق النشط وينمو مع طول الموجه. E4B تسمية Google للنسخة الأصغر من Gemma 4.

مسار المستوىفئة النموذجالسياق المضبوطالمهمة الأساسيةالموقع
T3 الذكيQwen3.5 9B، مكمّم64Kالتخطيط المحلي الصعب وعمل الوكلاء العامعقد GPU ذات ذاكرة أكبر
T3 للبرمجةGranite 4.2 8B، مكمّم64Kأعمال المستودعات والأدوات والمهام الطرفية والمخرجات المنظمةعقد GPU ذات ذاكرة أكبر
T3 للمراجعةGemma 4 12B، مكمّم32Kمراجعة مستقلة واستدلال بديلعقد GPU ذات ذاكرة أكبر
T3 العام والرؤيةQwen3.5 4B، مكمّم32Kأعمال عامة موسعة وفهم الصوركل وحدات GPU المتوافقة
T3 للمراجعة البديلةGemma 4 E4B، مكمّم8Kمسار مراجعة متنوعكل وحدات GPU المتوافقة
T4 للبرمجةGranite 4.2 3B، مكمّم16Kتعديلات صغيرة واستدعاء الأدوات ومخرجات منظمةكل وحدات GPU المتوافقة
T4 للتصنيفQwen3.5 2B، مكمّم16Kالتصنيف والاستخراج وإعادة الصياغةكل وحدات GPU المتوافقة
T4 للتوجيهQwen3.5 0.8B، تكميم عالي الدقة16Kالنية والتسميات والعناوين والتحويلات القصيرةكل وحدات GPU المتوافقة
T4 للتضمينQwen3 Embedding 0.6B، مكمّم32Kذاكرة الوكلاء وRAG واسترجاع الشيفرة والتجميعكل وحدات GPU المتوافقة

هذه القيم للسياق إعدادات للنشر وليست حدود النماذج المعلنة. تستهلك النافذة المعلنة الأكبر مخبأ KV وذاكرة وقت التشغيل أيضًا. اخترنا قيمًا أقل لتوفير خدمة مستقرة على بطاقة واحدة.

تصف Qwen مجموعة Qwen3.5 بأنها متعددة الوسائط وتنشر نسخًا كثيفة صغيرة وأكبر ضمن مجموعة Qwen3.5 . وتنشر IBM نتائج البرمجة الوكيلة والسياق الطويل لـ Granite 4.2 8B . وتشير Google إلى أن Gemma 4 يدعم المدخلات متعددة الوسائط واستدعاء الدوال ونافذة معلنة أكبر.

يستخدم مسار التضمين نموذجًا منفصلًا بدل طلب المتجهات من نموذج دردشة. تذكر بطاقة نموذج Qwen3 Embedding 0.6B تسلسلًا بطول 32K، واسترجاعًا متعدد اللغات واسترجاع الشيفرة، وأبعاد إخراج تصل إلى 1,024.

مخطط مجهول الهوية لمواقع النماذج، يوضح وضع نماذج T3 الأكبر على العقد ذات الذاكرة الكبيرة وتكرار نماذج T3 وT4 على العقد متعددة وحدات GPU

تبقى النماذج المتخصصة الأكبر على البطاقات ذات الذاكرة الكبيرة، بينما تتكرر النماذج الأصغر عبر الأسطول

لماذا يشغّل llama.cpp الإنتاج

يناسب llama.cpp نموذج الموارد. يقابل كل عامل ثابت GPU واحدًا وملف نموذج واحدًا وسياقًا مضبوطًا واحدًا وإيجارًا واحدًا. وتسهل حدود العملية تدقيق بدء التشغيل والإيقاف ورؤية GPU والسجلات.

يعرض خادمه واجهات دردشة وردود وتضمينات متوافقة مع OpenAI. كما يدعم فك الترميز المتوازي والتجميع المستمر. وتصف وثائق الخادم الحالية دعم الوسائط المتعددة بأنه تجريبي. ترد هذه الميزات في وثائق خادم llama.cpp .

يبقى Ollama متاحًا كمسار توافق على عقدة أكبر. يدعم Ollama تحميل عدة نماذج بالتزامن عندما تكفي الذاكرة، والتفريغ الفوري عبر keep_alive: 0، كما توضح الأسئلة الشائعة لـ Ollama . لم نختر Ollama لمسار الإنتاج لكل بطاقة لأن عمال llama.cpp الثابتين منحونا تحكمًا أدق بالموقع والإيقاف.

راجعنا Strata أيضًا. يستهدف Strata نموذج Qwen كبيرًا بمزيج الخبراء موزعًا بين ذاكرة GPU وذاكرة RAM للنظام والتخزين. تبدأ الإعدادات المسبقة المنشورة بذاكرة إجمالية قدرها 32 GB، بينما يبادل وضع الذاكرة المنخفضة السرعة بسعة أقل. راجع مستودع Strata . يناسب Strata هدفًا مختلفًا: نموذج هجين أكبر عبر بطاقة واحدة أو عدة بطاقات. يفضل أسطولنا تشغيل عدد كبير من العمال المستقلين دون 12B.

التحميل الكسول لكل GPU

ينطبق التحميل الكسول على كل عامل نموذج. ولا يبقي النظام نشطًا بين الطلبات إلا البوابات ووسطاء المجموعات ومراقبات السلامة وبرنامج التعدين.

مخطط تدفق مجهول الهوية يوضح انتقال GPU من تعدين Pearl إلى إيجار ذكاء اصطناعي وخدمة النموذج ثم تفريغه واستعادة التعدين

تغادر البطاقة المستأجرة وحدها برنامج التعدين، ثم تعود بعد انتهاء عملية النموذج

تتبع دورة حياة الطلب هذه الخطوات:

  1. يختار LiteLLM عملية نشر. يصل الطلب إلى وسيط المجموعة الخاص بفئة النموذج المختارة.
  2. تحصل المجموعة على إيجار. يمنع قفلٌ عاملين حصريين من استخدام البطاقة نفسها.
  3. يعيد برنامج التعدين التشغيل من دون GPU واحدة. تبقى كل بطاقة غير مستأجرة ضمن أمر Pearl.
  4. يبدأ llama.cpp على الجهاز المستأجر. تكتمل فحوص الجاهزية قبل تمرير الوسيط للطلب.
  5. يعالج العامل الرد. تبدأ الطلبات المتزامنة عمالًا على بطاقات أخرى متاحة.
  6. ينتهي العامل. تحذف المجموعة الإيجار بعد انتهاء العملية.
  7. يعيد برنامج التعدين التشغيل مع GPU المحررة. تؤكد فحوص السلامة عودة البطاقة إلى التعدين.

يختلف هذا عن تبديل المضيف كله أو لا شيء. يخدم هيكل متعدد البطاقات عدة نماذج بينما تواصل البطاقات المتبقية التعدين. وعندما يخلو الأسطول، تعيد كل وحدة GPU سليمة إلى Pearl.

يصف الكتاب الأبيض لـ Pearl نظام إثباته القائم على حساب المصفوفات. لا تعتمد بنيتنا على توقع للربحية أو ادعاء بعائد اقتصادي. التعدين هو حمل العمل المضبوط وقت الخمول.

معالجة الأعطال أهم من بدء التشغيل

بدء النموذج نصف دورة الحياة فقط. فالإيقاف القسري واختفاء وحدات GPU وانقطاع الطلبات والإيجارات القديمة وإعادة تشغيل برنامج التعدين تحتاج إلى معالجة صريحة.

تقارن مراقبة السلامة مجموعة وحدات GPU المضبوطة بقائمة أجهزة NVIDIA الحية. يؤدي تأكيد اختفاء وحدة GPU إلى إعادة تشغيل واحدة كاملة للنظام مع ضوابط حماية. ينبغي أن يتطلب مشغل الإنتاج الآمن فحوصًا فاشلة متكررة وفترة تهدئة وإنهاء المهام النشطة وعدادًا دائمًا لإعادة التشغيل وتنبيهًا عن بعد. وينبغي أن يوقف فشل استعادة واحد الأتمتة ويتطلب تدخلًا يدويًا.

تطابق مراقبة السلامة نفسها الإيجارات القديمة. إذا لم يملك أي عامل إيجارًا، تحذف المطابقة السجل القديم وتعيد GPU إلى برنامج التعدين. كان مسار الاستعادة هذا مهمًا أثناء الاختبار المحدود للوسيط.

العطلالاستجابة
يفشل النموذج في فحص الجاهزيةإيقاف العامل، وتحرير الإيجار، واستعادة التعدين، وإرجاع خطأ
ينتهي الطلب على نحو غير متوقعوضع حد زمني للتنظيف، وإنهاء شجرة عمليات العامل، ومطابقة الإيجار
تختفي GPUتأكيد تكرار الاختفاء، وإنهاء الأعمال النشطة، وتنفيذ إعادة تشغيل محمية واحدة، وإرسال تنبيه، ثم التحقق من مجموعة وحدات GPU المضبوطة كاملة
يغفل برنامج التعدين بطاقة خاملةإعادة بناء قائمة الأجهزة من الإيجارات النشطة وإعادة تشغيل برنامج التعدين
يفشل نشر LiteLLMإعادة المحاولة على نسخة أخرى في مجموعة النموذج نفسها، ثم اتباع سياسة الرجوع
يمنع إذن Aperture أحد المساراتإصلاح الهوية أو إذن النموذج، وعدم تجاوز سياسة البوابة مطلقًا
مخطط مجهول الهوية للاستعادة من تعطل العامل والإيجارات القديمة وغياب GPU وإعادة التشغيل المحمية وقفل المشغل

تحرر الأعطال المعتادة إيجارًا واحدًا، بينما يؤدي تأكيد فقد الجهاز إلى مسار استعادة المضيف المحمي

ما حدث مع الوسيط التجريبي

يهدف الوسيط المستقل عن الواجهة الخلفية إلى تقديم واجهة واحدة متوافقة مع OpenAI عبر Ollama وvLLM وllama.cpp وStrata. ويشمل إدارة دورة حياة كل نموذج والتفريغ وقت الخمول وتحديد موقع GPU.

اختبرنا الإصدار 0.6.0 من الوسيط عند الالتزام c12b65 في 21 أكتوبر 2026. أفادت مجموعته المحلية بمرور 1,101 اختبار وتخطي اختبارين، ولم تظهر مشكلات في Ruff. ثم حمّل الاختبار المحدود نموذجًا عند الطلب وخدم طلب دردشة ناجحًا. وواصلت وحدات GPU الأخرى التعدين أثناء الطلب.

كشف الإيقاف مشكلة خطيرة في دورة الحياة. فبعد تحميل نموذج، ظل الوسيط عالقًا في مسار الإيقاف حتى قتل systemd شجرة العمليات. وترك الإيقاف القسري إيجار GPU قديمًا إلى أن أعادت مطابقته التعدين. كما وجدنا فجوة بين إعداد GPU المطلوب الموثق وإنفاذ محول الإنتاج له.

عطّلنا الوسيط في مسار الإنتاج. يوجه LiteLLM الآن الطلبات عبر وسيط المجموعة المخصص لكل طلب. وسيبقى الوسيط تجريبيًا إلى أن تجتاز اختبارات التكامل إيقاف العمليات الفرعية ضمن مهلة، وإنهاء مجموعات العمليات، وفحوص قبول GPU المطلوبة، وتنظيف الإيجارات القديمة.

هذه نتيجة تقدم درسًا هندسيًا مفيدًا. لا يثبت تشغيل النموذج مرة واحدة الكثير عن الوسيط. تعتمد الجاهزية للإنتاج على الإيقاف النظيف والاستعادة محدودة الزمن وقبول الجهاز الحصري وتدريبات الأعطال القابلة للتكرار.

التحقق الذي أجريناه

غطى اختبار النشر ما يتجاوز رد النموذج:

  • أكمل كل نموذج دردشة مشترك دورة التحميل والرد والخروج واستعادة Pearl على مضيف مؤهل واحد على الأقل.
  • قبل مسار الدردشة مدخل صورة للرؤية.
  • أعادت التضمينات حجم المتجه المضبوط عبر مسار LiteLLM الخاص.
  • عملت نماذج متعددة في الوقت نفسه على بطاقات منفصلة.
  • بقيت البطاقات غير المستأجرة ضمن برنامج التعدين أثناء طلبات الذكاء الاصطناعي المتزامنة.
  • وجهت الأسماء المستعارة المشتركة الطلبات عبر العقد المؤهلة.
  • حافظت الأسماء التي تبدأ باسم عقدة على تحديد الموقع الحتمي.
  • عرضت كل بوابة LiteLLM الكتالوج المنطقي نفسه.
  • استعيدت GPU المفقودة بعد إعادة تشغيل كاملة للمضيف. وتحمل مراقبة السلامة الآن حماية دائمة من تكرار الحلقة.
  • تعافى فشل إيقاف الوسيط عبر مطابقة الإيجار.
  • أظهرت الحالة النهائية المستقرة عدم وجود إيجارات ذكاء اصطناعي وعودة كل GPU سليمة إلى مجموعة التعدين.

لم نعتبر فحوص السلامة وقوائم النماذج اختبارات لتحميل النماذج. يرسل اختبار القبول المفيد طلبًا حقيقيًا، ويفحص الرد، ويؤكد اختيار GPU، ويراقب الإنهاء، ويتحقق من استعادة التعدين.

استكشاف أعطال الأسطول وإصلاحها

العارضالفحص الأول
يظهر النموذج لكن تفشل الطلباتمعرّف النموذج upstream وصيغة API وترويسة المصادقة وعنوان URL الأساسي للمزود
يعيد Aperture الحالة 405تحقق من خلو جذر المزود من لاحقة /v1 مكررة
تخدم العقدة الخاطئة الطلباسم مستعار مشترك مقابل اسم يبدأ باسم العقدة
يستهدف عاملان البطاقة نفسهاقفل الإيجار وحالة الإيجار القديم ومنطق قبول GPU
يتوقف التعدين على كل بطاقةتحقق من أن رمز إعادة تشغيل برنامج التعدين يبني قائمة الأجهزة من الإيجارات النشطة
تبقى GPU خارج التعدينشجرة عمليات العامل ومطابقة الإيجارات وقائمة أجهزة برنامج التعدين
التحميل البارد بطيءحجم النموذج وسرعة التخزين وعرض وصلة PCIe وضغط معالج المضيف
تفشل الموجهات الطويلةالسياق المضبوط وحيز مخبأ KV وحجز المخرجات
مسار التضمين غير موجود في Apertureاستخدم مسار LiteLLM الموثق والمقيد بهوية Tailscale وسياسة جدار حماية المضيف
يتوقف الوسيط أثناء الإيقافعطّل مسار الوسيط وأعد الحركة إلى وسيط المجموعة المتحقق منه

قواعد تصميم تستحق الحفاظ عليها

  1. وجّه حسب غرض المهمة. حجم النموذج وحده لا يحدد المستوى.
  2. ضع السياسة فوق تحديد الموقع. يختار Hermes اسم قدرة مستعارًا. ويختار LiteLLM عملية نشر. وتختار المجموعة وحدة GPU.
  3. عامل كل GPU على أنه إيجار منفصل. يهدر التبديل على مستوى المضيف البطاقات المتاحة.
  4. أفرغ كل نموذج خامل. لا تتطلب البوابات الدافئة عمال GPU دافئين.
  5. احتفظ بمسار موقع دقيق ومقيد. تجعل أسماء العقد المخصصة للمشغلين التشخيص قابلًا للتكرار.
  6. اختبر الإنهاء أولًا. تدخل استعادة برنامج التعدين وتنظيف الإيجارات ضمن اختبارات القبول.
  7. افصل الدردشة والرؤية والتضمينات. لا تعني البوابة الواحدة مسار بروتوكول واحدًا.
  8. أبق التفاصيل الخاصة خارج المخططات. انشر الأدوار والتدفقات، لا العناوين أو المفاتيح أو الهويات أو بيانات المحافظ.
  9. أحط منطق إعادة التشغيل بضوابط. اشترط تكرار حالات الغياب وفترة تهدئة وعدادًا دائمًا وتنبيهًا وتدخلًا يدويًا بعد فشل استعادة واحد.
  10. أبق مسار تجاوز تجريبيًا. يجب ألا يسقط فشل الوسيط المسار المتحقق منه معه.

الخطوات التالية

المرحلة المقبلة هي تقييم أحمال العمل. يحتاج كل مستوى إلى مجموعة مهام ثابتة ومعايير قبول وسجلات زمن الاستجابة وإشغال GPU ومدة توقف التعدين ومعدلات التصعيد. ستبين تلك القياسات أي مهام T2 تناسب T3 وأي مهام T3 تلائم T4.

نخطط أيضًا لتشغيل أول اختبار قبول عبر Hermes ثم Aperture ثم LiteLLM، ثم إعادة اختبار الوسيط بعد إصلاح مساري الإيقاف وقبول GPU. ويتطلب توليد الصور محولًا خاصًا به متوافقًا مع OpenAI ويدعم التحميل الكسول قبل إضافته إلى كتالوج التوجيه نفسه.

لمعرفة كيفية اختيار حجم النموذج، اقرأ دليل سياق نماذج الذكاء الاصطناعي المحلية ووحدات GPU . ولحدود الخصوصية، اقرأ خصوصية الذكاء الاصطناعي المحلي وأمنه . ولإعداد التعدين ومخاطره، راجع دليل تعدين Pearl بدل اعتبار التعدين وقت الخمول ربحًا مضمونًا.