اختبارات Hermes للنماذج المحلية: تركيبات GPU والنماذج التي سأختارها

Table of Contents
لأعمال Hermes ذات السياق الطويل، سأبدأ بـ Qwen3.5 35B على بطاقتي RTX 5060 Ti بسعة 16GB لكل منهما. احتفظ المسار المختبَر بـ 239,153 رمز إدخال عبر LiteLLM واجتاز اختبارات منفصلة للأدوات والبث والرؤية والطلبات الموضوعة في قائمة الانتظار والإلغاء. ويمثل Qwen3.6 خياري عند استخدام بطاقة واحدة. أما على نظامي RTX 3060 Ti وRTX 3070 فسأبدأ بـ Qwen3.5 2B أو 4B.
تأتي هذه الخيارات من تشغيل النماذج عبر مسارات الاستدلال التي يستخدمها الوكيل. اختبرت الاحتفاظ بالمدخلات الطويلة، ودورات استخدام الأدوات، والاستجابات المتدفقة، والأسئلة عن الصور، وتحرير النموذج من الذاكرة. كما اختبرت الأوضاع وإعدادات الذاكرة التي تعتمد عليها المسارات، لأن نجاح تحميل نموذج لا يخبرنا كثيرًا عن فائدته أثناء طلب طويل من الوكيل.
يتطلب Hermes سياقًا لا يقل عن 64,000 رمز لاستخدام الوكيل مع الأدوات. واعتمدت 65,536 رمز إدخال فعليًا حدًا لتأهيل السياق الطويل. وعدد رموز الإدخال أهم من حجم السياق الذي يعلنه الخادم. ( وثائق موفري Hermes Agent )
بطاقات GPU في كل نظام
تحدد حروف الأنظمة تركيبات الأجهزة المستخدمة في النتائج.
| النظام | وحدات GPU المستخدمة في هذا الاختبار | النموذج الذي سأبدأ به |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti، سعة 16GB لكل بطاقة | Qwen3.5 35B على البطاقتين أو Qwen3.6 على بطاقة واحدة |
| B | 1 × RTX 2000E Ada، سعة 16GB | Qwen3.5 9B عندما تلائم معالجة المدخلات الطويلة التي تستغرق عدة دقائق المهمة |
| C | 1 × RTX 2000E Ada، سعة 16GB | Gemma 3 4B لمسار المدخلات الطويلة المختبَر، وQwen3.5 0.8B من دون التفكير لمهام الاسترجاع المحدودة |
| D | 1 × RTX 2000E Ada، سعة 16GB | Qwen3.5 9B أو Gemma 4 12B-IT أو GPT-OSS 20B لأحمال العمل المختبَرة بالنماذج الأكبر |
| E | 9 × GeForce RTX 3060 Ti، سعة 8GB لكل بطاقة | Qwen3.5 2B أو 4B |
| F | 8 × GeForce RTX 3060 Ti، سعة 8GB لكل بطاقة | Qwen3.5 2B أو 4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2B أو 4B |
لا يعني عدد البطاقات المركبة أن كل طلب استخدم جميع وحدات GPU. استخدمت تجارب Qwen3.5 35B وFlash Next البطاقتين في النظام A، بينما استخدم Qwen3.6 بطاقة واحدة. واستخدمت إعادة اختبار الرؤية الناجحة لـ Qwen3.5 4B في النظام E بطاقة واحدة مختارة من مجموعة من ثماني بطاقات، مع إبقاء البطاقة التاسعة مستبعدة من أعمال الذكاء الاصطناعي.
اعتبر مدد التشغيل أدناه نتائج للنموذج وبيئة التشغيل والنظام المختبَرة معًا. تقارن هذه التجارب التكوينات القابلة للاستخدام، ولا تعزل بنية GPU بوصفها سبب اختلاف السرعة.
بطاقتا RTX 5060 Ti تجعل Qwen3.5 35B خياري للسياق الطويل
حقق Qwen3.5 35B أكبر نتيجة للاحتفاظ بالمدخلات في هذه الاختبارات. احتفظ التسلسل المباشر في Ollama بـ 248,279 رمز إدخال ضمن سياق تشغيل من 262,144 رمزًا. واحتفظ طلب متدفق منفصل عبر البوابة بـ 239,153 رمز إدخال، وأعاد العلامة الافتتاحية، وانتهى طبيعيًا بعد 31 رمز إخراج خلال 148.12 ثانية.
تكتسب نتيجة البوابة أهميتها لدى Hermes لأن الطلب مر عبر الوسيط وLiteLLM. أكملت طلبات أخرى دورة استخدام أداة، وتعرّفت على صورة حمراء، وأعادت إجابتين صحيحتين عند إرسالها معًا. وضع الوسيط هذين الطلبين في قائمة انتظار. وأدى إغلاق طلب متدفق إلى تحرير الوسيط وإلغاء تحميل النموذج خلال 60.31 ثانية.
| طلب Qwen3.5 35B | رموز الإدخال | رموز الإخراج | المدة | النتيجة |
|---|---|---|---|---|
| Ollama مباشر، المرحلة التدريجية الأولى | 69,429 | 31 | 38.783 s | العلامة الافتتاحية مطابقة |
| Ollama مباشر، متابعة ببادئة مشتركة | 124,179 | 31 | 28.472 s | العلامة الافتتاحية مطابقة |
| Ollama مباشر، متابعة ببادئة مشتركة | 182,579 | 31 | 38.974 s | العلامة الافتتاحية مطابقة |
| Ollama مباشر، متابعة ببادئة مشتركة | 248,279 | 31 | 54.215 s | العلامة الافتتاحية مطابقة |
| طلب متدفق عبر الوسيط | 69,427 | 29 | 38.872 s | العلامة الافتتاحية مطابقة |
| طلب متدفق عبر LiteLLM | 239,153 | 31 | 148.12 s | العلامة الافتتاحية مطابقة، وإلغاء تحميل سليم |
أعادت الطلبات المباشرة التدريجية استخدام بادئة متزايدة الطول. وتصف مددها سلوك المتابعة الدافئة. أما نتيجة 54.215 ثانية فليست قياسًا مستقلًا باردًا لمعالجة مطالبة جديدة من 248K.
في أكبر مرحلة مباشرة، أفاد النموذج بوجود نحو 27.3 مليار بايت مقيمة عبر وحدتي GPU. وبلغت ذروتا الذاكرة لكل بطاقة 14,964 و12,386 MiB.
وصلت درجات الحرارة القصوى إلى 62 و63 C، ولم يسجل التشغيل خطأ OOM أو Xid. وترك الإدخال 13,865 رمزًا ضمن السياق المضبوط للمتابعة. واستخدمت إجابة العلامة القصيرة 31 رمزًا من هذه الرموز.
سأستخدم هذا المسار عندما يكون الاحتفاظ بمجموعة عمل كبيرة أهم من الحصول على أسرع استجابة أولية. وتثبت اختبارات الأدوات والرؤية سلوكيات مفيدة للوكيل، بينما يثبت اختبار المدخل الطويل الاحتفاظ بالسياق. فهذه أحمال عمل منفصلة.
Qwen3.6 خيار البطاقة الواحدة
احتفظ Qwen3.6-35B-A3B UD-Q4_K_XL بـ 131,000 رمز إدخال على بطاقة RTX 5060 Ti واحدة. وظلت البطاقة الأخرى خاملة أثناء الاختبار. وهذا يمنح النظام بديلًا مفيدًا عند عدم الرغبة في تخصيص البطاقتين لنموذج واحد.
| طلب Qwen3.6 عبر البوابة | رموز الإدخال | رموز الإخراج | المدة | النتيجة |
|---|---|---|---|---|
| طلب طويل أولي | 66,007 | 167.82 s | الاحتفاظ بالعلامة الافتتاحية | |
| طلب أطول | 90,000 | 11 | 159.92 s | الاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا |
| طلب أطول | 119,999 | 11 | 250.61 s | الاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا |
| قرب حد التشغيل | 131,000 | 11 | 287.09 s | الاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا |
اقترب طلب 131,000 رمز من حد التشغيل البالغ 131,072 رمزًا. وللوكيل، سأترك مساحة أكبر للإجابة ورسائل الأدوات اللاحقة. وتوفر نتيجة الاحتفاظ القريبة من الحد دليلًا على معالجة الإدخال، لكنها ليست ميزانية إدخال افتراضية مناسبة.
نجح استخدام الأدوات مع تعطيل التفكير. فقد استهلك التفكير الافتراضي حصة التجربة البالغة 512 رمزًا قبل إصدار استدعاء الأداة. كما اجتاز الاختبار الأولي الناجح الطلبات السريعة والمتدفقة وطلبات الرؤية. واستغرق فحص السياق الأولي البالغ 65,845 رمزًا 139.57 ثانية.
يتصدر Qwen3.8 27B مقارنة الاستجابة المتطابقة عند 66K
في حمل العلامة نفسه البالغ 66,007 رمز على النظام A، أعاد Qwen3.8 27B الإجابة بأسرع وقت. وسأبقي هذا المسار متاحًا للطلبات القريبة من حجم الإدخال المختبَر، إلى جانب Qwen3.5 35B لمجموعة العمل الأكبر.
| مسار النظام A | رموز الإدخال | المدة | النتيجة |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | الاحتفاظ بالعلامة الافتتاحية |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | الاحتفاظ بالعلامة الافتتاحية |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | الاحتفاظ بالعلامة الافتتاحية |
| اسم توافق Flash Next IQ4 المستعار | 66,007 | 213.25 s | الاحتفاظ بالعلامة |
استغرق Qwen3.8 27B نحو ثلث مدة طلب Qwen3.6 وFlash Next المتطابقين. وهذه ملاحظات لطلبات كاملة باستخدام بيئات التشغيل المختبَرة، وليست مقارنة للأجهزة وحدها.
نجحت كذلك الاستجابات السريعة والبث واستخدام الأدوات. وأكمل الوضع الذي يعطّل التفكير تسلسل الألوان الكامل ودورة الأداة، بينما لم يُكمل اختبار التفكير سوى جزء من التسلسل ضمن حصة 512 رمزًا.
يظل Flash Next خيارًا افتراضيًا أقل جاذبية على هذا النظام بسبب ضغط الذاكرة. واجتاز اختباره الأولي البالغ 65,847 رمزًا خلال 201.41 ثانية بسياق تشغيل من 98,304 رمز. ووصل ملفان سابقان بسياق 131,072 إلى حدود الذاكرة قبل الجاهزية.
وصل المسار اللاحق إلى سقف cgroup البالغ 54 GiB. وسأختار مسارًا بهامش ذاكرة أكبر للعمل دون إشراف.
خدم المسار المسمى flash-iq2 الواجهة الخلفية للتوافق مع Flash Next IQ4. ولا يشير اسمه إلى نتيجة IQ2.
تدعم RTX 2000E Ada المدخلات الطويلة، لكن اختيار النموذج يغير مدة الانتظار
يمثل Gemma 3 4B مساري المفضل للمدخلات الطويلة المختبَر على النظام C. احتفظ مساران بأكثر من 84K رمز إدخال في نحو 88 ثانية. كما اجتازت مسارات النماذج الأكبر اختبارات احتفاظ مفيدة، لكن طلباتها استغرقت عدة دقائق.
| النظام | النموذج والمسار | رموز الإدخال | المدة | النتيجة |
|---|---|---|---|---|
| B | Qwen3.5 9B، البوابة | 72,265 | 263 s | الاحتفاظ بكلا العلامتين واجتياز فحص استعادة التعدين اللاحق |
| C | Gemma 3 4B، البوابة | 84,044 | 88.05 s | الاحتفاظ بالعلامة الافتتاحية |
| C | Gemma 3 4B، Aperture | 84,045 | 87.68 s | الاحتفاظ بالعلامة الافتتاحية |
| C | Gemma 4 12B-IT، البوابة | 67,254 | 263.07 s | الاحتفاظ بالعلامة الافتتاحية |
| C | Gemma 4 12B-IT، Aperture دون بث | 67,255 | 274.24 s | الاحتفاظ بالعلامة الافتتاحية |
| C | Gemma 4 12B-IT، بث Aperture | 67,255 | 282.16 s | الاحتفاظ بالعلامة الافتتاحية |
| C | Qwen3.5 9B، البوابة | 75,648 | 319.36 s | الاحتفاظ بالعلامة الافتتاحية وإلغاء تحميل النموذج |
| C | GPT-OSS 20B، البوابة | 84,099 | 315.83 s | الاحتفاظ بالعلامة الافتتاحية وإلغاء تحميل النموذج |
| D | Qwen3.5 9B، Aperture | 81,051 | 324.07 s | نجاح الاحتفاظ على الأداة المثبتة |
| D | Gemma 4 12B-IT، Aperture | 72,057 | 300.67 s | نجاح الاحتفاظ على الأداة المثبتة |
| D | GPT-OSS 20B، Aperture | 72,104 | 245.94 s | نجاح الاحتفاظ على الأداة المثبتة |
لم يزل البث انتظار التمهيد الطويل لـ Gemma 4 على النظام C. وصل أول محتوى متدفق بعد 277.49 ثانية، أي بعد الاستجابة الكاملة غير المتدفقة البالغة 274.24 ثانية. وانتهت مهلة محاولة سابقة غير متدفقة قبل نجاح إعادة المحاولة. سأخصص هذا المسار للعمل الذي يناسبه انتظار أولي لعدة دقائق.
يظهر Gemma 3 4B أيضًا سبب حصر التأهيل بالنظام المختبَر. فقد أخفق النظام D في العثور على العلامة الافتتاحية في محاولتي استرجاع عند 65K، بما في ذلك إعادة عند درجة حرارة صفر مع 67,252 رمز إدخال. وانتهى الطلب الحتمي طبيعيًا خلال 62.07 ثانية مع استخدام GPU كاملًا.
لم يثبت الإكمال السريع والاستجابة الطبيعية من API صحة الإجابة. سأستخدم مسار النظام C الناجح وأستبعد مسار النظام D الفاشل من اختيار Hermes.
يحدد وضع التفكير مدى فائدة Qwen3.5 0.8B
أصبح Qwen3.5 0.8B مرشحًا مفيدًا للاسترجاع المحدود على النظام C بعد تعطيل التفكير. واحتفظ النموذج الصغير Q8_0 بـ 75,649 رمز إدخال عبر البوابة خلال 65.92 ثانية. وتتعلق هذه النتيجة بالأداة Q8_0 المختبَرة وبالمسار دون تفكير، لا بتكوينات السياق القديمة 16K المعروضة في موضع آخر من الجدول.
| طلب Qwen3.5 0.8B على النظام C | رموز الإدخال | رموز الإخراج | المدة | النتيجة |
|---|---|---|---|---|
| التفكير الافتراضي، تشخيص قصير | 9,050 | 3,391 | 66.56 s | العلامة الافتتاحية مطابقة |
| تعطيل التفكير، تشخيص مماثل | 9,055 | 21 | 7.65 s | العلامة الافتتاحية مطابقة، دون نص استدلال |
| التفكير الافتراضي، محاولة طويلة | انتهاء المهلة عند 600 s | لم تكتمل الإجابة | ||
| تعطيل التفكير، Ollama أصلي | 75,656 | 22 | 69.80 s | العلامة الافتتاحية مطابقة |
| نقطة نهاية متوافقة مع OpenAI دون تفكير | 75,646 | 12 | 69.09 s | العلامة الافتتاحية مطابقة |
| وسيط يفرض وضع عدم التفكير | 75,647 | 13 | 66.83 s | العلامة الافتتاحية مطابقة |
| LiteLLM من النظام A إلى النظام C | 75,649 | 15 | 65.92 s | العلامة الافتتاحية مطابقة |
انخفض زمن التشخيص المماثل من 66.56 إلى 7.65 ثانية، أي أسرع بنحو 8.7 مرات، بينما انخفضت المخرجات المنتجة من 3,391 إلى 21 رمزًا. ولهذا سأحدد وضع الاستدلال صراحةً لمهام الاستخراج والتوجيه البسيطة. فقد استهلك التفكير الافتراضي معظم العمل في مخرجات لا تحتاجها المهمة.
أخفقت أداة فحص قصيرة متوافقة مع OpenAI في العثور على العلامة قبل نجاح الإعادة عند درجة حرارة صفر. واستخدمت اختبارات المسار الناجحة وضع عدم التفكير والإكمال الطبيعي دون حد للمخرجات. واجتازت ثلاث بوابات أخرى طلبات العلامة القصيرة في 4.22 و4.37 و3.85 ثانية. وتثبت هذه الاختبارات التوجيه، بينما يثبت طلب 75,649 رمزًا الاحتفاظ بالمدخلات الطويلة عبر البوابة.
سأجرب هذا المسار للاسترجاع والاستخراج المحدودين، وأختار نموذجًا أكبر لاستدلال الوكيل المفتوح. فاستعادة علامة اصطناعية واحدة أضيق نطاقًا من التخطيط أو البرمجة أو تنسيق عدة أدوات.
تناسب أنظمة RTX 3060 Ti وRTX 3070 نموذجي Qwen3.5 2B و4B
يمثل Qwen3.5 2B و4B خياري العملي للبدء مع بطاقات 8GB. واجتازت طلبات سياق النص على الأنظمة E وF وG مع 65,579 رمز إدخال ومدد من 30.343 إلى 93.753 ثانية. كما اجتازت مسارات 4B المختبَرة فحوص الأدوات والبث والصور.
احتفظت إعادة اختبار سياق الرؤية 4B في النظام E بكلتا العلامتين وترتيب ألوان الصورة عند 65,637 رمز إدخال خلال 44.88 ثانية. كما اجتازت الطلبات بترتيب الألوان الأمامي والمعكوس. واستخدمت الإعادة بطاقة سليمة بعد تعرض بطاقة أخرى لعطل ارتباط Xid 79 وإعادة تشغيل النظام.
| النظام | سياق النص Qwen3.5 2B | سياق النص Qwen3.5 4B | سياق الرؤية Qwen3.5 4B |
|---|---|---|---|
| E، مجموعة RTX 3060 Ti | 65,579 رمزًا، 30.343 s | 65,579 رمزًا، 53.787 s | 65,637 رمزًا، 44.88 s |
| F، مجموعة RTX 3060 Ti | 65,579 رمزًا، 61.282 s | 65,579 رمزًا، 93.753 s | 65,635 رمزًا، 84.749 s |
| G، مجموعة RTX 3070 | 65,579 رمزًا، 76.731 s | 65,579 رمزًا، 90.807 s | 65,635 رمزًا، 87.496 s |
سجل كل واحد من هذه الأنظمة 29 فحصًا ناجحًا. كما يوضح اختلاف التوقيت بين نظامي RTX 3060 Ti سبب اختياري ملف تعريف نظام مختبَر بدل ترتيب البطاقات حسب مدد الطلب هذه.
عادت الأنظمة السبعة كلها إلى التعدين بعد نافذة الاستدلال. واجتاز فحص استعادة التعدين المنفصل بعد إيقاف النظام B مع أسهم مقبولة جديدة. وعادت البطاقة المتعطلة في النظام E إلى التعدين لاحقًا بعد إعادة التشغيل وتعزيز ارتباط PCIe، مع استمرار استبعادها من مجموعة الذكاء الاصطناعي. واستعادة التعدين في نهاية النافذة نتيجة منفصلة عن التسليم التلقائي بعد كل طلب استدلال.
تحميل النموذج لا يعني تأهيله
سأستبعد DeepSeek Coder V2 16B من خيارات Hermes المختبَرة عند 65K. فقد احتفظ اختبار ذاكرة التخزين المؤقت f16 بـ 50,477 رمز إدخال، لكن اختبار هدف 65K وصل إلى حاجز VRAM. وحمّلت بدائل ذاكرة Q4 وQ8 الأوزان على وحدات GPU، ثم اصطدمت بحدود ذاكرة المضيف أو بمعدل معالجة ضعيف للمطالبات الطويلة.
| ملف ذاكرة DeepSeek Coder V2 المؤقتة | سياق التشغيل | النتيجة المرصودة | تقييمي |
|---|---|---|---|
| f16 | 81,920 | نجح استرجاع 50,477 رمزًا، ورُفض الطلب الزائد الحجم | نتيجة مفيدة بسياق أقصر |
| f16 | 73,728 | توقف التمهيد المستهدف 65K عند استخدام GPU بسعة 15,802 MiB | لا يؤهل لـ 65K |
| Q4_0 | 98,304 | انخفض التمهيد الطويل إلى 96.72 رمزًا/ثانية قبل الإيقاف المتحكم به | غير ملائم لهذا الحمل |
| Q8_0 | 77,824 | انخفض التمهيد الطويل إلى 120.12 رمزًا/ثانية قبل الإيقاف المتحكم به | غير ملائم لهذا الحمل |
| Q4_0 / Q8_0، ملفات أكبر | 163,840 / 98,304 | أوقفت حواجز ذاكرة المضيف التجارب | يتطلب ملاءمة الذاكرة النظر إلى النظام كاملًا |
الدرس العملي هو اختبار الطلب الذي تنوي إرساله. فوجود النموذج في ذاكرة GPU، أو إجابته القصيرة، أو ضبط سياق كبير له لا يثبت الاحتفاظ بالمدخلات الطويلة بزمن استجابة مناسب.
تحسن Granite 4.2 8B وGPT-OSS 20B بعد أعمال متابعة خاصة بالمسار على النظام A. احتفظ مسار Granite Q6_K بـ 66,082 رمز إدخال خلال 88.636 ثانية دون إدخال مخزن مؤقتًا. وأكمل GPT-OSS دورة الأداة بعد إصلاح الوسيط، في 9.854 ثانية للاستدعاء و9.849 ثانية للمتابعة. وسأميز فحوص المسار الناجحة هذه عن المحاولات السابقة غير المكتملة.
النتائج الكاملة للاختبارات المعيارية
يضم الجدول 295 فحصًا عبر 59 مجموعة من النماذج والأنظمة. وتسجل المصفوفة 273 نجاحًا، وفشلًا واحدًا في الاسترجاع، وسبع نتائج غير مكتملة أو غير متسقة أو غير متوافقة. وتقع أربعة عشر عملية فحص خارج نطاق التأهيل عند 65K. ويُظهر كل صف نتيجته المقاسة.
تنطبق توصياتي على المسارات وأحمال العمل الناجحة. ولا يؤهل الصف الفاشل أو غير المكتمل للسلوك المقابل.
تنطبق نجاحات السياق القصير والتضمينات على أحمالها الخاصة. ولا يؤهل النجاح بسياق 16K أو 32K المسار لحمل Hermes البالغ 65,536 رمز إدخال. وأسماء النماذج هنا هي تسميات للمسارات. وقد خدمت التسمية flash-iq2 واجهة التوافق الخلفية IQ4.
يمثل صف سياق Qwen3.5 35B للنظام A المرحلة الأخيرة ذات البادئة المشتركة من التسلسل أعلاه. وتعرض مدد الأدوات المكتوبة بعلامة زائد زمن الاستدعاء والمتابعة كلًا على حدة.
يعرض صف التزامن مدتي الطلبين المدرجين في قائمة الانتظار. ويعرض صف الإلغاء زمن التحرير بعد إغلاق العميل للبث. وتظهر تسلسلات السياق الإضافية ومقارنات مسار Qwen3.5 0.8B في الجداول الخاصة بها أعلاه.
النظام A
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| bonsai-2-27b | context | ناجح | 65,621 | 88.746 s |
| bonsai-2-27b | quick | ناجح | 57 | 6.429 s |
| bonsai-2-27b | stream | ناجح | 9.371 s | |
| bonsai-2-27b | tools | ناجح | 10.478 s | |
| deepseek-coder-v2:16b | context | غير متوافق | 50,477 | |
| deepseek-coder-v2:16b | quick | ناجح | 77 | 43.239 s |
| flash-iq2 | context | ناجح | 66,007 | 213.25 s |
| flash-iq2 | quick | ناجح | 56.03 s | |
| flash-iq2 | stream | ناجح | 1.35 s | |
| flash-iq2 | tools | ناجح | 16.55 s | |
| gemma-4-12b-it | context | ناجح | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | ناجح | 21 | 5.166 s |
| gemma-4-12b-it | stream | ناجح | 4.653 s | |
| gemma-4-12b-it | tools | ناجح | 18.72 s | |
| gemma-4-12b-it | vision | ناجح | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | ناجح | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | ناجح | 115 | 7.467 s |
| gemma-4-e4b-it | context | ناجح | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | ناجح | 21 | 17.919 s |
| gemma-4-e4b-it | stream | ناجح | 4.25 s | |
| gemma-4-e4b-it | tools | ناجح | 8.734 s | |
| gpt-oss-20b | context | ناجح | 65,637 | 159.155 s |
| gpt-oss-20b | quick | ناجح | 73 | 10.548 s |
| gpt-oss-20b | stream | ناجح | 20.594 s | |
| gpt-oss-20b | tools | ناجح | 9.854 + 9.849 s | |
| granite-4.2-3b | context | ناجح | 65,589 | 70.968 s |
| granite-4.2-3b | quick | ناجح | 20 | 4.009 s |
| granite-4.2-3b | stream | ناجح | 5.365 s | |
| granite-4.2-3b | tools | ناجح | 6.086 s | |
| granite-4.2-8b | context | ناجح | 66,082 | 88.636 s |
| granite-4.2-8b | quick | ناجح | 20 | 5.857 s |
| granite-4.2-8b | stream | ناجح | 11.826 s | |
| granite-4.2-8b | tools | ناجح | 11.852 s | |
| qwen27b | context | ناجح | 66,007 | 54.64 s |
| qwen27b | quick | ناجح | 57 | 31.5 s |
| qwen27b | stream | ناجح | 0.92 s | |
| qwen27b | tools | ناجح | 4.25 s | |
| qwen3-embedding-0.6b | context | ناجح | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | ناجح | 14 | 2.125 s |
| qwen3.5-0.8b | context | ناجح | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | ناجح | 17 | 14.316 s |
| qwen3.5-0.8b | stream | ناجح | 2.125 s | |
| qwen3.5-0.8b | tools | ناجح | 4.416 s | |
| qwen3.5-2b | context | ناجح | 65,581 | 11.175 s |
| qwen3.5-2b | quick | ناجح | 17 | 4.519 s |
| qwen3.5-2b | stream | ناجح | 3.736 s | |
| qwen3.5-2b | tools | ناجح | 5.046 s | |
| qwen3.5-4b | context | ناجح | 65,579 | 36.451 s |
| qwen3.5-4b | quick | ناجح | 15 | 19.935 s |
| qwen3.5-4b | stream | ناجح | 17.496 s | |
| qwen3.5-4b | tools | ناجح | 7.308 s | |
| qwen3.5-4b | vision | ناجح | 70 | 7.848 s |
| qwen3.5-4b | vision_context | ناجح | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | ناجح | 70 | 4.386 s |
| qwen3.5-9b | context | ناجح | 65,581 | 34.139 s |
| qwen3.5-9b | quick | ناجح | 17 | 3.88 s |
| qwen3.5-9b | stream | ناجح | 3.378 s | |
| qwen3.5-9b | tools | ناجح | 10.204 s | |
| qwen3.5-9b | vision | ناجح | 72 | 4.441 s |
| qwen3.5-9b | vision_context | ناجح | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | ناجح | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | ناجح | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | ناجح | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | ناجح | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | ناجح | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | ناجح | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | ناجح | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | ناجح | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | ناجح | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | ناجح | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | ناجح | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | ناجح | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | ناجح | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | ناجح | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | ناجح | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | ناجح | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | ناجح | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | ناجح | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | ناجح | 3.86 s |
النظام B
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-12b-it | context | ناجح | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | ناجح | 21 | 15.261 s |
| gemma-4-12b-it | stream | ناجح | 148.792 s | |
| gemma-4-12b-it | tools | ناجح | 34.124 s | |
| gemma-4-12b-it | vision | ناجح | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | ناجح | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | ناجح | 120 | 32.511 s |
| gemma3-4b | context | ناجح | 65,584 | 67.382 s |
| gemma3-4b | quick | ناجح | 15 | 6.329 s |
| gemma3-4b | stream | ناجح | 24.138 s | |
| gemma3-4b | vision | ناجح | 306 | 7.018 s |
| gemma3-4b | vision_context | ناجح | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | ناجح | 306 | 5.762 s |
| gpt-oss-20b | context | ناجح | 65,637 | 206.767 s |
| gpt-oss-20b | quick | ناجح | 72 | 16.583 s |
| gpt-oss-20b | stream | ناجح | 32.075 s | |
| gpt-oss-20b | tools | ناجح | 28.102 s | |
| nomic-embed-text | context | غير مكتمل | 2,048 | |
| nomic-embed-text | quick | ناجح | 7.117 s | |
| qwen3-14b | context | غير مكتمل | 1800.09 s | |
| qwen3-14b | quick | ناجح | 15 | 37.199 s |
| qwen3-14b | stream | ناجح | 35.471 s | |
| qwen3-14b | tools | ناجح | 87.554 s | |
| qwen3-8b | context | مستبعد دون 65K | ||
| qwen3-8b | quick | خارج النطاق دون 65K، ناجح | 15 | 21.059 s |
| qwen3-8b | stream | مستبعد دون 65K | ||
| qwen3-8b | tools | مستبعد دون 65K | ||
| qwen3.5-9b | context | ناجح | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | ناجح | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | ناجح | ||
| qwen3.5-9b | quick | ناجح | 15 | 25.881 s |
| qwen3.5-9b | stream | ناجح | 143.44 s | |
| qwen3.5-9b | tools | ناجح | 31.812 s | |
| qwen3.5-9b | vision | ناجح | 75 | 32.015 s |
| qwen3.5-9b | vision_context | ناجح | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | ناجح | 75 | 28.626 s |
النظام C
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | ناجح | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | ناجح | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | ناجح | 67,255 | 282.16 s |
| gemma-4-12b-it | context | ناجح | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | ناجح | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | ناجح | 27 | 20.98 s |
| gemma-4-12b-it | quick | ناجح | 21 | 16.447 s |
| gemma-4-12b-it | stream | ناجح | 15.175 s | |
| gemma-4-12b-it | tools | ناجح | 37.821 s | |
| gemma-4-12b-it | vision | ناجح | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | ناجح | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | ناجح | 120 | 31.25 s |
| gemma3-4b | aperture_context | ناجح | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | ناجح | 24 | 5.42 s |
| gemma3-4b | aperture_short | ناجح | 22 | 5.45 s |
| gemma3-4b | aperture_stream | ناجح | 3.72 s | |
| gemma3-4b | context | ناجح | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | ناجح | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | ناجح | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | ناجح | ||
| gemma3-4b | gateway_short_via_system_f | ناجح | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | ناجح | 6.06 s | |
| gemma3-4b | quick | ناجح | 15 | 5.163 s |
| gemma3-4b | stream | ناجح | 24.691 s | |
| gemma3-4b | vision | ناجح | 306 | 7.318 s |
| gemma3-4b | vision_context | ناجح | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | ناجح | 306 | 5.831 s |
| gpt-oss-20b | context | ناجح | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | ناجح | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | غير متسق | ||
| gpt-oss-20b | quick | ناجح | 72 | 21.603 s |
| gpt-oss-20b | stream | ناجح | 31.957 s | |
| gpt-oss-20b | tools | ناجح | 26.096 s | |
| nomic-embed-text | context | خارج النطاق دون 65K، غير مكتمل | 2,048 | |
| nomic-embed-text | quick | خارج النطاق دون 65K، ناجح | 4.178 s | |
| qwen3-14b | context | خارج النطاق دون 65K، غير مكتمل | 1800.06 s | |
| qwen3-14b | quick | خارج النطاق دون 65K، ناجح | 15 | 35.809 s |
| qwen3-14b | stream | خارج النطاق دون 65K، ناجح | 35.43 s | |
| qwen3-14b | tools | خارج النطاق دون 65K، ناجح | 87.723 s | |
| qwen3-8b | context | مستبعد دون 65K | ||
| qwen3-8b | quick | خارج النطاق دون 65K، ناجح | 15 | 21.293 s |
| qwen3-8b | stream | خارج النطاق دون 65K، غير مكتمل | 900.01 s | |
| qwen3-8b | tools | مستبعد دون 65K | ||
| qwen3.5-9b | context | ناجح | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | ناجح | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | ناجح | 21 | 72.14 s |
| qwen3.5-9b | quick | ناجح | 15 | 24.635 s |
| qwen3.5-9b | stream | ناجح | 143.157 s | |
| qwen3.5-9b | tools | ناجح | 30.395 s | |
| qwen3.5-9b | vision | ناجح | 75 | 27.756 s |
| qwen3.5-9b | vision_context | ناجح | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | ناجح | 75 | 28.645 s |
النظام D
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-12b-it | context | ناجح | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | ناجح | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | ناجح | 34 | 30.74 s |
| gemma-4-12b-it | quick | ناجح | 21 | 15.05 s |
| gemma-4-12b-it | stream | ناجح | 14.722 s | |
| gemma-4-12b-it | tools | ناجح | 33.869 s | |
| gemma-4-12b-it | vision | ناجح | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | ناجح | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | ناجح | 120 | 29.978 s |
| gemma3-4b | context | ناجح | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | فشل | 67,252 | 62.07 s |
| gemma3-4b | quick | ناجح | 15 | 5.151 s |
| gemma3-4b | stream | ناجح | 22.552 s | |
| gemma3-4b | vision | ناجح | 306 | 8.276 s |
| gemma3-4b | vision_context | ناجح | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | ناجح | 306 | 5.651 s |
| gpt-oss-20b | context | ناجح | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | ناجح | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | ناجح | 84 | 15.96 s |
| gpt-oss-20b | quick | ناجح | 72 | 15.431 s |
| gpt-oss-20b | stream | ناجح | 31.052 s | |
| gpt-oss-20b | tools | ناجح | 23.65 s | |
| nomic-embed-text | context | غير مكتمل | 2,048 | |
| nomic-embed-text | quick | ناجح | 2.798 s | |
| qwen3-14b | context | غير مكتمل | 40,939 | 872.209 s |
| qwen3-14b | quick | ناجح | 15 | 36.021 s |
| qwen3-14b | stream | ناجح | 33.491 s | |
| qwen3-14b | tools | ناجح | 82.471 s | |
| qwen3-8b | context | غير مكتمل | 1800.07 s | |
| qwen3-8b | quick | ناجح | 15 | 19.283 s |
| qwen3-8b | stream | ناجح | 19.401 s | |
| qwen3-8b | tools | ناجح | 65.054 s | |
| qwen3.5-9b | context | ناجح | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | ناجح | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | ناجح | 29 | 94.48 s |
| qwen3.5-9b | quick | ناجح | 15 | 27.16 s |
| qwen3.5-9b | stream | ناجح | 28.62 s | |
| qwen3.5-9b | tools | ناجح | 28.129 s | |
| qwen3.5-9b | vision | ناجح | 75 | 25.047 s |
| qwen3.5-9b | vision_context | ناجح | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | ناجح | 75 | 27.602 s |
النظام E
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ناجح | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | ناجح | 21 | 23.911 s |
| gemma-4-e4b-it | stream | ناجح | 28.136 s | |
| gemma-4-e4b-it | tools | ناجح | 56.756 s | |
| granite-4.0-h-tiny | context | ناجح | 65,566 | |
| granite-4.0-h-tiny | quick | ناجح | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | ناجح | 27.798 s | |
| granite-4.0-h-tiny | tools | ناجح | 43.304 s | |
| granite-4.2-3b | context | ناجح | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | ناجح | 20 | 14.569 s |
| granite-4.2-3b | stream | ناجح | 6.948 s | |
| granite-4.2-3b | tools | ناجح | 56.376 s | |
| qwen3-embedding-0.6b | context | ناجح | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | ناجح | 14 | 9.592 s |
| qwen3.5-0.8b | context | ناجح | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | ناجح | 17 | 452.417 s |
| qwen3.5-0.8b | stream | ناجح | 11.163 s | |
| qwen3.5-0.8b | tools | ناجح | 39.214 s | |
| qwen3.5-2b | context | ناجح | 65,579 | 30.343 s |
| qwen3.5-2b | quick | ناجح | 15 | 12.509 s |
| qwen3.5-2b | stream | ناجح | 26.165 s | |
| qwen3.5-2b | tools | ناجح | 42.056 s | |
| qwen3.5-4b | context | ناجح | 65,579 | 53.787 s |
| qwen3.5-4b | quick | ناجح | 15 | 26.736 s |
| qwen3.5-4b | stream | ناجح | 26.02 s | |
| qwen3.5-4b | tools | ناجح | 57.293 s | |
| qwen3.5-4b | vision | ناجح | 72 | 10.09 s |
| qwen3.5-4b | vision_context | ناجح | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | ناجح | 72 | 9.96 s |
النظام F
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ناجح | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | ناجح | 21 | 27.51 s |
| gemma-4-e4b-it | stream | ناجح | 28.042 s | |
| gemma-4-e4b-it | tools | ناجح | 73.891 s | |
| granite-4.0-h-tiny | context | ناجح | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | ناجح | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | ناجح | 27.296 s | |
| granite-4.0-h-tiny | tools | ناجح | 75.377 s | |
| granite-4.2-3b | context | ناجح | 65,589 | 145.179 s |
| granite-4.2-3b | quick | ناجح | 20 | 15.703 s |
| granite-4.2-3b | stream | ناجح | 35.482 s | |
| granite-4.2-3b | tools | ناجح | 52.539 s | |
| qwen3-embedding-0.6b | context | ناجح | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | ناجح | 14 | 8.122 s |
| qwen3.5-0.8b | context | ناجح | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | ناجح | 17 | 445.22 s |
| qwen3.5-0.8b | stream | ناجح | 13.266 s | |
| qwen3.5-0.8b | tools | ناجح | 40.825 s | |
| qwen3.5-2b | context | ناجح | 65,579 | 61.282 s |
| qwen3.5-2b | quick | ناجح | 15 | 16.738 s |
| qwen3.5-2b | stream | ناجح | 25.29 s | |
| qwen3.5-2b | tools | ناجح | 47.444 s | |
| qwen3.5-4b | context | ناجح | 65,579 | 93.753 s |
| qwen3.5-4b | quick | ناجح | 15 | 33.039 s |
| qwen3.5-4b | stream | ناجح | 25.658 s | |
| qwen3.5-4b | tools | ناجح | 71.731 s | |
| qwen3.5-4b | vision | ناجح | 70 | 43.053 s |
| qwen3.5-4b | vision_context | ناجح | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | ناجح | 70 | 27.518 s |
النظام G
| تسمية مسار النموذج | الفحص | النتيجة | رموز الإدخال | مدة الطلب |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ناجح | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | ناجح | 21 | 38.329 s |
| gemma-4-e4b-it | stream | ناجح | 43.549 s | |
| gemma-4-e4b-it | tools | ناجح | 66.616 s | |
| granite-4.0-h-tiny | context | ناجح | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | ناجح | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | ناجح | 31.751 s | |
| granite-4.0-h-tiny | tools | ناجح | 63.338 s | |
| granite-4.2-3b | context | ناجح | 65,589 | 100.849 s |
| granite-4.2-3b | quick | ناجح | 20 | 23.355 s |
| granite-4.2-3b | stream | ناجح | 28.75 s | |
| granite-4.2-3b | tools | ناجح | 44.226 s | |
| qwen3-embedding-0.6b | context | ناجح | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | ناجح | 14 | 8.924 s |
| qwen3.5-0.8b | context | ناجح | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | ناجح | 17 | 504.813 s |
| qwen3.5-0.8b | stream | ناجح | 15.095 s | |
| qwen3.5-0.8b | tools | ناجح | 36.672 s | |
| qwen3.5-2b | context | ناجح | 65,579 | 76.731 s |
| qwen3.5-2b | quick | ناجح | 15 | 20.949 s |
| qwen3.5-2b | stream | ناجح | 25.194 s | |
| qwen3.5-2b | tools | ناجح | 37.552 s | |
| qwen3.5-4b | context | ناجح | 65,579 | 90.807 s |
| qwen3.5-4b | quick | ناجح | 15 | 41.84 s |
| qwen3.5-4b | stream | ناجح | 40.812 s | |
| qwen3.5-4b | tools | ناجح | 54.999 s | |
| qwen3.5-4b | vision | ناجح | 70 | 29.619 s |
| qwen3.5-4b | vision_context | ناجح | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | ناجح | 70 | 26.283 s |
كيف اختبرت صلاحية Hermes
وضعت علامة اصطناعية قرب بداية مطالبة طويلة، ثم طلبت العلامة بعد نص الحشو. وكان ينبغي للاستجابة أن تعيد القيمة المتوقعة. وحدد عدد رموز الإدخال الذي أبلغ عنه الخادم حجم الطلب. وكان النموذج يفشل حتى لو أجاب بصورة طبيعية بعد مطالبة كبيرة، إذا كانت العلامة الافتتاحية خاطئة.
استخدم تسلسل Qwen3.5 35B سجلات حشو مرقمة ودرجة حرارة 0 وأطوالًا متزايدة من 3,800 و6,800 و10,000 و13,600 سجل. وأعادت تلك المراحل 69,429 و124,179 و182,579 و248,279 رمز مطالبة. ظل النموذج محملًا بين المراحل، مما أتاح إعادة استخدام البادئة. وأفادت اختبارات Qwen3.6 المنفصلة قرب الحد بعدم وجود رموز مخزنة مؤقتًا.
كررت المطالبة الطويلة للنموذج 0.8B النص river stone lantern orchard circuit velvet compass marble عدد 8,400 مرة بين مفتاح إجابة افتتاحي وسؤال استرجاع نهائي. وأرسل التشغيل الأصلي think:false وnum_ctx:131072 وstream:false وkeep_alive:0. واستخدم المسار المتوافق مع OpenAI reasoning_effort:"none". وفرض الوسيط وضع عدم التفكير لمساره، لذا لم يحتج المتصلون بالبوابة إلى تجاوز من العميل.
فحوص الأدوات والرؤية والتحرير
تحققت اختبارات الأدوات من الطلب ومن الإجابة بعد عودة نتيجة الأداة. واستخدم اختبار بسيط add_numbers(7, 11) وانتظر 18. أما اختبار Qwen3.5 35B فاستخدم lookup_square وانتظر 49. واستخدم GPT-OSS استعلامًا عن المخزون، وكان عليه دمج نتيجة المخزون المعادة.
استخدمت فحوص الرؤية أسئلة عن صور حمراء وزرقاء، وعكست ترتيب الصور، وأدرجت ألوان الصور وعلامات البداية والنهاية في المطالبات الطويلة. واستخدم اختبار Qwen3.5 35B صورة PNG حمراء بحجم 256 × 256. واحتاج الوسيط إلى إصلاح تحويل محتوى الصورة قبل نجاح هذا الطلب. واشترط اختبار الرؤية الطويل 4B في النظام E بقاء العلامتين وترتيب الألوان عبر الإدخال.
تحققت من ذاكرة GPU وإقامة النموذج ودرجات الحرارة وضغط ذاكرة المضيف وأحداث OOM وأعطال GPU أثناء التشغيلات الطويلة وحولها. كما تحقق حاجز Qwen3.5 35B من التحرير بعد مقاطعة متحكم بها. واختبرت فحوص إلغاء العميل والطلبات المصطفة اللاحقة مسار الوسيط. ويثبت وجود طلبين في قائمة الانتظار معالجة الطلبات تحت الحمل المختبَر، لا وجود واجهتين مستقلتين ومتزامنتين لوحدات GPU.
قراءة نتائج الأداء
تشمل مدد الطلبات تمهيد المدخلات الطويلة والإجابة المعادة، ولا تمثل معدل توليد الرموز في الثانية. ويهم زمن وصول أول محتوى للبث، كما تتطلب تسلسلات إعادة استخدام البادئات المخزنة تفسيرًا خاصًا.
استخدمت تشغيلات المتابعة الناجحة للنماذج الأكبر في النظامين A وC نوافذ استدلال مخصصة مع تعطيل التعدين. وأُزيلت النماذج من الذاكرة بعد تلك الطلبات. واستؤنف التعدين في الأنظمة السبعة جميعها عند نهاية نافذة الاختبار. وتصف هذه النتائج خدمة النماذج أثناء نافذة الاستدلال، لا التعدين والاستدلال المتزامنين.
ملفات تعريف الواجهات الخلفية المستخدمة في الاختبارات
اختر ملف التعريف المرتبط بحمل العمل الذي تريد إعادة إنتاجه. تؤثر الكميّة والسياق التشغيلي ونوع الذاكرة المؤقتة ووضع الاستدلال وتوزيع GPU في النتيجة.
| النظام والنموذج | ملف تعريف الواجهة الخلفية المختبَر |
|---|---|
| A، Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2، ذاكرة KV مؤقتة f16، بطاقتا RTX 5060 Ti بسعة 16GB، ذاكرة مضيف 64 GiB، وسياق تشغيل 262,144 للتسلسل الكبير. استخدمت الطلبات الأصلية think:false ودرجة حرارة 0 والبث وإبقاءً نشطًا لخمس دقائق بين المراحل. واستخدمت طلبات البوابة الوسيط وLiteLLM. لا يوجد حد لمخرجات الطلب. |
| A، Qwen3.8 27B | llama.cpp عند الطلب عبر الوسيط وLiteLLM، سياق تشغيل 262,144، خانة استدلال واحدة، ذاكرة K/V مؤقتة Q4، وبطاقتا RTX 5060 Ti. لم يُفرض حد مخرجات على طلب 66,007 رمز. |
| A، Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48، سياق 131,072، ذاكرة KV مؤقتة INT8، GPU مختارة واحدة، حد ذاكرة مجموعة العمليات 55 GiB، حد تشغيل 30 دقيقة، تحميل كسول، وتفريغ بعد خمول 60 ثانية. إجابة تجريبية طويلة: 217 رمز إخراج. إجابة بوابة قرب الحد: 11 رمز إخراج، دون حد لمخرجات الطلب. |
| A، Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48، سياق 98,304، ذاكرة KV مؤقتة Q4، ذاكرة خبراء مقيمة 8 GiB، وبطاقتا RTX 5060 Ti. حد الذاكرة التجريبي 52 GiB، ثم 54 GiB للمسار اللاحق. إجابة تجريبية طويلة: 10 رموز إخراج. وتوقفت مجموعات سابقة ذات سياق وذاكرة أكبر عند حدود الذاكرة. |
| A، Granite 4.2 8B | أوزان GGUF Q6_K، عامل llama.cpp مجمّع، سياق 131,072، ذاكرة K/V مؤقتة Q4_0، و--n-predict -1. استخدم الطلب الطويل درجة حرارة 0 وقياس الاستخدام أثناء البث دون حد إخراج. |
| A، DeepSeek Coder V2 16B | أوزان GGUF Q4_0، Ollama 0.34.2، بطاقتا RTX 5060 Ti، وذاكرة مضيف 64 GiB. استخدمت تجارب الذاكرة المؤقتة المنفصلة f16 وQ4_0 وQ8_0 سياقات التشغيل المعروضة في جدول المقارنة. لا يوجد حد لمخرجات الطلب. |
| B وC وD، خدمة Ollama المدققة | Ollama 0.34.2، سياق 131,072، توازٍ 1، نموذج محمّل واحد، حجم قائمة انتظار 128، إبقاء نشط 0، Flash Attention، وذاكرة KV مؤقتة Q4_0. |
| B، تجربة بوابة Qwen3.5 9B | مهلة مسار LiteLLM مقدارها 1,800 ثانية، دون إعادة محاولة ودون حد للسياق أو رموز الإخراج. احتُفظ بكلتا العلامتين عند 72,265 رمز إدخال. واجتاز فحص استعادة التعدين المنفصل. |
| C، Qwen3.5 0.8B | أوزان Q8_0 على RTX 2000E Ada واحدة مع ملف طاقة 30 W. سياق التشغيل 131,072. think:false الأصلي، وreasoning_effort:"none" المتوافق مع OpenAI، دون حد للإخراج. ثبّت الاسم المستعار للوسيط سياق التشغيل وفرض وضع عدم التفكير. |
| C، Gemma 4 12B-IT | ملف Ollama لوحدة GPU واحدة، سياق تشغيل 131,072، وطلبات Aperture متدفقة وغير متدفقة دون حد للمخرجات. بلغ التشغيل المباشر في Aperture ذروة 75 C و30.64 W مع ملف الطاقة المضبوط على 30 W، ثم أُلغي تحميله. |
| D، Qwen3.5 9B وGemma 4 12B-IT وGPT-OSS 20B | اختُبرت الأدوات المثبتة نفسها عبر Aperture، بسياق تشغيل 131,072 وإقامة كاملة على GPU واحدة وإكمال طبيعي دون حد لمخرجات الطلب. |
| E وF وG، عمال محادثة llama.cpp | الإصدار 11669، و99 طبقة GPU، وتوازٍ 1، وFlash Attention، وذاكرة K/V مؤقتة Q4_0، و--n-predict -1. اختلف سياق التشغيل حسب عائلة النموذج. |
تصف ملفات تعريف الخدمة المسجلة تكوينات التشغيل الخاصة بها. ولا يرث ملف Qwen3.5 35B المنفصل بذاكرة f16 المؤقتة والمختبَر على النظام A إعداد ذاكرة Q4_0 المؤقتة لأنظمة Ollama الأصغر.
بصمات النماذج لتجارب الإدخال المحتفَظ به الجديدة
تميز معرفات النماذج هذه الأدوات المختبَرة عن التنزيلات أو الأسماء المستعارة الأخرى ذات الأسماء المتشابهة.
| الأداة | الكميّة | البصمة المسجلة أو SHA-256 للملف |
|---|---|---|
| علامة Ollama لـ Qwen3.5 35B-A3B | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| علامة Ollama الأساسية لـ Qwen3.5 0.8B | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| ملف GGUF لـ Granite 4.2 8B | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
تحدد بصمات بيان Ollama وقيم SHA-256 لملفات الأوزان كائنات مختلفة. طابق المعرّف مع نوع الأداة في الجدول.
ما سأستخدمه مع Hermes
سأجعل Qwen3.5 35B مسار السياق العالي الرئيسي على نظام بطاقتي RTX 5060 Ti. ويدعم اختياري احتفاظ البوابة بـ 239,153 رمزًا وفحوص الأدوات والرؤية المنفصلة وتحرير الطلبات المتحقق منه، أكثر من نموذج يُعلن عن نافذة سياق واسعة. وسأبقي Qwen3.8 27B للاستجابة الأسرع للطلبات المتطابقة عند 66K، وأبقي Qwen3.6 عند أهمية استخدام بطاقة واحدة.
على أنظمة RTX 2000E Ada، سأختار مسار Gemma 3 4B المتحقق منه في النظام C لحمل الاستجابة ذي المدخل الطويل المختبَر. وسأجرب مسار Qwen3.5 0.8B دون تفكير للاسترجاع والاستخراج المحدودين. وتناسب مسارات Gemma وQwen وGPT-OSS الأكبر الأعمال التي تقبل استجابة أولية مختبَرة تستغرق أربعًا إلى خمس دقائق. وسأستبعد مسار Gemma 3 الفاشل في النظام D.
لبطاقات RTX 3060 Ti وRTX 3070 بسعة 8GB، سأبدأ بـ Qwen3.5 2B أو 4B. وتدعم نتائج النص عند 65K وفحوص الصور 4B إعداد بداية مفيدًا دون تخصيص البطاقتين ذواتي 16GB لكل طلب. ويجعل ضغط الذاكرة لدى Flash Next وسلوك DeepSeek Coder V2 غير المكتمل عند 65K منهما خيارين افتراضيين أضعف في ملفات التعريف المختبَرة.
تدعم الاختبارات اختيارات النماذج والأنظمة هذه لسير عمل محدد. ويجيب الاحتفاظ بالمدخلات، ودورة الأداة الصحيحة، والتعرف على الصور، والتحرير السليم عن جوانب مختلفة من صلاحية Hermes. ويحتاج الإعداد الموثوق إلى السلوكيات التي يستخدمها وكيلك، مع ترك مساحة كافية للسياق كي يستوعب الإجابة وحركة الأدوات.
المصادر وقراءات ذات صلة
- إعداد موفري Hermes Agent ومتطلبات السياق
- مواصفات NVIDIA GeForce RTX 3060 Ti
- مواصفات NVIDIA GeForce RTX 5060 Ti
- نظرة عامة على Hermes Agent
- اختيار واجهة خلفية لنموذج محلي






