Table of Contents

لأعمال Hermes ذات السياق الطويل، سأبدأ بـ Qwen3.5 35B على بطاقتي RTX 5060 Ti بسعة 16GB لكل منهما. احتفظ المسار المختبَر بـ 239,153 رمز إدخال عبر LiteLLM واجتاز اختبارات منفصلة للأدوات والبث والرؤية والطلبات الموضوعة في قائمة الانتظار والإلغاء. ويمثل Qwen3.6 خياري عند استخدام بطاقة واحدة. أما على نظامي RTX 3060 Ti وRTX 3070 فسأبدأ بـ Qwen3.5 2B أو 4B.

تأتي هذه الخيارات من تشغيل النماذج عبر مسارات الاستدلال التي يستخدمها الوكيل. اختبرت الاحتفاظ بالمدخلات الطويلة، ودورات استخدام الأدوات، والاستجابات المتدفقة، والأسئلة عن الصور، وتحرير النموذج من الذاكرة. كما اختبرت الأوضاع وإعدادات الذاكرة التي تعتمد عليها المسارات، لأن نجاح تحميل نموذج لا يخبرنا كثيرًا عن فائدته أثناء طلب طويل من الوكيل.

يتطلب Hermes سياقًا لا يقل عن 64,000 رمز لاستخدام الوكيل مع الأدوات. واعتمدت 65,536 رمز إدخال فعليًا حدًا لتأهيل السياق الطويل. وعدد رموز الإدخال أهم من حجم السياق الذي يعلنه الخادم. ( وثائق موفري Hermes Agent )

بطاقات GPU في كل نظام

تحدد حروف الأنظمة تركيبات الأجهزة المستخدمة في النتائج.

النظاموحدات GPU المستخدمة في هذا الاختبارالنموذج الذي سأبدأ به
A2 × GeForce RTX 5060 Ti، سعة 16GB لكل بطاقةQwen3.5 35B على البطاقتين أو Qwen3.6 على بطاقة واحدة
B1 × RTX 2000E Ada، سعة 16GBQwen3.5 9B عندما تلائم معالجة المدخلات الطويلة التي تستغرق عدة دقائق المهمة
C1 × RTX 2000E Ada، سعة 16GBGemma 3 4B لمسار المدخلات الطويلة المختبَر، وQwen3.5 0.8B من دون التفكير لمهام الاسترجاع المحدودة
D1 × RTX 2000E Ada، سعة 16GBQwen3.5 9B أو Gemma 4 12B-IT أو GPT-OSS 20B لأحمال العمل المختبَرة بالنماذج الأكبر
E9 × GeForce RTX 3060 Ti، سعة 8GB لكل بطاقةQwen3.5 2B أو 4B
F8 × GeForce RTX 3060 Ti، سعة 8GB لكل بطاقةQwen3.5 2B أو 4B
G3 × GeForce RTX 3070Qwen3.5 2B أو 4B

لا يعني عدد البطاقات المركبة أن كل طلب استخدم جميع وحدات GPU. استخدمت تجارب Qwen3.5 35B وFlash Next البطاقتين في النظام A، بينما استخدم Qwen3.6 بطاقة واحدة. واستخدمت إعادة اختبار الرؤية الناجحة لـ Qwen3.5 4B في النظام E بطاقة واحدة مختارة من مجموعة من ثماني بطاقات، مع إبقاء البطاقة التاسعة مستبعدة من أعمال الذكاء الاصطناعي.

اعتبر مدد التشغيل أدناه نتائج للنموذج وبيئة التشغيل والنظام المختبَرة معًا. تقارن هذه التجارب التكوينات القابلة للاستخدام، ولا تعزل بنية GPU بوصفها سبب اختلاف السرعة.

بطاقتا RTX 5060 Ti تجعل Qwen3.5 35B خياري للسياق الطويل

حقق Qwen3.5 35B أكبر نتيجة للاحتفاظ بالمدخلات في هذه الاختبارات. احتفظ التسلسل المباشر في Ollama بـ 248,279 رمز إدخال ضمن سياق تشغيل من 262,144 رمزًا. واحتفظ طلب متدفق منفصل عبر البوابة بـ 239,153 رمز إدخال، وأعاد العلامة الافتتاحية، وانتهى طبيعيًا بعد 31 رمز إخراج خلال 148.12 ثانية.

تكتسب نتيجة البوابة أهميتها لدى Hermes لأن الطلب مر عبر الوسيط وLiteLLM. أكملت طلبات أخرى دورة استخدام أداة، وتعرّفت على صورة حمراء، وأعادت إجابتين صحيحتين عند إرسالها معًا. وضع الوسيط هذين الطلبين في قائمة انتظار. وأدى إغلاق طلب متدفق إلى تحرير الوسيط وإلغاء تحميل النموذج خلال 60.31 ثانية.

طلب Qwen3.5 35Bرموز الإدخالرموز الإخراجالمدةالنتيجة
Ollama مباشر، المرحلة التدريجية الأولى69,4293138.783 sالعلامة الافتتاحية مطابقة
Ollama مباشر، متابعة ببادئة مشتركة124,1793128.472 sالعلامة الافتتاحية مطابقة
Ollama مباشر، متابعة ببادئة مشتركة182,5793138.974 sالعلامة الافتتاحية مطابقة
Ollama مباشر، متابعة ببادئة مشتركة248,2793154.215 sالعلامة الافتتاحية مطابقة
طلب متدفق عبر الوسيط69,4272938.872 sالعلامة الافتتاحية مطابقة
طلب متدفق عبر LiteLLM239,15331148.12 sالعلامة الافتتاحية مطابقة، وإلغاء تحميل سليم

أعادت الطلبات المباشرة التدريجية استخدام بادئة متزايدة الطول. وتصف مددها سلوك المتابعة الدافئة. أما نتيجة 54.215 ثانية فليست قياسًا مستقلًا باردًا لمعالجة مطالبة جديدة من 248K.

في أكبر مرحلة مباشرة، أفاد النموذج بوجود نحو 27.3 مليار بايت مقيمة عبر وحدتي GPU. وبلغت ذروتا الذاكرة لكل بطاقة 14,964 و12,386 MiB.

وصلت درجات الحرارة القصوى إلى 62 و63 C، ولم يسجل التشغيل خطأ OOM أو Xid. وترك الإدخال 13,865 رمزًا ضمن السياق المضبوط للمتابعة. واستخدمت إجابة العلامة القصيرة 31 رمزًا من هذه الرموز.

سأستخدم هذا المسار عندما يكون الاحتفاظ بمجموعة عمل كبيرة أهم من الحصول على أسرع استجابة أولية. وتثبت اختبارات الأدوات والرؤية سلوكيات مفيدة للوكيل، بينما يثبت اختبار المدخل الطويل الاحتفاظ بالسياق. فهذه أحمال عمل منفصلة.

Qwen3.6 خيار البطاقة الواحدة

احتفظ Qwen3.6-35B-A3B UD-Q4_K_XL بـ 131,000 رمز إدخال على بطاقة RTX 5060 Ti واحدة. وظلت البطاقة الأخرى خاملة أثناء الاختبار. وهذا يمنح النظام بديلًا مفيدًا عند عدم الرغبة في تخصيص البطاقتين لنموذج واحد.

طلب Qwen3.6 عبر البوابةرموز الإدخالرموز الإخراجالمدةالنتيجة
طلب طويل أولي66,007167.82 sالاحتفاظ بالعلامة الافتتاحية
طلب أطول90,00011159.92 sالاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا
طلب أطول119,99911250.61 sالاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا
قرب حد التشغيل131,00011287.09 sالاحتفاظ بالعلامة الافتتاحية، دون إدخال مخزّن مؤقتًا

اقترب طلب 131,000 رمز من حد التشغيل البالغ 131,072 رمزًا. وللوكيل، سأترك مساحة أكبر للإجابة ورسائل الأدوات اللاحقة. وتوفر نتيجة الاحتفاظ القريبة من الحد دليلًا على معالجة الإدخال، لكنها ليست ميزانية إدخال افتراضية مناسبة.

نجح استخدام الأدوات مع تعطيل التفكير. فقد استهلك التفكير الافتراضي حصة التجربة البالغة 512 رمزًا قبل إصدار استدعاء الأداة. كما اجتاز الاختبار الأولي الناجح الطلبات السريعة والمتدفقة وطلبات الرؤية. واستغرق فحص السياق الأولي البالغ 65,845 رمزًا 139.57 ثانية.

يتصدر Qwen3.8 27B مقارنة الاستجابة المتطابقة عند 66K

في حمل العلامة نفسه البالغ 66,007 رمز على النظام A، أعاد Qwen3.8 27B الإجابة بأسرع وقت. وسأبقي هذا المسار متاحًا للطلبات القريبة من حجم الإدخال المختبَر، إلى جانب Qwen3.5 35B لمجموعة العمل الأكبر.

مسار النظام Aرموز الإدخالالمدةالنتيجة
Qwen3.8 27B66,00754.64 sالاحتفاظ بالعلامة الافتتاحية
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sالاحتفاظ بالعلامة الافتتاحية
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sالاحتفاظ بالعلامة الافتتاحية
اسم توافق Flash Next IQ4 المستعار66,007213.25 sالاحتفاظ بالعلامة

استغرق Qwen3.8 27B نحو ثلث مدة طلب Qwen3.6 وFlash Next المتطابقين. وهذه ملاحظات لطلبات كاملة باستخدام بيئات التشغيل المختبَرة، وليست مقارنة للأجهزة وحدها.

نجحت كذلك الاستجابات السريعة والبث واستخدام الأدوات. وأكمل الوضع الذي يعطّل التفكير تسلسل الألوان الكامل ودورة الأداة، بينما لم يُكمل اختبار التفكير سوى جزء من التسلسل ضمن حصة 512 رمزًا.

يظل Flash Next خيارًا افتراضيًا أقل جاذبية على هذا النظام بسبب ضغط الذاكرة. واجتاز اختباره الأولي البالغ 65,847 رمزًا خلال 201.41 ثانية بسياق تشغيل من 98,304 رمز. ووصل ملفان سابقان بسياق 131,072 إلى حدود الذاكرة قبل الجاهزية.

وصل المسار اللاحق إلى سقف cgroup البالغ 54 GiB. وسأختار مسارًا بهامش ذاكرة أكبر للعمل دون إشراف.

خدم المسار المسمى flash-iq2 الواجهة الخلفية للتوافق مع Flash Next IQ4. ولا يشير اسمه إلى نتيجة IQ2.

تدعم RTX 2000E Ada المدخلات الطويلة، لكن اختيار النموذج يغير مدة الانتظار

يمثل Gemma 3 4B مساري المفضل للمدخلات الطويلة المختبَر على النظام C. احتفظ مساران بأكثر من 84K رمز إدخال في نحو 88 ثانية. كما اجتازت مسارات النماذج الأكبر اختبارات احتفاظ مفيدة، لكن طلباتها استغرقت عدة دقائق.

النظامالنموذج والمساررموز الإدخالالمدةالنتيجة
BQwen3.5 9B، البوابة72,265263 sالاحتفاظ بكلا العلامتين واجتياز فحص استعادة التعدين اللاحق
CGemma 3 4B، البوابة84,04488.05 sالاحتفاظ بالعلامة الافتتاحية
CGemma 3 4B، Aperture84,04587.68 sالاحتفاظ بالعلامة الافتتاحية
CGemma 4 12B-IT، البوابة67,254263.07 sالاحتفاظ بالعلامة الافتتاحية
CGemma 4 12B-IT، Aperture دون بث67,255274.24 sالاحتفاظ بالعلامة الافتتاحية
CGemma 4 12B-IT، بث Aperture67,255282.16 sالاحتفاظ بالعلامة الافتتاحية
CQwen3.5 9B، البوابة75,648319.36 sالاحتفاظ بالعلامة الافتتاحية وإلغاء تحميل النموذج
CGPT-OSS 20B، البوابة84,099315.83 sالاحتفاظ بالعلامة الافتتاحية وإلغاء تحميل النموذج
DQwen3.5 9B، Aperture81,051324.07 sنجاح الاحتفاظ على الأداة المثبتة
DGemma 4 12B-IT، Aperture72,057300.67 sنجاح الاحتفاظ على الأداة المثبتة
DGPT-OSS 20B، Aperture72,104245.94 sنجاح الاحتفاظ على الأداة المثبتة

لم يزل البث انتظار التمهيد الطويل لـ Gemma 4 على النظام C. وصل أول محتوى متدفق بعد 277.49 ثانية، أي بعد الاستجابة الكاملة غير المتدفقة البالغة 274.24 ثانية. وانتهت مهلة محاولة سابقة غير متدفقة قبل نجاح إعادة المحاولة. سأخصص هذا المسار للعمل الذي يناسبه انتظار أولي لعدة دقائق.

يظهر Gemma 3 4B أيضًا سبب حصر التأهيل بالنظام المختبَر. فقد أخفق النظام D في العثور على العلامة الافتتاحية في محاولتي استرجاع عند 65K، بما في ذلك إعادة عند درجة حرارة صفر مع 67,252 رمز إدخال. وانتهى الطلب الحتمي طبيعيًا خلال 62.07 ثانية مع استخدام GPU كاملًا.

لم يثبت الإكمال السريع والاستجابة الطبيعية من API صحة الإجابة. سأستخدم مسار النظام C الناجح وأستبعد مسار النظام D الفاشل من اختيار Hermes.

يحدد وضع التفكير مدى فائدة Qwen3.5 0.8B

أصبح Qwen3.5 0.8B مرشحًا مفيدًا للاسترجاع المحدود على النظام C بعد تعطيل التفكير. واحتفظ النموذج الصغير Q8_0 بـ 75,649 رمز إدخال عبر البوابة خلال 65.92 ثانية. وتتعلق هذه النتيجة بالأداة Q8_0 المختبَرة وبالمسار دون تفكير، لا بتكوينات السياق القديمة 16K المعروضة في موضع آخر من الجدول.

طلب Qwen3.5 0.8B على النظام Cرموز الإدخالرموز الإخراجالمدةالنتيجة
التفكير الافتراضي، تشخيص قصير9,0503,39166.56 sالعلامة الافتتاحية مطابقة
تعطيل التفكير، تشخيص مماثل9,055217.65 sالعلامة الافتتاحية مطابقة، دون نص استدلال
التفكير الافتراضي، محاولة طويلةانتهاء المهلة عند 600 sلم تكتمل الإجابة
تعطيل التفكير، Ollama أصلي75,6562269.80 sالعلامة الافتتاحية مطابقة
نقطة نهاية متوافقة مع OpenAI دون تفكير75,6461269.09 sالعلامة الافتتاحية مطابقة
وسيط يفرض وضع عدم التفكير75,6471366.83 sالعلامة الافتتاحية مطابقة
LiteLLM من النظام A إلى النظام C75,6491565.92 sالعلامة الافتتاحية مطابقة

انخفض زمن التشخيص المماثل من 66.56 إلى 7.65 ثانية، أي أسرع بنحو 8.7 مرات، بينما انخفضت المخرجات المنتجة من 3,391 إلى 21 رمزًا. ولهذا سأحدد وضع الاستدلال صراحةً لمهام الاستخراج والتوجيه البسيطة. فقد استهلك التفكير الافتراضي معظم العمل في مخرجات لا تحتاجها المهمة.

أخفقت أداة فحص قصيرة متوافقة مع OpenAI في العثور على العلامة قبل نجاح الإعادة عند درجة حرارة صفر. واستخدمت اختبارات المسار الناجحة وضع عدم التفكير والإكمال الطبيعي دون حد للمخرجات. واجتازت ثلاث بوابات أخرى طلبات العلامة القصيرة في 4.22 و4.37 و3.85 ثانية. وتثبت هذه الاختبارات التوجيه، بينما يثبت طلب 75,649 رمزًا الاحتفاظ بالمدخلات الطويلة عبر البوابة.

سأجرب هذا المسار للاسترجاع والاستخراج المحدودين، وأختار نموذجًا أكبر لاستدلال الوكيل المفتوح. فاستعادة علامة اصطناعية واحدة أضيق نطاقًا من التخطيط أو البرمجة أو تنسيق عدة أدوات.

تناسب أنظمة RTX 3060 Ti وRTX 3070 نموذجي Qwen3.5 2B و4B

يمثل Qwen3.5 2B و4B خياري العملي للبدء مع بطاقات 8GB. واجتازت طلبات سياق النص على الأنظمة E وF وG مع 65,579 رمز إدخال ومدد من 30.343 إلى 93.753 ثانية. كما اجتازت مسارات 4B المختبَرة فحوص الأدوات والبث والصور.

احتفظت إعادة اختبار سياق الرؤية 4B في النظام E بكلتا العلامتين وترتيب ألوان الصورة عند 65,637 رمز إدخال خلال 44.88 ثانية. كما اجتازت الطلبات بترتيب الألوان الأمامي والمعكوس. واستخدمت الإعادة بطاقة سليمة بعد تعرض بطاقة أخرى لعطل ارتباط Xid 79 وإعادة تشغيل النظام.

النظامسياق النص Qwen3.5 2Bسياق النص Qwen3.5 4Bسياق الرؤية Qwen3.5 4B
E، مجموعة RTX 3060 Ti65,579 رمزًا، 30.343 s65,579 رمزًا، 53.787 s65,637 رمزًا، 44.88 s
F، مجموعة RTX 3060 Ti65,579 رمزًا، 61.282 s65,579 رمزًا، 93.753 s65,635 رمزًا، 84.749 s
G، مجموعة RTX 307065,579 رمزًا، 76.731 s65,579 رمزًا، 90.807 s65,635 رمزًا، 87.496 s

سجل كل واحد من هذه الأنظمة 29 فحصًا ناجحًا. كما يوضح اختلاف التوقيت بين نظامي RTX 3060 Ti سبب اختياري ملف تعريف نظام مختبَر بدل ترتيب البطاقات حسب مدد الطلب هذه.

عادت الأنظمة السبعة كلها إلى التعدين بعد نافذة الاستدلال. واجتاز فحص استعادة التعدين المنفصل بعد إيقاف النظام B مع أسهم مقبولة جديدة. وعادت البطاقة المتعطلة في النظام E إلى التعدين لاحقًا بعد إعادة التشغيل وتعزيز ارتباط PCIe، مع استمرار استبعادها من مجموعة الذكاء الاصطناعي. واستعادة التعدين في نهاية النافذة نتيجة منفصلة عن التسليم التلقائي بعد كل طلب استدلال.

تحميل النموذج لا يعني تأهيله

سأستبعد DeepSeek Coder V2 16B من خيارات Hermes المختبَرة عند 65K. فقد احتفظ اختبار ذاكرة التخزين المؤقت f16 بـ 50,477 رمز إدخال، لكن اختبار هدف 65K وصل إلى حاجز VRAM. وحمّلت بدائل ذاكرة Q4 وQ8 الأوزان على وحدات GPU، ثم اصطدمت بحدود ذاكرة المضيف أو بمعدل معالجة ضعيف للمطالبات الطويلة.

ملف ذاكرة DeepSeek Coder V2 المؤقتةسياق التشغيلالنتيجة المرصودةتقييمي
f1681,920نجح استرجاع 50,477 رمزًا، ورُفض الطلب الزائد الحجمنتيجة مفيدة بسياق أقصر
f1673,728توقف التمهيد المستهدف 65K عند استخدام GPU بسعة 15,802 MiBلا يؤهل لـ 65K
Q4_098,304انخفض التمهيد الطويل إلى 96.72 رمزًا/ثانية قبل الإيقاف المتحكم بهغير ملائم لهذا الحمل
Q8_077,824انخفض التمهيد الطويل إلى 120.12 رمزًا/ثانية قبل الإيقاف المتحكم بهغير ملائم لهذا الحمل
Q4_0 / Q8_0، ملفات أكبر163,840 / 98,304أوقفت حواجز ذاكرة المضيف التجاربيتطلب ملاءمة الذاكرة النظر إلى النظام كاملًا

الدرس العملي هو اختبار الطلب الذي تنوي إرساله. فوجود النموذج في ذاكرة GPU، أو إجابته القصيرة، أو ضبط سياق كبير له لا يثبت الاحتفاظ بالمدخلات الطويلة بزمن استجابة مناسب.

تحسن Granite 4.2 8B وGPT-OSS 20B بعد أعمال متابعة خاصة بالمسار على النظام A. احتفظ مسار Granite Q6_K بـ 66,082 رمز إدخال خلال 88.636 ثانية دون إدخال مخزن مؤقتًا. وأكمل GPT-OSS دورة الأداة بعد إصلاح الوسيط، في 9.854 ثانية للاستدعاء و9.849 ثانية للمتابعة. وسأميز فحوص المسار الناجحة هذه عن المحاولات السابقة غير المكتملة.

النتائج الكاملة للاختبارات المعيارية

يضم الجدول 295 فحصًا عبر 59 مجموعة من النماذج والأنظمة. وتسجل المصفوفة 273 نجاحًا، وفشلًا واحدًا في الاسترجاع، وسبع نتائج غير مكتملة أو غير متسقة أو غير متوافقة. وتقع أربعة عشر عملية فحص خارج نطاق التأهيل عند 65K. ويُظهر كل صف نتيجته المقاسة.

تنطبق توصياتي على المسارات وأحمال العمل الناجحة. ولا يؤهل الصف الفاشل أو غير المكتمل للسلوك المقابل.

تنطبق نجاحات السياق القصير والتضمينات على أحمالها الخاصة. ولا يؤهل النجاح بسياق 16K أو 32K المسار لحمل Hermes البالغ 65,536 رمز إدخال. وأسماء النماذج هنا هي تسميات للمسارات. وقد خدمت التسمية flash-iq2 واجهة التوافق الخلفية IQ4.

يمثل صف سياق Qwen3.5 35B للنظام A المرحلة الأخيرة ذات البادئة المشتركة من التسلسل أعلاه. وتعرض مدد الأدوات المكتوبة بعلامة زائد زمن الاستدعاء والمتابعة كلًا على حدة.

يعرض صف التزامن مدتي الطلبين المدرجين في قائمة الانتظار. ويعرض صف الإلغاء زمن التحرير بعد إغلاق العميل للبث. وتظهر تسلسلات السياق الإضافية ومقارنات مسار Qwen3.5 0.8B في الجداول الخاصة بها أعلاه.

النظام A

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
bonsai-2-27bcontextناجح65,62188.746 s
bonsai-2-27bquickناجح576.429 s
bonsai-2-27bstreamناجح9.371 s
bonsai-2-27btoolsناجح10.478 s
deepseek-coder-v2:16bcontextغير متوافق50,477
deepseek-coder-v2:16bquickناجح7743.239 s
flash-iq2contextناجح66,007213.25 s
flash-iq2quickناجح56.03 s
flash-iq2streamناجح1.35 s
flash-iq2toolsناجح16.55 s
gemma-4-12b-itcontextناجح65,59051.225 s
gemma-4-12b-itquickناجح215.166 s
gemma-4-12b-itstreamناجح4.653 s
gemma-4-12b-ittoolsناجح18.72 s
gemma-4-12b-itvisionناجح1157.222 s
gemma-4-12b-itvision_contextناجح65,68556.06 s
gemma-4-12b-itvision_reverseناجح1157.467 s
gemma-4-e4b-itcontextناجح65,59021.889 s
gemma-4-e4b-itquickناجح2117.919 s
gemma-4-e4b-itstreamناجح4.25 s
gemma-4-e4b-ittoolsناجح8.734 s
gpt-oss-20bcontextناجح65,637159.155 s
gpt-oss-20bquickناجح7310.548 s
gpt-oss-20bstreamناجح20.594 s
gpt-oss-20btoolsناجح9.854 + 9.849 s
granite-4.2-3bcontextناجح65,58970.968 s
granite-4.2-3bquickناجح204.009 s
granite-4.2-3bstreamناجح5.365 s
granite-4.2-3btoolsناجح6.086 s
granite-4.2-8bcontextناجح66,08288.636 s
granite-4.2-8bquickناجح205.857 s
granite-4.2-8bstreamناجح11.826 s
granite-4.2-8btoolsناجح11.852 s
qwen27bcontextناجح66,00754.64 s
qwen27bquickناجح5731.5 s
qwen27bstreamناجح0.92 s
qwen27btoolsناجح4.25 s
qwen3-embedding-0.6bcontextناجح32,7677.736 s
qwen3-embedding-0.6bquickناجح142.125 s
qwen3.5-0.8bcontextناجح16,42910.5 s
qwen3.5-0.8bquickناجح1714.316 s
qwen3.5-0.8bstreamناجح2.125 s
qwen3.5-0.8btoolsناجح4.416 s
qwen3.5-2bcontextناجح65,58111.175 s
qwen3.5-2bquickناجح174.519 s
qwen3.5-2bstreamناجح3.736 s
qwen3.5-2btoolsناجح5.046 s
qwen3.5-4bcontextناجح65,57936.451 s
qwen3.5-4bquickناجح1519.935 s
qwen3.5-4bstreamناجح17.496 s
qwen3.5-4btoolsناجح7.308 s
qwen3.5-4bvisionناجح707.848 s
qwen3.5-4bvision_contextناجح65,63528.24 s
qwen3.5-4bvision_reverseناجح704.386 s
qwen3.5-9bcontextناجح65,58134.139 s
qwen3.5-9bquickناجح173.88 s
qwen3.5-9bstreamناجح3.378 s
qwen3.5-9btoolsناجح10.204 s
qwen3.5-9bvisionناجح724.441 s
qwen3.5-9bvision_contextناجح65,63733.745 s
qwen3.5-9bvision_reverseناجح723.97 s
qwen3.5:35b-a3b-q4_K_Mcancellationناجح60.31 s
qwen3.5:35b-a3b-q4_K_Mconcurrencyناجح26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_Mcontextناجح248,27954.215 s
qwen3.5:35b-a3b-q4_K_Mgatewayناجح239,153148.12 s
qwen3.5:35b-a3b-q4_K_Mquickناجح7910.08 s
qwen3.5:35b-a3b-q4_K_Mstreamناجح69,42938.783 s
qwen3.5:35b-a3b-q4_K_Mtoolsناجح15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_Mvisionناجح18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextناجح65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickناجح153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamناجح0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsناجح2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionناجح380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextناجح65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickناجح1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamناجح1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsناجح22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionناجح3.86 s

النظام B

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-12b-itcontextناجح65,590299.163 s
gemma-4-12b-itquickناجح2115.261 s
gemma-4-12b-itstreamناجح148.792 s
gemma-4-12b-ittoolsناجح34.124 s
gemma-4-12b-itvisionناجح12061.455 s
gemma-4-12b-itvision_contextناجح65,690295.581 s
gemma-4-12b-itvision_reverseناجح12032.511 s
gemma3-4bcontextناجح65,58467.382 s
gemma3-4bquickناجح156.329 s
gemma3-4bstreamناجح24.138 s
gemma3-4bvisionناجح3067.018 s
gemma3-4bvision_contextناجح65,87670.912 s
gemma3-4bvision_reverseناجح3065.762 s
gpt-oss-20bcontextناجح65,637206.767 s
gpt-oss-20bquickناجح7216.583 s
gpt-oss-20bstreamناجح32.075 s
gpt-oss-20btoolsناجح28.102 s
nomic-embed-textcontextغير مكتمل2,048
nomic-embed-textquickناجح7.117 s
qwen3-14bcontextغير مكتمل1800.09 s
qwen3-14bquickناجح1537.199 s
qwen3-14bstreamناجح35.471 s
qwen3-14btoolsناجح87.554 s
qwen3-8bcontextمستبعد دون 65K
qwen3-8bquickخارج النطاق دون 65K، ناجح1521.059 s
qwen3-8bstreamمستبعد دون 65K
qwen3-8btoolsمستبعد دون 65K
qwen3.5-9bcontextناجح65,579282.796 s
qwen3.5-9blitellm_long_routeناجح72,265263 s
qwen3.5-9bpost_external_stop_miningناجح
qwen3.5-9bquickناجح1525.881 s
qwen3.5-9bstreamناجح143.44 s
qwen3.5-9btoolsناجح31.812 s
qwen3.5-9bvisionناجح7532.015 s
qwen3.5-9bvision_contextناجح65,640396.288 s
qwen3.5-9bvision_reverseناجح7528.626 s

النظام C

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-12b-itaperture_contextناجح67,255274.24 s
gemma-4-12b-itaperture_shortناجح3539.32 s
gemma-4-12b-itaperture_stream_contextناجح67,255282.16 s
gemma-4-12b-itcontextناجح65,670313.661 s
gemma-4-12b-itgateway_contextناجح67,254263.07 s
gemma-4-12b-itgateway_shortناجح2720.98 s
gemma-4-12b-itquickناجح2116.447 s
gemma-4-12b-itstreamناجح15.175 s
gemma-4-12b-ittoolsناجح37.821 s
gemma-4-12b-itvisionناجح12058.52 s
gemma-4-12b-itvision_contextناجح65,690308.759 s
gemma-4-12b-itvision_reverseناجح12031.25 s
gemma3-4baperture_contextناجح84,04587.68 s
gemma3-4baperture_after_system_d_route_changeناجح245.42 s
gemma3-4baperture_shortناجح225.45 s
gemma3-4baperture_streamناجح3.72 s
gemma3-4bcontextناجح65,66467.543 s
gemma3-4bgateway_contextناجح84,04488.05 s
gemma3-4bgateway_short_via_system_aناجح3.16 s
gemma3-4bgateway_short_via_system_eناجح
gemma3-4bgateway_short_via_system_fناجح4.15 s
gemma3-4bgateway_short_via_system_gناجح6.06 s
gemma3-4bquickناجح155.163 s
gemma3-4bstreamناجح24.691 s
gemma3-4bvisionناجح3067.318 s
gemma3-4bvision_contextناجح65,87672.476 s
gemma3-4bvision_reverseناجح3065.831 s
gpt-oss-20bcontextناجح65,716216.594 s
gpt-oss-20bgateway_contextناجح84,099315.83 s
gpt-oss-20bgateway_shortغير متسق
gpt-oss-20bquickناجح7221.603 s
gpt-oss-20bstreamناجح31.957 s
gpt-oss-20btoolsناجح26.096 s
nomic-embed-textcontextخارج النطاق دون 65K، غير مكتمل2,048
nomic-embed-textquickخارج النطاق دون 65K، ناجح4.178 s
qwen3-14bcontextخارج النطاق دون 65K، غير مكتمل1800.06 s
qwen3-14bquickخارج النطاق دون 65K، ناجح1535.809 s
qwen3-14bstreamخارج النطاق دون 65K، ناجح35.43 s
qwen3-14btoolsخارج النطاق دون 65K، ناجح87.723 s
qwen3-8bcontextمستبعد دون 65K
qwen3-8bquickخارج النطاق دون 65K، ناجح1521.293 s
qwen3-8bstreamخارج النطاق دون 65K، غير مكتمل900.01 s
qwen3-8btoolsمستبعد دون 65K
qwen3.5-9bcontextناجح65,662287.984 s
qwen3.5-9bgateway_contextناجح75,648319.36 s
qwen3.5-9bgateway_shortناجح2172.14 s
qwen3.5-9bquickناجح1524.635 s
qwen3.5-9bstreamناجح143.157 s
qwen3.5-9btoolsناجح30.395 s
qwen3.5-9bvisionناجح7527.756 s
qwen3.5-9bvision_contextناجح65,640398.797 s
qwen3.5-9bvision_reverseناجح7528.645 s

النظام D

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-12b-itcontextناجح65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kناجح72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortناجح3430.74 s
gemma-4-12b-itquickناجح2115.05 s
gemma-4-12b-itstreamناجح14.722 s
gemma-4-12b-ittoolsناجح33.869 s
gemma-4-12b-itvisionناجح12056.315 s
gemma-4-12b-itvision_contextناجح65,690282.174 s
gemma-4-12b-itvision_reverseناجح12029.978 s
gemma3-4bcontextناجح65,58463.564 s
gemma3-4bexact_digest_65k_recallفشل67,25262.07 s
gemma3-4bquickناجح155.151 s
gemma3-4bstreamناجح22.552 s
gemma3-4bvisionناجح3068.276 s
gemma3-4bvision_contextناجح65,87667.575 s
gemma3-4bvision_reverseناجح3065.651 s
gpt-oss-20bcontextناجح65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kناجح72,104245.94 s
gpt-oss-20bexact_digest_broker_shortناجح8415.96 s
gpt-oss-20bquickناجح7215.431 s
gpt-oss-20bstreamناجح31.052 s
gpt-oss-20btoolsناجح23.65 s
nomic-embed-textcontextغير مكتمل2,048
nomic-embed-textquickناجح2.798 s
qwen3-14bcontextغير مكتمل40,939872.209 s
qwen3-14bquickناجح1536.021 s
qwen3-14bstreamناجح33.491 s
qwen3-14btoolsناجح82.471 s
qwen3-8bcontextغير مكتمل1800.07 s
qwen3-8bquickناجح1519.283 s
qwen3-8bstreamناجح19.401 s
qwen3-8btoolsناجح65.054 s
qwen3.5-9bcontextناجح65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kناجح81,051324.07 s
qwen3.5-9bexact_digest_broker_shortناجح2994.48 s
qwen3.5-9bquickناجح1527.16 s
qwen3.5-9bstreamناجح28.62 s
qwen3.5-9btoolsناجح28.129 s
qwen3.5-9bvisionناجح7525.047 s
qwen3.5-9bvision_contextناجح65,640369.477 s
qwen3.5-9bvision_reverseناجح7527.602 s

النظام E

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-e4b-itcontextناجح65,59049.086 s
gemma-4-e4b-itquickناجح2123.911 s
gemma-4-e4b-itstreamناجح28.136 s
gemma-4-e4b-ittoolsناجح56.756 s
granite-4.0-h-tinycontextناجح65,566
granite-4.0-h-tinyquickناجح3510.408 s
granite-4.0-h-tinystreamناجح27.798 s
granite-4.0-h-tinytoolsناجح43.304 s
granite-4.2-3bcontextناجح65,5891014.03 s
granite-4.2-3bquickناجح2014.569 s
granite-4.2-3bstreamناجح6.948 s
granite-4.2-3btoolsناجح56.376 s
qwen3-embedding-0.6bcontextناجح32,76720.387 s
qwen3-embedding-0.6bquickناجح149.592 s
qwen3.5-0.8bcontextناجح16,4299.128 s
qwen3.5-0.8bquickناجح17452.417 s
qwen3.5-0.8bstreamناجح11.163 s
qwen3.5-0.8btoolsناجح39.214 s
qwen3.5-2bcontextناجح65,57930.343 s
qwen3.5-2bquickناجح1512.509 s
qwen3.5-2bstreamناجح26.165 s
qwen3.5-2btoolsناجح42.056 s
qwen3.5-4bcontextناجح65,57953.787 s
qwen3.5-4bquickناجح1526.736 s
qwen3.5-4bstreamناجح26.02 s
qwen3.5-4btoolsناجح57.293 s
qwen3.5-4bvisionناجح7210.09 s
qwen3.5-4bvision_contextناجح65,63744.88 s
qwen3.5-4bvision_reverseناجح729.96 s

النظام F

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-e4b-itcontextناجح65,59098.443 s
gemma-4-e4b-itquickناجح2127.51 s
gemma-4-e4b-itstreamناجح28.042 s
gemma-4-e4b-ittoolsناجح73.891 s
granite-4.0-h-tinycontextناجح65,59919.692 s
granite-4.0-h-tinyquickناجح3543.818 s
granite-4.0-h-tinystreamناجح27.296 s
granite-4.0-h-tinytoolsناجح75.377 s
granite-4.2-3bcontextناجح65,589145.179 s
granite-4.2-3bquickناجح2015.703 s
granite-4.2-3bstreamناجح35.482 s
granite-4.2-3btoolsناجح52.539 s
qwen3-embedding-0.6bcontextناجح32,76720.656 s
qwen3-embedding-0.6bquickناجح148.122 s
qwen3.5-0.8bcontextناجح16,42913.326 s
qwen3.5-0.8bquickناجح17445.22 s
qwen3.5-0.8bstreamناجح13.266 s
qwen3.5-0.8btoolsناجح40.825 s
qwen3.5-2bcontextناجح65,57961.282 s
qwen3.5-2bquickناجح1516.738 s
qwen3.5-2bstreamناجح25.29 s
qwen3.5-2btoolsناجح47.444 s
qwen3.5-4bcontextناجح65,57993.753 s
qwen3.5-4bquickناجح1533.039 s
qwen3.5-4bstreamناجح25.658 s
qwen3.5-4btoolsناجح71.731 s
qwen3.5-4bvisionناجح7043.053 s
qwen3.5-4bvision_contextناجح65,63584.749 s
qwen3.5-4bvision_reverseناجح7027.518 s

النظام G

تسمية مسار النموذجالفحصالنتيجةرموز الإدخالمدة الطلب
gemma-4-e4b-itcontextناجح65,59092.696 s
gemma-4-e4b-itquickناجح2138.329 s
gemma-4-e4b-itstreamناجح43.549 s
gemma-4-e4b-ittoolsناجح66.616 s
granite-4.0-h-tinycontextناجح65,59969.777 s
granite-4.0-h-tinyquickناجح3533.17 s
granite-4.0-h-tinystreamناجح31.751 s
granite-4.0-h-tinytoolsناجح63.338 s
granite-4.2-3bcontextناجح65,589100.849 s
granite-4.2-3bquickناجح2023.355 s
granite-4.2-3bstreamناجح28.75 s
granite-4.2-3btoolsناجح44.226 s
qwen3-embedding-0.6bcontextناجح32,76723.055 s
qwen3-embedding-0.6bquickناجح148.924 s
qwen3.5-0.8bcontextناجح16,42916.74 s
qwen3.5-0.8bquickناجح17504.813 s
qwen3.5-0.8bstreamناجح15.095 s
qwen3.5-0.8btoolsناجح36.672 s
qwen3.5-2bcontextناجح65,57976.731 s
qwen3.5-2bquickناجح1520.949 s
qwen3.5-2bstreamناجح25.194 s
qwen3.5-2btoolsناجح37.552 s
qwen3.5-4bcontextناجح65,57990.807 s
qwen3.5-4bquickناجح1541.84 s
qwen3.5-4bstreamناجح40.812 s
qwen3.5-4btoolsناجح54.999 s
qwen3.5-4bvisionناجح7029.619 s
qwen3.5-4bvision_contextناجح65,63587.496 s
qwen3.5-4bvision_reverseناجح7026.283 s

كيف اختبرت صلاحية Hermes

وضعت علامة اصطناعية قرب بداية مطالبة طويلة، ثم طلبت العلامة بعد نص الحشو. وكان ينبغي للاستجابة أن تعيد القيمة المتوقعة. وحدد عدد رموز الإدخال الذي أبلغ عنه الخادم حجم الطلب. وكان النموذج يفشل حتى لو أجاب بصورة طبيعية بعد مطالبة كبيرة، إذا كانت العلامة الافتتاحية خاطئة.

استخدم تسلسل Qwen3.5 35B سجلات حشو مرقمة ودرجة حرارة 0 وأطوالًا متزايدة من 3,800 و6,800 و10,000 و13,600 سجل. وأعادت تلك المراحل 69,429 و124,179 و182,579 و248,279 رمز مطالبة. ظل النموذج محملًا بين المراحل، مما أتاح إعادة استخدام البادئة. وأفادت اختبارات Qwen3.6 المنفصلة قرب الحد بعدم وجود رموز مخزنة مؤقتًا.

كررت المطالبة الطويلة للنموذج 0.8B النص river stone lantern orchard circuit velvet compass marble عدد 8,400 مرة بين مفتاح إجابة افتتاحي وسؤال استرجاع نهائي. وأرسل التشغيل الأصلي think:false وnum_ctx:131072 وstream:false وkeep_alive:0. واستخدم المسار المتوافق مع OpenAI reasoning_effort:"none". وفرض الوسيط وضع عدم التفكير لمساره، لذا لم يحتج المتصلون بالبوابة إلى تجاوز من العميل.

فحوص الأدوات والرؤية والتحرير

تحققت اختبارات الأدوات من الطلب ومن الإجابة بعد عودة نتيجة الأداة. واستخدم اختبار بسيط add_numbers(7, 11) وانتظر 18. أما اختبار Qwen3.5 35B فاستخدم lookup_square وانتظر 49. واستخدم GPT-OSS استعلامًا عن المخزون، وكان عليه دمج نتيجة المخزون المعادة.

استخدمت فحوص الرؤية أسئلة عن صور حمراء وزرقاء، وعكست ترتيب الصور، وأدرجت ألوان الصور وعلامات البداية والنهاية في المطالبات الطويلة. واستخدم اختبار Qwen3.5 35B صورة PNG حمراء بحجم 256 × 256. واحتاج الوسيط إلى إصلاح تحويل محتوى الصورة قبل نجاح هذا الطلب. واشترط اختبار الرؤية الطويل 4B في النظام E بقاء العلامتين وترتيب الألوان عبر الإدخال.

تحققت من ذاكرة GPU وإقامة النموذج ودرجات الحرارة وضغط ذاكرة المضيف وأحداث OOM وأعطال GPU أثناء التشغيلات الطويلة وحولها. كما تحقق حاجز Qwen3.5 35B من التحرير بعد مقاطعة متحكم بها. واختبرت فحوص إلغاء العميل والطلبات المصطفة اللاحقة مسار الوسيط. ويثبت وجود طلبين في قائمة الانتظار معالجة الطلبات تحت الحمل المختبَر، لا وجود واجهتين مستقلتين ومتزامنتين لوحدات GPU.

قراءة نتائج الأداء

تشمل مدد الطلبات تمهيد المدخلات الطويلة والإجابة المعادة، ولا تمثل معدل توليد الرموز في الثانية. ويهم زمن وصول أول محتوى للبث، كما تتطلب تسلسلات إعادة استخدام البادئات المخزنة تفسيرًا خاصًا.

استخدمت تشغيلات المتابعة الناجحة للنماذج الأكبر في النظامين A وC نوافذ استدلال مخصصة مع تعطيل التعدين. وأُزيلت النماذج من الذاكرة بعد تلك الطلبات. واستؤنف التعدين في الأنظمة السبعة جميعها عند نهاية نافذة الاختبار. وتصف هذه النتائج خدمة النماذج أثناء نافذة الاستدلال، لا التعدين والاستدلال المتزامنين.

ملفات تعريف الواجهات الخلفية المستخدمة في الاختبارات

اختر ملف التعريف المرتبط بحمل العمل الذي تريد إعادة إنتاجه. تؤثر الكميّة والسياق التشغيلي ونوع الذاكرة المؤقتة ووضع الاستدلال وتوزيع GPU في النتيجة.

النظام والنموذجملف تعريف الواجهة الخلفية المختبَر
A، Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2، ذاكرة KV مؤقتة f16، بطاقتا RTX 5060 Ti بسعة 16GB، ذاكرة مضيف 64 GiB، وسياق تشغيل 262,144 للتسلسل الكبير. استخدمت الطلبات الأصلية think:false ودرجة حرارة 0 والبث وإبقاءً نشطًا لخمس دقائق بين المراحل. واستخدمت طلبات البوابة الوسيط وLiteLLM. لا يوجد حد لمخرجات الطلب.
A، Qwen3.8 27Bllama.cpp عند الطلب عبر الوسيط وLiteLLM، سياق تشغيل 262,144، خانة استدلال واحدة، ذاكرة K/V مؤقتة Q4، وبطاقتا RTX 5060 Ti. لم يُفرض حد مخرجات على طلب 66,007 رمز.
A، Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48، سياق 131,072، ذاكرة KV مؤقتة INT8، GPU مختارة واحدة، حد ذاكرة مجموعة العمليات 55 GiB، حد تشغيل 30 دقيقة، تحميل كسول، وتفريغ بعد خمول 60 ثانية. إجابة تجريبية طويلة: 217 رمز إخراج. إجابة بوابة قرب الحد: 11 رمز إخراج، دون حد لمخرجات الطلب.
A، Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48، سياق 98,304، ذاكرة KV مؤقتة Q4، ذاكرة خبراء مقيمة 8 GiB، وبطاقتا RTX 5060 Ti. حد الذاكرة التجريبي 52 GiB، ثم 54 GiB للمسار اللاحق. إجابة تجريبية طويلة: 10 رموز إخراج. وتوقفت مجموعات سابقة ذات سياق وذاكرة أكبر عند حدود الذاكرة.
A، Granite 4.2 8Bأوزان GGUF Q6_K، عامل llama.cpp مجمّع، سياق 131,072، ذاكرة K/V مؤقتة Q4_0، و--n-predict -1. استخدم الطلب الطويل درجة حرارة 0 وقياس الاستخدام أثناء البث دون حد إخراج.
A، DeepSeek Coder V2 16Bأوزان GGUF Q4_0، Ollama 0.34.2، بطاقتا RTX 5060 Ti، وذاكرة مضيف 64 GiB. استخدمت تجارب الذاكرة المؤقتة المنفصلة f16 وQ4_0 وQ8_0 سياقات التشغيل المعروضة في جدول المقارنة. لا يوجد حد لمخرجات الطلب.
B وC وD، خدمة Ollama المدققةOllama 0.34.2، سياق 131,072، توازٍ 1، نموذج محمّل واحد، حجم قائمة انتظار 128، إبقاء نشط 0، Flash Attention، وذاكرة KV مؤقتة Q4_0.
B، تجربة بوابة Qwen3.5 9Bمهلة مسار LiteLLM مقدارها 1,800 ثانية، دون إعادة محاولة ودون حد للسياق أو رموز الإخراج. احتُفظ بكلتا العلامتين عند 72,265 رمز إدخال. واجتاز فحص استعادة التعدين المنفصل.
C، Qwen3.5 0.8Bأوزان Q8_0 على RTX 2000E Ada واحدة مع ملف طاقة 30 W. سياق التشغيل 131,072. think:false الأصلي، وreasoning_effort:"none" المتوافق مع OpenAI، دون حد للإخراج. ثبّت الاسم المستعار للوسيط سياق التشغيل وفرض وضع عدم التفكير.
C، Gemma 4 12B-ITملف Ollama لوحدة GPU واحدة، سياق تشغيل 131,072، وطلبات Aperture متدفقة وغير متدفقة دون حد للمخرجات. بلغ التشغيل المباشر في Aperture ذروة 75 C و30.64 W مع ملف الطاقة المضبوط على 30 W، ثم أُلغي تحميله.
D، Qwen3.5 9B وGemma 4 12B-IT وGPT-OSS 20Bاختُبرت الأدوات المثبتة نفسها عبر Aperture، بسياق تشغيل 131,072 وإقامة كاملة على GPU واحدة وإكمال طبيعي دون حد لمخرجات الطلب.
E وF وG، عمال محادثة llama.cppالإصدار 11669، و99 طبقة GPU، وتوازٍ 1، وFlash Attention، وذاكرة K/V مؤقتة Q4_0، و--n-predict -1. اختلف سياق التشغيل حسب عائلة النموذج.

تصف ملفات تعريف الخدمة المسجلة تكوينات التشغيل الخاصة بها. ولا يرث ملف Qwen3.5 35B المنفصل بذاكرة f16 المؤقتة والمختبَر على النظام A إعداد ذاكرة Q4_0 المؤقتة لأنظمة Ollama الأصغر.

بصمات النماذج لتجارب الإدخال المحتفَظ به الجديدة

تميز معرفات النماذج هذه الأدوات المختبَرة عن التنزيلات أو الأسماء المستعارة الأخرى ذات الأسماء المتشابهة.

الأداةالكميّةالبصمة المسجلة أو SHA-256 للملف
علامة Ollama لـ Qwen3.5 35B-A3BQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
علامة Ollama الأساسية لـ Qwen3.5 0.8BQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
ملف GGUF لـ Granite 4.2 8BQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

تحدد بصمات بيان Ollama وقيم SHA-256 لملفات الأوزان كائنات مختلفة. طابق المعرّف مع نوع الأداة في الجدول.

ما سأستخدمه مع Hermes

سأجعل Qwen3.5 35B مسار السياق العالي الرئيسي على نظام بطاقتي RTX 5060 Ti. ويدعم اختياري احتفاظ البوابة بـ 239,153 رمزًا وفحوص الأدوات والرؤية المنفصلة وتحرير الطلبات المتحقق منه، أكثر من نموذج يُعلن عن نافذة سياق واسعة. وسأبقي Qwen3.8 27B للاستجابة الأسرع للطلبات المتطابقة عند 66K، وأبقي Qwen3.6 عند أهمية استخدام بطاقة واحدة.

على أنظمة RTX 2000E Ada، سأختار مسار Gemma 3 4B المتحقق منه في النظام C لحمل الاستجابة ذي المدخل الطويل المختبَر. وسأجرب مسار Qwen3.5 0.8B دون تفكير للاسترجاع والاستخراج المحدودين. وتناسب مسارات Gemma وQwen وGPT-OSS الأكبر الأعمال التي تقبل استجابة أولية مختبَرة تستغرق أربعًا إلى خمس دقائق. وسأستبعد مسار Gemma 3 الفاشل في النظام D.

لبطاقات RTX 3060 Ti وRTX 3070 بسعة 8GB، سأبدأ بـ Qwen3.5 2B أو 4B. وتدعم نتائج النص عند 65K وفحوص الصور 4B إعداد بداية مفيدًا دون تخصيص البطاقتين ذواتي 16GB لكل طلب. ويجعل ضغط الذاكرة لدى Flash Next وسلوك DeepSeek Coder V2 غير المكتمل عند 65K منهما خيارين افتراضيين أضعف في ملفات التعريف المختبَرة.

تدعم الاختبارات اختيارات النماذج والأنظمة هذه لسير عمل محدد. ويجيب الاحتفاظ بالمدخلات، ودورة الأداة الصحيحة، والتعرف على الصور، والتحرير السليم عن جوانب مختلفة من صلاحية Hermes. ويحتاج الإعداد الموثوق إلى السلوكيات التي يستخدمها وكيلك، مع ترك مساحة كافية للسياق كي يستوعب الإجابة وحركة الأدوات.

المصادر وقراءات ذات صلة