ما نماذج الذكاء الاصطناعي التي تعمل على Raspberry Pi 4 أو 5؟

Table of Contents
يستطيع Raspberry Pi تشغيل نموذج لغة مفيد محلياً، لكن يجب أن يتسع له ذاكرة اللوحة وأن يجيب خلال وقت يناسب تطبيقك. يناسب Raspberry Pi 4 بذاكرة 2 GB النماذج التي يقل عدد معاملاتها عن نحو مليار. أما Raspberry Pi 5 بذاكرة 8 GB فيشغّل النماذج الصغيرة 1B–3B بسهولة، ويمكنه تحميل بعض النماذج المكمّمة الأكبر مع تنازلات كبيرة.
اختبرنا هذه النماذج بأنفسنا عبر Ollama على Pi 4B بذاكرة 2 GB وPi 5 بذاكرة 8 GB، واستخدم كلاهما بطاقة microSD. استخدمت التجارب الواردة في الجداول المطالبات القصيرة الخمسة نفسها للمساعد، ومطالبة النظام نفسها، وseed ثابتاً وحداً أقصى للإخراج قدره 140 token. أوقفنا تحميل النماذج الأخرى قبل كل تجربة، وقسنا وقت التحميل البارد، والوقت حتى أول token ظاهر، ووقت الرد الكامل، وسرعة الإخراج، وذروة الذاكرة المقيمة. هذه اختبارات بمرور واحد لعبء عمل يعتمد الردود القصيرة. لذا فهي أمثلة لتقدير الموارد، وليست تصنيفات عامة للسرعة أو جودة الإجابة. كما تختلف وحدة Cortex-A76 المركزية وتكوينات الذاكرة المتاحة في Pi 5 بوضوح عن منصة Cortex-A72 في Pi 4 .
أنواع النماذج المناسبة
| نوع النموذج | أمثلة من القياسات | الاستخدام العملي |
|---|---|---|
| نماذج نصية صغيرة بنحو 230M–600M من المعاملات | LFM2.5-230M وLFM2.5-350M وQwen2.5-0.5B | أوامر محلية قصيرة وملخصات وإجابات مقيدة؛ أفضل نقطة بداية لـ Pi 4 بذاكرة 2 GB |
| نماذج نصية مدمجة بنحو 1B–2B | LFM2.5-1.2B وQwen2.5-1.5B وGemma 3 1B وMiniCPM5-1B | مساحة أكبر للتعليمات الدقيقة على Pi 5 أو Pi 4 ذي الذاكرة الأكبر، مع ردود أبطأ من النماذج الأصغر |
| نماذج نصية مكمّمة 3B–4B | Qwen2.5-3B وLlama 3.2 3B وGemma 3 4B | خيارات أكثر قدرة لـ Pi 5 بذاكرة 8 GB إذا كان انتظار عدة ثوان لكل رد مقبولاً |
| نماذج أكبر متناثرة أو هجينة | LFM2.5 8B | تعمل تقنياً على Pi 5 المختبر بذاكرة 8 GB، لكن استهلاكها للذاكرة كبير وتحميلها البارد طويل |
هذه نتائج توليد النصوص. لا تثبت أداء توليد الصور أو التعرف على الكلام أو الرؤية أو التدريب. كما أن «يعمل» لا يعني فقط أن ملف النموذج يتسع على البطاقة؛ فبيئة التشغيل وذاكرة التخزين المؤقت للسياق ونظام التشغيل والخدمات الأخرى تحتاج إلى RAM أيضاً. يقلل التكميم حجم ملفات الأوزان، لكنه قد يضعف جودة الإجابة، خصوصاً مع إعدادات شديدة مثل أوزان 1-bit.
ما الذي تقيسه الأرقام
أرسل الاختبار إلى واجهة محادثة Ollama مطالبات قصيرة عن الحقائق وإجراءات السلامة والسياق المسترجع والطقس والمساعدة. تلقى كل نموذج مجموعة المطالبات وseed نفسيهما. أوقفنا تحميل النموذج قبل التوقيت كي يتضمن الطلب التالي تحميله من حالة باردة. يشير الوقت الكامل إلى الطلب بأكمله، بينما تصف tokens per second توليد الإخراج فقط. وسجلنا أيضاً أول token ظاهر، وهو مهم عندما يستغرق النموذج وقتاً في الاستدلال قبل الإجابة.
لقياس الذاكرة، أخذنا عينات من RAM وswap المتاحتين في Pi، إلى جانب الذاكرة المقيمة لـ Ollama وعملية الاستدلال أثناء كل طلب. أرقام RSS هي ذاكرة العملية المقيمة وليست إجمالي احتياج الجهاز. قد تتسبب الصفحات المدعومة بالملفات ونظام التشغيل والمتصفح أو خدمة محلية أخرى في استخدام swap حتى مع نموذج يبدو أنه يتسع. تعرض الجداول الاختبارات الأصلية ذات المطالبات الخمسة والمرور الواحد. أضفنا لاحقاً مطالبة أخبار وفحوصاً لقواعد الرد؛ توضح هذه الفحوص ما ينبغي الانتباه إليه، لكنها لا تحول قياسات السرعة السابقة إلى نتائج امتثال لست مطالبات.
لا تعد tokens per second ولا أعداد المعاملات مقياساً للجودة. قد ينتج النموذج النص بسرعة لكنه يحذف مصدراً مطلوباً، أو يتجاوز حد الكلمات، أو يترك جملة غير مكتملة. قارن النماذج بالمطالبات التي تنوي إرسالها واقرأ إجاباتها قبل اختيارها لتطبيق.
Raspberry Pi 4: فضّل أصغر النماذج
كان هامش الذاكرة محدوداً في Pi 4 المختبر بذاكرة 2 GB. أكملت أصغر نماذج LFM2.5 المطالبات الخمسة كلها، وكذلك qwen2.5:0.5b. وهي خيارات مناسبة لردود قصيرة بلا اتصال أو لمساعد محلي صغير.
| النموذج | ملف النموذج | سرعة الإخراج المقاسة | متوسط زمن الرد | الذاكرة أو النتيجة المرصودة |
|---|---|---|---|---|
| LFM2.5-230M، GGUF مستورد | 0.25 GB | 12.8 token/s | 7.2 s | ذروة الذاكرة المقيمة 383 MB؛ 5/5 مطالبات |
| LFM2.5-350M، GGUF مستورد | 0.38 GB | 8.6 token/s | 8.6 s | ذروة الذاكرة المقيمة 516 MB؛ 5/5 مطالبات |
qwen2.5:0.5b | 0.40 GB | 8.0 token/s | 9.7 s | 5/5 مطالبات؛ متاح مباشرة في Ollama |
| MiniCPM5-1B، GGUF مستورد، الاستدلال متوقف | 0.69 GB | 5.9 token/s | 12.2 s | ذروة الذاكرة المقيمة 883 MB؛ 5/5 مطالبات |
| MiniCPM5-1B، GGUF مستورد، الاستدلال الافتراضي | 0.69 GB | 5.7 token/s | 33.3 s | أعاد رداً ظاهراً مفيداً في مطالبة واحدة فقط من خمس |
qwen3:0.6b، الاستدلال الافتراضي | 0.52 GB | 6.4 token/s | 40.4 s | رد فارغ واحد؛ أعادت اللوحة التشغيل |
granite4:350m | 0.71 GB | 4.6 token/s | 15.5 s | 913 MB RSS، بلا swap أو إعادة تشغيل؛ بطيء لكنه ثابت |
gemma3:1b | 0.82 GB | 4.0 token/s | 30.7 s | swap كثيف؛ أعيد تشغيل اللوحة خلال الاختبار |
qwen3.5:0.8b | 1.04 GB | — | — | لم يكتمل؛ أعيد تشغيل اللوحة |
تعتمد نتائج Pi 4 بشدة على بقية النظام. رصدنا إعادة ضبط اللوحة أثناء اختبار نماذج أكبر، بما في ذلك تجربة qwen3.5:0.8b التي لم تكتمل. يصف ذلك إعدادنا بذاكرة 2 GB، ولا يعني أن كل Pi 4 أو كل نموذج 1B سيؤدي إلى إعادة التشغيل. لدى Pi 4 بذاكرة 4 أو 8 GB ذاكرة أكثر، لكن CPU سيظل أبطأ في الاستدلال من Pi 5 المختبر. لم نختبر مباشرة تلك المتغيرات ذات الذاكرة الأكبر.
بدت إحدى تجارب Pi 4 المبكرة أسوأ كثيراً من القياسات النهائية: استهلكت ملفات GGUF المرحلية بحجم نحو 625 MB مجلد /tmp الموجود في RAM، فبقي 500–600 MB فقط متاحة وانتقلت مئات الميغابايت إلى swap. بعد نقل تلك الملفات إلى تخزين دائم، أعطت نتائج النماذج الصغيرة صورة أفضل لذاكرة الاستدلال. على لوحة بذاكرة 2 GB، قد يؤدي مكان حفظ التنزيل إلى تشويه الاختبار.
التوصية: نختار LFM2.5-350M المستورد افتراضياً لهذه اللوحة بذاكرة 2 GB. ظل مستقراً عند 516 MB RSS وترك نحو 1 GB من RAM متاحاً واجتاز 5/6 فحوص قواعد الرد على Pi 4. لكنه أغفل أسماء المصادر أحياناً في الاختبارات المتكررة على Pi 5، لذا افحص ذلك في التطبيقات التي تتطلب الإسناد. اختر LFM2.5-230M عندما تكون أقل مهلة وأكبر هامش ذاكرة أهم: كان أسرع وأخف، لكنه شوّه في إجابة طبية عبارة “nausea or vomiting” إلى “nausea/ventilator use”. يجعل هذا الخطأ في المحتوى منه خياراً افتراضياً أضعف لإجابات الصحة أو السلامة، رغم ارتفاع نتيجته الميكانيكية المتكررة. اختر qwen2.5:0.5b إذا أردت نموذجاً من
سجل Ollama
، مع احتساب ضعف امتثاله للتعليمات. ظل granite4:350m مستقراً لكنه أبطأ واستخدم ذاكرة أكثر؛ ولا يصلح MiniCPM5-1B إلا إذا عطّل العميل الاستدلال. تجنب Gemma 3 1B وQwen3.5 0.8B على إعداد 2 GB هذا تحديداً، لأن تجاربنا سببت إعادة التشغيل.
Raspberry Pi 5: خيارات أكثر ومقايضة في السرعة
تعامل Pi 5 بذاكرة 8 GB مع النماذج الـ25 كلها في اختبار السرعة والذاكرة. يتضمن الجدول كل تجربة، بما فيها النماذج التي لا نوصي بها لهذا العبء القصير. تشير † إلى GGUF مستورد. وتعني عبارة “think off” الإعداد المستخدم في اختبار السرعة؛ ولم يستخدم اختبار الامتثال المنفصل هذا الإعداد بالضرورة.
| النموذج | الملف GB | الإخراج token/s | الرد s | ذروة RSS MB | التقييم للردود القصيرة |
|---|---|---|---|---|---|
lfm2.5-230m † | 0.25 | 45.0 | 1.8 | 446 | أقل مهلة؛ امتثال متكرر 78% |
bonsai-1.7b †، Q1_0 | 0.25 | 15.3 | 8.2 | 871 | تجنبه: أوزان 1-bit و3/6 في امتثال مرور واحد |
lfm2.5-350m † | 0.38 | 30.0 | 2.1 | 581 | سريع لكنه أغفل المصدر في 5 من 18 تكراراً |
qwen2.5:0.5b | 0.40 | 28.4 | 3.6 | 675 | خيار سهل من السجل؛ امتثال متكرر 61% |
qwen3:0.6b، الاستدلال متوقف | 0.52 | 23.0 | 4.3 | 1,069 | مشروط: 4/6، وإعداد الاستدلال مهم |
bonsai-4b †، Q1_0 | 0.57 | 6.8 | 18.1 | 1,343 | نموذج 1-bit تجريبي؛ لم تؤكد نتيجة 6/6 في مرور واحد |
minicpm5-1b †، الاستدلال متوقف | 0.69 | 18.4 | 5.1 | 869 | مشروط: الاستدلال الافتراضي أعطى ردوداً فارغة |
granite4:350m | 0.71 | 12.1 | 6.6 | 892 | يتسع لكنه أبطأ وأكبر من LFM2.5 الصغير |
lfm2.5-1.2b † | 0.73 | 15.5 | 4.7 | 967 | الأفضل لعبء عملنا؛ امتثال متكرر 89% |
llama3.2:1b-instruct-q4_K_M | 0.81 | 13.0 | 7.5 | 1,244 | بديل من السجل؛ 5/6 في فحص الامتثال |
gemma3:1b | 0.82 | 11.2 | 10.9 | 1,262 | أفضل امتثال متكرر لنماذج السجل: 83% |
qwen2.5:1.5b-instruct-q4_K_M | 0.99 | 10.3 | 9.4 | 1,361 | 4/6؛ اتبعت Gemma 3 1B القواعد أفضل |
qwen3.5:0.8b، الاستدلال متوقف | 1.04 | 8.8 | 12.2 | 1,592 | 0/6 بالاستدلال الافتراضي؛ تجنبه دون التحكم بالاستدلال |
spark-x2.5-1.7b †، الاستدلال متوقف | 1.11 | 9.7 | 9.4 | 1,542 | 0/6 بالاستدلال الافتراضي؛ تجنبه دون التحكم بالاستدلال |
qwen3:1.7b، الاستدلال متوقف | 1.36 | 8.1 | 12.4 | 1,867 | مشروط؛ ذاكرة وتأخير أكثر من الخيارات الأصغر |
minicpm5-2b †، الاستدلال متوقف | 1.56 | 7.7 | 10.9 | 1,787 | مشروط؛ 5/6 في مرور واحد ونقاط تعداد زائدة |
qwen2.5:3b-instruct-q4_K_M | 1.93 | 5.2 | 14.7 | 2,366 | خيار 3B للتجربة؛ 5/6 في مرور واحد |
granite4:micro-h | 1.94 | 3.9 | 23.7 | 2,486 | تجنبه للاستخدام التفاعلي: فك ترميز بطيء |
llama3.2:3b-instruct-q4_K_M | 2.02 | 5.5 | 18.6 | 2,831 | خيار 3B بديل؛ لم يذكر اختبار امتثال |
granite4:micro | 2.10 | 5.3 | 17.9 | 2,679 | يتسع لكن ردوده أبطأ من البدائل الأصغر |
qwen3.5:2b، الاستدلال متوقف | 2.74 | 5.0 | 16.1 | 3,627 | ذاكرة وتأخير مرتفعان؛ لم يذكر اختبار امتثال |
gemma3:4b | 3.34 | 3.9 | 30.3 | 4,267 | تجنبه للردود السريعة؛ 14.3 s حتى أول token |
ling-3.0-tiny †، الاستدلال متوقف | 4.82 | 9.9 | 19.4 | 5,071 | أثر كبير؛ 5/6 في مرور واحد مع إخفاق في الاستناد للسياق |
lfm2.5:8b، الاستدلال متوقف | 5.16 | 8.7 | 54.6 | 5,317 | يتسع بصعوبة؛ تحميل بارد 34.4 s وردود طويلة أكثر من اللازم |
gemma3n:e2b | 5.62 | 6.1 | 25.9 | 5,261 | تجنبه: swap مع خدمات Pi الأخرى |
† GGUF مستورد. تأتي أوقات الرد والذاكرة من اختبار السرعة على Pi 5 بخمس مطالبات؛ وتأتي قيم الامتثال من اختبارات منفصلة بست مطالبات. لم يثبت أن النموذج الذي لا يملك درجة امتثال يتبع قواعد الرد.
كانت نماذج LFM2.5 الصغيرة الأسرع لهذا العبء القصير. تقدم نسخة 1.2B حلاً وسطاً عملياً على Pi 5 المختبر. وتعد Gemma 3 1B بديلاً من السجل، وقد التزمت بقواعد الرد المتكررة أفضل من Qwen2.5 1.5B في الاختبارات اللاحقة. قد يستحق نموذج 3B بطء الإخراج في المطالبات التي تحتاج إلى قدرة أكبر، لكن هذه الأوقات وحدها لا تثبت أي نموذج يعطي أفضل الإجابات.
يغير تأخير التحميل البارد وظهور أول token تجربة الاستخدام. حمّل LFM2.5-230M على Pi 5 في نحو 0.21 ثانية وأظهر token خلال 0.37 ثانية. استغرقت Qwen2.5 1.5B 2.59 ثانية للتحميل و3.66 ثانية حتى أول token ظاهر؛ واستغرقت Qwen2.5 3B 5.60 و7.97 ثانية على الترتيب. في السؤال العرضي قد تهم هذه التأخيرات أكثر من سرعة الإخراج بعد بدء التوليد. يقل أثرها عند إبقاء النموذج محملاً باستمرار، لكن ذلك يحجز الذاكرة بين الطلبات.
توضح نماذج أخرى مقاسة سبب عدم ترتيب النماذج بعدد المعاملات وحده. مع تعطيل الاستدلال، بلغت qwen3:0.6b على Pi 5 سرعة 23.0 token/s عند 1,069 MB RSS، بينما بلغت MiniCPM5-1B المستوردة 18.4 token/s عند 869 MB RSS. احتاج granite4:350m إلى تنزيل بحجم 0.71 GB وولّد 12.1 token/s رغم تسمية 350M. يغير تغليف النموذج وبنيته العلاقة بين الاسم وحجم الملف والذاكرة والسرعة.
إذا استطاع عميلك إرسال think: false بموثوقية، فاختبار Qwen3 0.6B وMiniCPM5-1B بديلين معقولين عن LFM2.5. وعملت MiniCPM5-2B وQwen3 1.7B وSpark-X2.5 1.7B أيضاً على Pi 5، لكن دون تفوق واضح في السرعة والذاكرة على خياراتنا الأساسية. استخدم اختبار الامتثال الاستدلال الافتراضي لـ MiniCPM5-1B وSpark-X2.5؛ فلا تعرض ردودهما الفارغة كأنها نتيجة اختبارات السرعة مع إيقاف الاستدلال. وبالمقابل، لا تثبت السرعة مع إيقاف الاستدلال أن جسراً لا يرسل هذا الخيار سيحصل على رد مفيد.
إذا كانت سهولة التثبيت أهم من السرعة الخام، فإن Gemma 3 1B وLlama 3.2 1B خياران معقولان من السجل على Pi 5 بذاكرة 8 GB. اتبعت Gemma 3 1B قواعد الرد المختبرة في 15/18 من الردود المتكررة. نجحت Llama 3.2 1B في 5/6 بمرور واحد، لذا فإن تقدير امتثالها أقل يقيناً. حمّلت Qwen2.5 1.5B وأجابت أسرع من Gemma 3 1B في اختبار التوقيت، لكنها اجتازت 4/6 فقط في اختبار امتثال واحد. اختر وفق متطلبات مطالباتك.
للمطالبات النصية الأطول أو الأصعب من حين لآخر، تعد Qwen2.5 3B وLlama 3.2 3B المكمّمتان مرشحين 3B بذاكرة معتدلة على Pi 5 بذاكرة 8 GB. قسنا السرعة والذاكرة؛ واجتازت Qwen2.5 3B 5/6 في مرور امتثال واحد. لم نذكر اختباراً مماثلاً لـ Llama 3.2 3B. توفر المعاملات الأكثر سبباً لاختبار النموذجين في مهام تقصر فيها النماذج الأصغر، لا دليلاً على أنهما حلا تلك المهام أفضل. اتسعت Granite 4 Micro وMicro-H وQwen3.5 2B وGemma 3 4B وLing-3.0-tiny وGemma 3n E2B أو تم تحميلها في تجارب Pi 5، لكنها قدمت زمن استجابة أو هامش ذاكرة أو موثوقية أقل جاذبية لهذا التطبيق القصير.
يوضح نموذجا Bonsai كلفة التكميم الشديد. كانت ملفات Q1_0 صغيرة على نحو لافت بالنسبة إلى أسماء ذات 1.7B و4B معامل، لكن نموذج 1.7B اجتاز 3/6 فقط من فحوص قواعد الرد. اجتاز نموذج 4B فحصاً واحداً من ست مطالبات، لكنه احتاج 18.1 ثانية لكل رد ولم يخضع لتأكيد امتثال متكرر. اعتبرهما تجربتين لا توصيتين افتراضيتين، خصوصاً حين تكون جودة الإجابة مهمة.
تحتاج نتيجة LFM2.5-8B إلى سياق: تستخدم بنيته الهجينة معاملات نشطة أقل لكل token، لذا تجاوز معدل فك الترميز نماذج 3B الكثيفة المقاسة. ومع ذلك استغرق تحميله بارداً من microSD 34.4 ثانية واستهلك أكثر من 5.3 GB من الذاكرة المقيمة. إنه عرض لما يمكن تشغيله، لا خيار افتراضي مريح لـ Pi يشغّل خدمات أخرى. كما استخدم gemma3n:e2b المقاس نحو 5.3 GB من الذاكرة المقيمة وتسبب في swap إلى جانب خدمات جهاز الاختبار الأخرى.
وصل تشغيل LFM2.5 8B أيضاً إلى الحد الكامل 140 token بدلاً من إبقاء الرد قصيراً. واستغرق تشغيل Gemma 3 4B 14.3 ثانية حتى أول token و30.3 ثانية للرد الكامل. يمكن تحميل النموذجين على Pi 5 هذا، لكنهما لم يبدوا كمساعدين صغيرين سريعين في اختباراتنا. وقد يخدم نموذج صغير جداً يعطي جواباً قصيراً مناسباً واجهة راديو أو أوامر أفضل من نموذج أكبر ذي معدل فك ترميز أسرع على الورق.
الذاكرة والاستدلال وتنسيق النموذج
تقدير أولي مفيد من قياساتنا هو حجم تنزيل النموذج × 1.4 لتقدير ذاكرة الاستدلال المقيمة. إنها قاعدة تقريبية فقط؛ فطول السياق وإعدادات بيئة التشغيل وبنية النموذج والعمليات الأخرى تغير الاحتياج. تحقق من الذاكرة المتاحة أثناء التوليد، ولا تحمل سوى نموذج واحد على مضيف صغير واترك مساحة لنظام التشغيل. يمكن للوحة بذاكرة 4 GB البدء بنماذج صغيرة أو مدمجة، لكن توصياتنا لها استقراء وليست اختبارات مباشرة لإصدارات 4 GB.
على سبيل المثال، يقابل ملف LFM2.5-1.2B بحجم 0.73 GB نحو 967 MB RSS على Pi 5، بينما بلغ ملف Qwen2.5 1.5B بحجم 0.99 GB 1,361 MB RSS. تعمل القاعدة تقريباً لهذه النماذج لكنها ليست حداً ثابتاً. خطط لذاكرة أكثر من ذاكرة عملية النموذج المقاسة إذا كان Pi يشغّل واجهة أو فهرس بحث أو مكتبة محلية أو خدمة خلفية أخرى. راقب swap أثناء طلب فعلي؛ فالنموذج الذي يحمل تقنياً لكنه يبادل الذاكرة باستمرار لا يناسب العمل عملياً.
تنتج بعض النماذج كتلة استدلال داخلية قبل الإجابة الظاهرة. في اختباراتنا استغرق qwen3:0.6b على Pi 4 ذي 2 GB وقتاً أطول بكثير لإظهار النص. ولم يجب MiniCPM5-1B بإجابة مفيدة إلا على مطالبة واحدة من خمس مع إعداد الاستدلال الافتراضي، مقابل خمس من خمس بعد تعطيله. لميزانية رد قصيرة، اضبط think: false في طلب متوافق إلى API Ollama أو اختر نموذجاً لا يستخدم الاستدلال افتراضياً. ينطبق هذا الإعداد على النماذج والعملاء المدعومين، وليس مفتاح سرعة عاماً.
هذا الفرق مهم لأن حد token قد يتضمن tokens المستهلكة في الاستدلال حتى عندما لا يرى المستخدم إجابة. على Pi 4 بلغ متوسط qwen3:0.6b ذي الاستدلال الافتراضي 40.4 ثانية للطلب، وأنتجت مطالبة واحدة رداً ظاهراً فارغاً. وبلغ متوسط MiniCPM5-1B 33.3 ثانية بالإعداد الافتراضي مقابل 12.2 ثانية مع تعطيل الاستدلال. كما عطلنا الاستدلال في تجارب Pi 5 لـ Qwen3 وQwen3.5 وMiniCPM5 وLing-3.0 وSpark-X2.5 حيث أشارت سجلاتنا إلى ذلك. قارن كل نموذج بالإعداد نفسه الذي سيستخدمه عميلك.
تحقق من صلاحية الرد
في عبء عمل مساعد mesh ذي الردود القصيرة، لا تقل مواصفات الرد أهمية عن السرعة: حد أقصى 90 كلمة، وثلاث نقاط تعداد كحد أقصى، ونص عادي، وجملة مكتملة، واستخدام سياق الاسترجاع المقدم مع تسمية مصدره. يقسم الجسر النص إلى كتل طولها 180 حرفاً. يشغل الرد الطويل زمناً أكبر على الراديو حتى لو أنشأه النموذج بسرعة.
يفحص الإصدار اللاحق من اختبارنا الردود الفارغة وحد الكلمات الخاصة بالمطالبة وكثرة نقاط التعداد وجداول Markdown أو كتل التعليمات البرمجية والنهاية غير المكتملة وغياب مصطلحات السياق المقدم وغياب اسم المصدر. وعند تقييم الردود مقابل مطالبة النظام للمساعد المنشور، خالفت النماذج الصغيرة هذه القواعد كثيراً. كانت الإخفاقات الأهم الردود الفارغة حين استهلك الاستدلال حد tokens، ثم الردود التي تجاهلت السياق المسترجع أو أغفلت مصدره. تجاوز الكلمات أو كثرة النقاط أبقى النص ظاهراً لكنه أهدر زمن البث اللاسلكي. هذه فحوص آلية وليست بديلاً عن قراءة الرد؛ ولا تثبت دقة الوقائع ولا سلامة نصيحة الأمان.
نتائج الامتثال المتكرر على Pi 5
أرسلنا أولاً ست مطالبات مرة واحدة لكل نموذج مع حد 220 token ومطالبة النظام المنشورة. ثم اختبرنا النماذج الواعدة مرتين إضافيتين باستخدام seed أخرى، ليصبح المجموع 18 رداً لكل نموذج. لا يضمن نجاح المرور الواحد نجاح التكرار. تقدم النتائج المتكررة أدناه مقارنة أدق لردود mesh القصيرة التي اختبرناها:
| النموذج | الردود التي اتبعت كل القواعد المفحوصة | أبرز الإخفاقات المرصودة |
|---|---|---|
| LFM2.5-1.2B مستورد | 16/18 (89%) | ردان غير مكتملين |
gemma3:1b | 15/18 (83%) | ثلاثة ردود غير مكتملة |
| LFM2.5-230M مستورد | 14/18 (78%) | ردود غير مكتملة وأسماء مصادر مفقودة |
| LFM2.5-350M مستورد | 13/18 (72%) | أسماء مصادر مفقودة |
qwen2.5:0.5b | 11/18 (61%) | نقاط وكلمات أكثر من اللازم وأسماء مصادر مفقودة |
على Pi 4 بذاكرة 2 GB، سجل فحص امتثال منفصل من ست مطالبات 5/6 لـ LFM2.5-350M، و4/6 لـ LFM2.5-230M، و2/6 لـ Qwen2.5-0.5B. تحسن MiniCPM5-1B من 1/6 بالاستدلال الافتراضي إلى 5/6 بعد تعطيله. نتائج Pi 4 هذه من مرور واحد، لذا نعطي وزناً أكبر لنتائج Pi 5 المتكررة عند الحديث عن اتباع التعليمات عموماً، ونستخدم تجارب Pi 4 لتقييم الاستقرار والسرعة على تلك اللوحة.
للإخفاقات عواقب مختلفة. لا يقدم الرد الفارغ شيئاً للمستخدم، وقد يكون تجاهل المواد المقدمة مضللاً. يمنع غياب اسم المصدر القراء من التحقق من الإسناد. تستهلك الكلمات أو النقاط الزائدة أساساً حزم 180 حرفاً إضافية. وقد تشير الجملة غير المكتملة إلى القطع. يذكرنا خطأ مصطلح الطب في LFM2.5-230M أن الرد قد يجتاز الفحوص الآلية ويظل خاطئاً. لم يتبع أي من النماذج الخمسة التي اختبرناها تكرارياً جميع القواعد في الردود الـ18. ينبغي للتطبيق الذي يتطلب طولاً أو تنسيقاً صارماً أن يفرض ذلك بعد التوليد أيضاً وأن يراجع المحتوى عالي المخاطر على حدة.
اختبرنا كذلك نقطة نهاية الجسر الفعلية، وهي /v1/chat/completions المتوافقة مع OpenAI في Ollama، مع سياق WikiMed مسترجع. على Pi 5 قدم LFM2.5-1.2B إجابة من 28 كلمة استخدمت ستة مصطلحات مقدمة؛ وقدم Qwen2.5-0.5B إجابة من 38 كلمة استخدمت سبعة. اتسع كلاهما في حزمتين من 180 حرفاً. يؤكد فحص نقطة النهاية أن نموذج LFM2.5 المستورد يعمل عبر مسار طلب الجسر، لكن إجابة ناجحة واحدة لا تضمن الاعتمادية.
تنشر Ollama نماذج جاهزة كثيرة، ومنها
إصدارات Qwen2.5 ذات 0.5B و1.5B و3B
. استوردنا نماذج LFM2.5 الصغيرة من
إصدارات GGUF لدى Liquid AI
إلى Ollama. تحقق من tag المحدد أو اسم ملف GGUF قبل التنزيل لأن السجلات والمستودعات تتغير. احفظ تنزيلات GGUF في تخزين دائم؛ فقد استهلك /tmp الموجود في RAM ذاكرة Pi 4 الشحيحة خلال اختباراتنا.
علامات السجل واستيراد GGUF
علامة Ollama أقصر طريق لاختبار أولي: اسحب العلامة الدقيقة وشغّلها. كانت نماذج LFM2.5 الصغيرة في جداولنا استيرادات GGUF، وليست علامات lfm2.5-230m أو lfm2.5-350m أو lfm2.5-1.2b في مكتبة Ollama العامة. GGUF تنسيق لملفات النماذج، وتشير أسماء مثل Q8_0 وQ4_K_M إلى خيارات التكميم. كانت ملفات LFM2.5 ذات 230M و350M المستخدمة من نوع Q8_0، أما ملف 1.2B فكان Q4_K_M. لذلك قد لا ينتج عدد المعاملات نفسه مع تكميم مختلف حجم ملف أو استخدام ذاكرة أو جودة مماثلة.
لاستيراد الإصدار 350M الذي اختبرناه، نزّل GGUF إلى مجلد في تخزين دائم، وأنشئ Modelfile يشير إلى الملف، ودع Ollama ينسخه إلى مخزن النماذج:
mkdir -p "$HOME/gguf"
cd "$HOME/gguf"
curl -fL -C - --retry 5 --retry-all-errors -O \
https://huggingface.co/LiquidAI/LFM2.5-350M-GGUF/resolve/main/LFM2.5-350M-Q8_0.gguf
printf 'FROM %s/LFM2.5-350M-Q8_0.gguf\n' "$PWD" > Modelfile-lfm2.5-350m
ollama create lfm2.5-350m -f Modelfile-lfm2.5-350m
ollama run lfm2.5-350m
يتطلب الاستيراد مؤقتاً مساحة للملف الذي نزّلته ولنسخة Ollama المخزنة. استخدمنا تنزيلات قابلة للاستئناف لأن نقل GGUF الطويل انقطع أحياناً. قبل الاستيراد، قارن SHA-256 للتنزيل بالقيمة التي نشرتها الجهة المصدر؛ فقد يبدو النقل غير المكتمل كأنه مشكلة في النموذج. كان /tmp في إعداد Pi لدينا معتمداً على RAM، لذا قلل تخزين GGUF هناك الذاكرة المتاحة للاستدلال.
بداية عملية
| الجهاز والهدف | أول نموذج يستحق التجربة | السبب |
|---|---|---|
| Pi 4 بذاكرة 2 GB، الخيار الافتراضي | LFM2.5-350M مستورد | مستقر عند 516 MB RSS مع نحو 1 GB متاح؛ اخترناه بعد خطأ مصطلح طبي في 230M |
| Pi 4 بذاكرة 2 GB، أقل مهلة | LFM2.5-230M مستورد | 383 MB RSS ومتوسط رد 7.2 s؛ تحقق من المحتوى بعناية، وخصوصاً في الصحة أو السلامة |
| Pi 4 بذاكرة 2 GB، السجل فقط | qwen2.5:0.5b | سحب مباشر من Ollama واستقرار في اختبار Pi 4 ذي خمس مطالبات؛ امتثال متكرر 61% على Pi 5 |
| Pi 4 بذاكرة 4 GB أو Pi 5 | LFM2.5-1.2B مستورد ثم اختبره محلياً | 967 MB RSS وامتثال متكرر 89% على Pi 5 بذاكرة 8 GB؛ لم نختبر نسخ 4 GB مباشرة |
| Pi 5 بذاكرة 8 GB، مساعد سريع الاستجابة | LFM2.5-1.2B مستورد | 15.5 token/s، رد إجمالي 4.7 s، وأعلى امتثال متكرر قسناه |
| Pi 5 بذاكرة 8 GB، إعداد من السجل فقط | gemma3:1b | 11.2 token/s، و1,262 MB RSS، وامتثال متكرر 83% |
| Pi 5 بذاكرة 8 GB، تجربة نموذج نصي أكبر | Qwen2.5 3B أو Llama 3.2 3B مكمّمان | عملا عند نحو 5 tokens/s واستخدما 2.4–2.8 GB RSS؛ اجتاز Qwen2.5 3B نتيجة 5/6 في فحص واحد |
تعطي هذه الاختيارات الأولوية لردود قصيرة مفيدة على Pi قد يشغل خدمات أخرى. إنها نقاط بداية وليست ادعاء بأن نموذجاً واحداً الأفضل لكل مهمة. في فحص الامتثال بمرور واحد على Pi 5، لم تقدم qwen3.5:0.8b وSpark-X2.5 بالاستدلال الافتراضي أي ردود ممتثلة، بينما حقق MiniCPM5-1B نتيجة 1/6. إذا لم يستطع عميلك تعطيل الاستدلال، فتجنبهما لهذا العبء القصير. اختبر النموذج النهائي بالمطالبة الفعلية والسياق والتزامن وحد الرد المخطط للنشر.
لاستخدام نموذج السجل، نفّذ بعد تثبيت Ollama على Linux :
ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b
اختبر مطالباتك وطول الإجابة المطلوب والخدمات الأخرى أثناء تشغيلها. سجل وقت الرد الكامل واستخدام الذاكرة. فهذا يوضح ملاءمة النموذج لـ Pi أكثر من عدد معاملاته وحده.
راقب swap أثناء الاختبارات على عقدة محدودة الذاكرة. إذا جعل نموذج أكبر اللوحة غير مستجيبة، فاستخدم نموذجاً أصغر واضبط حداً مناسباً لذاكرة خدمة Ollama حتى يفشل التحميل المفرط قبل نفاد ذاكرة المضيف. حد الخدمة وسيلة حماية، وليس طريقة لجعل نموذج أكبر من اللازم يتسع. توضح عمليات إعادة تشغيل Pi 4 في اختباراتنا أهمية الاستجابة وهامش الذاكرة إلى جانب tokens per second.
حوّل الاختبار إلى قرار نشر
قبل تثبيت نموذج للاستخدام اليومي، حدد أربعة حدود: أقصى زمن للرد، وأقصى ذاكرة مقيمة، وتنسيق الرد، وسلوك الإخفاق. اختبر هذه الحدود مع الخدمات التي ستشارك اللوحة. لا يفي النموذج بمتطلبات النشر إذا نجح منفرداً لكنه فرض استخدام swap إلى جانب جسر الراديو أو لوحة المعلومات.
احتفظ بنموذج احتياطي صغير مثبت. انتقل إليه عندما يتجاوز النموذج الأساسي حد الذاكرة أو يعيد رداً فارغاً أو يخالف مواصفات الرد. سجل tag النموذج والتكميم وإصدار Ollama والمطالبة وطول السياق وseed لكل مقارنة، كي لا يبدو تحديث النموذج اللاحق كأنه تحسن في العتاد.





