KoboldCPP 1.112.1

KoboldCPP أداة مفتوحة المصدر وخفيفة لتشغيل نماذج اللغة محلياً بتنسيق GGUF، مثل تلك المعتمدة على LLaMA و RWKV وغيرها. تم تطويرها كبديل لـ KoboldAI، وتقدم واجهة رسومية بسيطة ودعم عبر واجهة برمجة التطبيقات، مما يسمح بالتفاعل مع نماذج الذكاء الاصطناعي مباشرة على جهاز الكمبيوتر الخاص بك.

الميزات الرئيسية

تشغيل نماذج GGUF محلياً: تدعم النماذج الكمية بتنسيق 4-بت أو 8-بت، المثالية للاستخدام على الأجهزة المتوسطة. متوافقة مع نماذج مثل RWKV و LLaMA وغيرها.

واجهة رسومية وواجهة API: تتضمن KoboldAI Lite، مع أوضاع مثل الدردشة، والمغامرة، والمساعد المؤسسي. كما تتيح تكامل عبر API مع نقاط نهاية متنوعة.

توليد نصوص وصور وصوت: تدعم توليد النصوص باستخدام نماذج LLM، والصور عبر Stable Diffusion، والتعرف على الصوت وتوليده عبر Whisper و OuteTTS.

ملاحظات

التنسيقات المدعومة: يتوافق KoboldCPP مع النماذج بتنسيق GGUF. النماذج بتنسيقات أخرى، مثل GPTQ أو Safetensors، غير مدعومة.

متطلبات الأجهزة: لتحسين الأداء، خاصة عند استخدام وحدات معالجة الرسوميات، يوصى بالتحقق من توافق الأجهزة لديك مع متطلبات النموذج المختار.

KoboldCPP هي حل عملي وفعال لمن يرغب في تشغيل نماذج الذكاء الاصطناعي محلياً، دون الاعتماد على خدمات السحابة، مع الحفاظ على السيطرة الكاملة على البيانات والاستفادة القصوى من الأجهزة المتاحة.