مستقبل
الذكاء الاصطناعي

Groq

ما هو Groq؟ تهدف Groq إلى تحديد معيار لسرعة الاستدلال في GenAI، مما يساعد تطبيقات الذكاء الاصطناعي في الوقت الفعلي على الظهور اليوم. تستخدم Groq تقنية تُعرف باسم LPU. محرك استدلال LPU، حيث تعني LPU وحدة معالجة اللغة ™، هو نوع جديد من نظام وحدة المعالجة الشاملة الذي يوفر أسرع استدلال للتطبيقات المكثفة حسابيًا مع مكون متسلسل لها، مثل تطبيقات لغة الذكاء الاصطناعي (LLMs). تم تصميم LPU للتغلب على الاختناقين في LLM: كثافة الحوسبة وعرض النطاق الترددي للذاكرة. تتمتع LPU بسعة حوسبة أكبر من وحدة معالجة الرسومات ووحدة المعالجة المركزية فيما يتعلق بـ LLMs. يقلل هذا من مقدار الوقت لكل كلمة محسوبة، مما يسمح بإنشاء تسلسلات من النص بشكل أسرع بكثير. بالإضافة إلى ذلك، فإن القضاء على الاختناقات في الذاكرة الخارجية يمكّن محرك استدلال LPU من تقديم أداء أفضل بكثير على LLMs مقارنة بوحدات معالجة الرسومات. لبدء استخدام Groq، اطلب الوصول إلى واجهة برمجة التطبيقات لتشغيل تطبيقات LLM في نموذج تسعير قائم على الرمز. يمكنك أيضًا شراء الأجهزة لاستدلال LLM المحلي باستخدام وحدات LPU.