תיאור

מהנדס/ת LLM Inference בחברה המפתחת תשתית AI מותאמת אישית לעומסי עבודה ודרישות גבוהות. תפקידך יהיה לבנות ולאופטימיזציה של stack inference קומפלטי על החומרה של Majestic, כולל התאמת frameworks כמו vLLM ו-SGLang, ניהול KV cache, scheduling ובאצ'ינג של בקשות. דרוש ניסיון של 5+ שנים בבניית מערכות inference וserving של LLM בייצור, ידע עמוק ב-Python ו-C++, וביכולת לנתח ולאופטימיזציה של performance בכל שכבות המערכת. דרוש גם ידע בinference distributed והבנה חזקה של transformer architecture ודינמיקת batching. מיקום: רעננה · משרה מלאה · מחלקה: Engineering להגשת מועמדות: באתר החברה, דרך הכפתור למטה

פרטים

מיקום

רעננה