תיאור

מהנדס/ת LLM Inference בחברת Majestic Labs יהיה/תהיה אחראי/ת על כל מחסנית השירות של מודלים גדולים בחומware משלנו, מפורטליים שירות עד ניהול זיכרון KV וscheduling. התפקיד כולל הטמעה והאופטימיזציה של frameworks מודרניים כמו vLLM ו-SGLang על המאיץ שלנו, עבודה עם inference מופץ בקנה מידה גדול וטכניקות כמו speculative decoding. נדרשות שלוש שנים לפחות בעבודה עם מערכות inference ו-serving לטקסט גדול (חמש שנים מועדפות), ידע עמוק בפריימוורק מודרני כולל scheduler ו-paged attention, וניסיון מוכח בـ Python ו-C++ עם יכולת חזקה בביצועים ותכנות מבוזר. מיקום: רעננה · משרה מלאה · מחלקה: Engineering להגשת מועמדות: באתר החברה, דרך הכפתור למטה

פרטים

מיקום

רעננה