LLM Inference Engineer
Description
מהנדס/ת LLM Inference בחברת Majestic Labs יהיה/תהיה אחראי/ת על כל מחסנית השירות של מודלים גדולים בחומware משלנו, מפורטליים שירות עד ניהול זיכרון KV וscheduling. התפקיד כולל הטמעה והאופטימיזציה של frameworks מודרניים כמו vLLM ו-SGLang על המאיץ שלנו, עבודה עם inference מופץ בקנה מידה גדול וטכניקות כמו speculative decoding. נדרשות שלוש שנים לפחות בעבודה עם מערכות inference ו-serving לטקסט גדול (חמש שנים מועדפות), ידע עמוק בפריימוורק מודרני כולל scheduler ו-paged attention, וניסיון מוכח בـ Python ו-C++ עם יכולת חזקה בביצועים ותכנות מבוזר. מיקום: רעננה · משרה מלאה · מחלקה: Engineering להגשת מועמדות: באתר החברה, דרך הכפתור למטה
Details
Location
false
Location
Raanana
LLM Inference Engineer
This role is published on Majestic Labs's own site. You apply there; our part is getting it seen.
Apply on the company siteAsk about this listingSource
This listing was collected from a public external source. To contact the poster, visit the original post.
Original page at comeet.com