תיאור

מהנדס/ת למידת מכונה בכיר/ה בצוות Applied AI של Nebius תעבוד על אופטימיזציה של מודלי LLM ושרתי inference, החל מדחיסת מודלים וכמותיזציה ועד לשיפור latency וזרימת עבודה בייצור. תפקידך יכלול עבודה עם מנועי inference כמו vLLM ו-TensorRT-LLM, אופטימיזציה של KV-cache, speculative decoding, ניתוב בקשות מתוחכם, והרצת inference מבוזר על מחשבי GPU מרובים. נדרשות כישורי תכנות חזקים ב-Python ו-PyTorch, ניסיון בעבודה עם אחד ממערכות ה-inference המודרניות, והבנה עמוקה של צווארי בקבוק בתרגום של transformers כולל KV cache וparallelism. מיקום: מרחוק, בישראל · עבודה מרחוק · מחלקה: ML להגשת מועמדות: באתר החברה, דרך הכפתור למטה

פרטים

מיקום

כל הארץ