Devéloppeur AI (H/F)

Intégré à l’équipe et à ses sprints, le consultant interviendra sur les sujets suivants :

• Intégration et déploiement de nouveaux modèles open source sur AI Endpoints (LLM, embeddings, speech-to-text, text-to-speech, ...)
• Optimisation de l’inférence avec vLLM et SGLang : quantization, batching, KV cache, prefix caching, speculative decoding
• Benchmarks de performance sur nos GPU actuels et sur les nouvelles générations à venir
• Amélioration de l’autoscaling, de l’observabilité et de la fiabilité des services en production
• Participer au run sur les produits

Livrables

• Nouveaux modèles déployés en production sur AI Endpoints, avec une configuration d’inférence optimisée et documentée
• Rapports de benchmark par modèle et par GPU, avec des recommandations
• Code livré par pull requests revues et intégrées (Python, Rust)
• Dashboards et alertes de supervision des services
• Documentation technique et transfert de connaissances à l’équipe

Profil recherché

• Expérience confirmée du déploiement de LLM en production sur GPU
• Maîtrise de vLLM et/ou SGLang
• Optimisation d’inférence : quantization (AWQ, GPTQ, FP8), KV cache, batching, speculative decoding
• Python et Rust
• Environnements GPU NVIDIA, Docker, Kubernetes
• Observabilité : Prometheus, Grafana, OpenTelemetry
• Git, CI/CD, revues de code, méthodes agiles
• Usage maîtrisé des assistants de code IA