Développeur – Optimisation de noyau GPU pour les grands modèles de langage (LLM)

Huawei Canada recrute immédiatement un Développeur pour un contrat de 12 mois.

À propos de l'équipe :

Fondé en 2012, le laboratoire Noah's Ark est devenu une organisation de recherche de premier plan avec des réalisations notables dans le milieu universitaire et industriel. La mission du laboratoire est de faire progresser l'intelligence artificielle et les domaines connexes pour bénéficier à l'entreprise et à la société. Animé par des projets à impact à long terme, l'objectif est d'améliorer la recherche de pointe tout en intégrant des innovations dans les produits et services de l'entreprise, y compris les LLM, RL, NLP, la vision par ordinateur, la théorie de l'IA et la conduite autonome.

À propos du poste :

• Concevoir, implémenter et optimiser des noyaux Triton et CUDA haute performance pour accélérer la formation et l'inférence des LLM.

• Collaborer avec les chercheurs pour prototyper, intégrer et évaluer des optimisations au niveau du noyau pour des charges de travail d'IA à grande échelle.

• Contribuer aux projets de recherche appliquée chez Huawei en proposant des solutions efficaces, en développant des implémentations et en menant des expériences.

• Aider à la formation et au peaufinage des modèles, à la construction de prototypes évolutifs et à la promotion de la recherche de pointe grâce à des améliorations au niveau du noyau.

• Produire des résultats à fort impact grâce aux contributions au projet, aux présentations et aux publications dans les principaux lieux de l'IA/ML.

• Rester à jour avec les dernières avancées en NLP, systèmes d'IA, accélération GPU et technologies de compilation pour apporter de nouvelles idées et opportunités à l'équipe.

Profil du candidat idéal :

• Baccalauréat, maîtrise ou doctorat en informatique, génie électrique/informatique ou dans un domaine connexe avec une forte emphase sur le calcul haute performance, la programmation GPU ou les systèmes d'apprentissage automatique.

• Solide expérience en programmation CUDA, architecture GPU et optimisation des performances, avec une expérience dans l'écriture et le débogage de noyaux personnalisés (CUDA/Triton).

• Solides compétences en programmation Python et C++, avec la capacité de faire le lien entre les cadres ML de haut niveau et les implémentations GPU de bas niveau.

• Familiarité avec PyTorch et expérience dans l'intégration de noyaux GPU personnalisés dans des pipelines de formation ML à grande échelle.

• Compréhension des fondamentaux de l'apprentissage automatique, de l'apprentissage profond et des architectures LLM, et comment les optimisations de bas niveau impactent la scalabilité et l'efficacité.

• Fort intérêt pour les systèmes d'IA (compilateurs, formation distribuée, parallélisme de modèles) et rester à la pointe de la recherche en accélération LLM/ML.

L'utilisation du genre masculin a été adoptée afin de faciliter la lecture et n'a aucune intention discriminatoire.

Huawei vise à soutenir un environnement de travail en français pour ses employés au Québec. Nous avons pris des mesures pour éviter d'exiger une langue autre que le français pour ce poste. Cependant, la maîtrise de l'anglais est essentielle pour ce rôle pour la ou les raisons suivantes, y compris, mais sans s'y limiter :

·        L'employé communique régulièrement avec des collègues à l'extérieur du Québec, où l'anglais est la principale langue utilisée pour la communication entre les bureaux.