Chercheur Principal - Modèles de Langage Large Basés sur la Diffusion

Huawei Canada a une ouverture permanente immédiate pour un chercheur principal.

À propos de l'équipe :

Fondé en 2012, le laboratoire Noah's Ark est devenu une organisation de recherche de premier plan avec des réalisations notables dans le milieu universitaire et industriel. La mission du laboratoire se concentre sur l'avancement de l'intelligence artificielle et des domaines connexes pour bénéficier à l'entreprise et à la société. Animé par des projets impactants à long terme, l'objectif est d'améliorer la recherche de pointe tout en intégrant des innovations dans les produits et services de l'entreprise, y compris les LLM, RL, NLP, la vision par ordinateur, la théorie de l'IA et la conduite autonome.  

À propos du poste :

• Proposer et développer des idées de recherche novatrices pour faire avancer l'état de l'art dans les modèles de langage basés sur la diffusion et la modélisation générative pour le texte (et éventuellement multimodal).

• Concevoir et étudier des architectures non autorégressives et de style de diffusion pour les LLM, y compris la diffusion discrète/continue, les objectifs de débruitage et les modèles hybrides transformateur-diffusion.

• Participer à des projets de recherche appliquée axés sur : mettre à l'échelle les LLM de diffusion pour un long contexte, améliorer la qualité et la contrôlabilité des échantillons, et réduire la latence d'inférence et les coûts de calcul.

• Livrer des projets de bout en bout : concevoir et exécuter des expériences, implémenter et déboguer des pipelines de formation à grande échelle, analyser les résultats et communiquer clairement les conclusions aux parties prenantes techniques et non techniques.

• Collaborer avec les équipes de données et d'infrastructures sur la curation des données, l'évaluation et la post-formation pour les LLM de diffusion (par exemple, le fine-tuning, RLHF/feedback, la sécurité et la robustesse).

• Publier des recherches dans des lieux de premier plan en apprentissage automatique et en NLP et contribuer à des bibliothèques open-source, des benchmarks ou des publications de modèles lorsque cela est approprié.

• (Si Senior) Superviser et encadrer un petit groupe de chercheurs et d'ingénieurs pour mener à bien des projets et publier des articles de conférence.

• Suivre les avancées dans les modèles de diffusion, les LLM et l'écosystème plus large de l'IA, et traduire les nouvelles évolutions en orientations de recherche exploitables pour l'équipe.

Profil du candidat idéal :

• Un doctorat en informatique, apprentissage automatique, statistiques, mathématiques appliquées ou dans un domaine connexe (ou une expérience de recherche équivalente).

• Publications en tant que premier auteur dans des lieux de premier plan en ML / NLP tels que NeurIPS, ICML, ICLR, ACL, EMNLP ou NAACL.

• Compréhension approfondie de la modélisation générative et des modèles de diffusion (par exemple, diffusion de débruitage, modèles basés sur le score, appariement de flux) et comment ils se comparent aux LLM autorégressifs standard.

• Solide formation théorique en apprentissage automatique (optimisation, modélisation probabiliste, apprentissage de représentations) et expérience pratique pour transformer la théorie en systèmes fonctionnels.

• Expertise pratique avec : les architectures modernes de LLM (par exemple, les modèles basés sur Transformer comme Llama, Qwen), et les modèles de diffusion ou basés sur le score pour la génération de texte, d'images ou multimodale.

• Solides compétences en programmation en Python avec une expertise en PyTorch, et expérience dans la mise en œuvre de boucles d'entraînement personnalisées, de l'entraînement distribué et de l'expérimentation à grande échelle.

• Expérience avec les piles modernes d'entraînement et d'inférence de LLM / diffusion (par exemple, Hugging Face Transformers & Diffusers, Accelerate, DeepSpeed, Megatron-LM, vLLM ou similaire).

• Familiarité avec l'évaluation des modèles génératifs pour les tâches linguistiques et/ou multimodales, y compris la conception d'évaluations automatiques et humaines robustes.

• Excellentes compétences en communication orale et écrite, y compris la capacité de présenter clairement des idées et des résultats complexes, rédiger des articles et collaborer avec des équipes de recherche et d'ingénierie.

Huawei vise à soutenir un environnement de travail francophone pour ses employés au Québec. Nous avons pris des mesures pour éviter de demander une autre langue que le français pour ce poste. Cependant, la maîtrise de l'anglais est essentielle pour ce rôle pour les raisons suivantes :

La personne devra communiquer régulièrement avec des collègues situés en dehors du Québec, où l'anglais est la langue principale utilisée pour la communication entre les bureaux. De plus, la nature des tâches liées à ce poste, qui relève d'un domaine hautement spécialisé de l'intelligence artificielle, nécessite également la connaissance de l'anglais.