Chercheur - LLMs

Huawei Canada a une ouverture de contrat immédiate de 12 mois pour un chercheur.

À propos de l'équipe :

Fondé en 2012, le laboratoire Noah's Ark est devenu une organisation de recherche de premier plan avec des réalisations notables dans le milieu universitaire et industriel. La mission du laboratoire se concentre sur l'avancement de l'intelligence artificielle et des domaines connexes pour bénéficier à l'entreprise et à la société. Animé par des projets impactants à long terme, l'objectif est d'améliorer la recherche de pointe tout en intégrant des innovations dans les produits et services de l'entreprise, y compris les LLM, RL, NLP, la vision par ordinateur, la théorie de l'IA et la conduite autonome.

À propos du poste :

• Participer à des projets de recherche appliquée axés sur la possibilité de LLM à long contexte, y compris le travail sur des architectures efficaces, la curation des données et les méthodes post-formation.

• Développer et maintenir des pipelines de formation, post-formation et de fine-tuning, y compris des flux de travail de prétraitement des données et d'évaluation.

• Collaborer avec des chercheurs pour traduire de nouvelles idées en implémentations de qualité de production.

• Suivre les avancées dans les architectures LLM, les outils et les systèmes, et incorporer les développements pertinents dans les flux de travail d'ingénierie.

• Publier des recherches dans des conférences de premier plan sur l'apprentissage automatique et le traitement du langage naturel (NLP).

Profil du candidat idéal :

• Un Master ou un doctorat en informatique, génie logiciel ou dans un domaine connexe, ou une expérience pratique équivalente.

• Une compréhension approfondie des fondamentaux du NLP et des grands modèles de langage (LLM) et des méthodes de pointe, associée à une solide base théorique en apprentissage automatique.

• Expertise dans les architectures modernes de LLM, y compris les modèles transformateurs (par ex. Llama, Qwen) et une bonne connaissance des modèles d'attention linéaire (par ex. GDN, Mamba, GLA).

• Excellentes compétences en programmation en Python, avec une solide expertise en PyTorch.

• Expérience avec les piles de formation et d'inférence LLM, telles que Hugging Face Transformers/Accelerate, Megatron-LM, vLLM, ou des systèmes similaires.

• Une expérience pratique avec la formation distribuée (FSDP, DeepSpeed, DDP) et les systèmes d'inférence pour les LLM à grande échelle est très souhaitable.

• Une expérience avec les modèles de diffusion est un plus.

• Solides compétences en communication et capacité à collaborer efficacement entre les idées d'ingénierie et de recherche.

Huawei vise à soutenir un environnement de travail francophone pour ses employés au Québec. Nous avons pris des mesures pour éviter de demander une autre langue que le français pour ce poste. Cependant, la maîtrise de l'anglais est essentielle pour ce rôle pour les raisons suivantes :

La personne devra communiquer régulièrement avec des collègues situés en dehors du Québec, où l'anglais est la langue principale utilisée pour la communication entre les bureaux. De plus, la nature des tâches liées à ce poste, qui relève d'un domaine hautement spécialisé de l'intelligence artificielle, nécessite également une connaissance de l'anglais.