• Robotique

Institut des systèmes intelligents et de robotique | ISIR

ISIR

  • Unité mixte de recherche

Équipes

Les compétences de l’ISIR sont mises en synergie autour de projets de recherche à fort potentiel scientifique et d'application. Les projets sont organisés au sein de cinq équipes regroupant les personnels autour d'objectifs cohérents, tant du point de vue des finalités que de celui des méthodes développées :

Direction

  • Guillaume Morel

Direction adjointe

  • Stéphane Doncieux

Administration / Secrétaire Général

Communication

Tutelle hébergeante

  • Sorbonne Université

Autres tutelles

  • Centre National de la Recherche Scientifique | CNRS
  • Institut National de la Santé et de la Recherche Médicale | INSERM
  • Enseignants-chercheurs : 30
  • Chercheurs : 2
  • Praticiens hospitaliers : 1
  • Personnels d'appui à la recherche : 3
  • Doctorants : 76
  • Post-doctorants : 6

Publications sur HAL - Archive ouverte

Toutes les publications sur HAL
  • Communication dans un congrès

ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training

Adel Nabli, Louis Fournier, Pierre Erbacher, Louis Serrano, Eugene Belilovsky, Edouard Oyallon

Training LLMs relies on distributed implementations using multiple GPUs to compute gradients in parallel with sharded optimizers. However, synchronizing gradients in data parallel setups introduces communication overhead that grows with the number of workers, limiting parallelization efficiency.…

The Thirty-ninth Annual Conference on Neural Information Processing Systems, Dec 2025, San diego (Californie), United States. ⟨hal-04592562v3⟩

Contacts

Adresse physique

ISIR , Campus Pierre et Marie Curie, 4 place Jussieu, Pyramide, Tour 56/55, 75005 Paris

Adresse postale

Institut des Systèmes Intelligents et Robotiques, Sorbonne Université, 4 place Jussieu, Pyramide, Tour 55, Boîte courrier 173, 75252 Paris cedex 05 Paris
Adresse physique
Institut des Systèmes Intelligents et Robotiques
Sorbonne Université
4 place Jussieu
Pyramide, Tour 56/55
75005 Paris
1