Schulungsübersicht

Einführung

  • Überblick über die Herausforderungen bei der Skalierung von Deep Learning
  • Überblick über DeepSpeed und seine Funktionen
  • DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken

Erste Schritte

  • Einrichten der Entwicklungsumgebung
  • Installation von PyTorch und DeepSpeed
  • Konfigurieren von DeepSpeed für verteiltes Training

DeepSpeed-Optimierungsfunktionen

  • DeepSpeed-Trainings-Pipeline
  • ZeRO (Speicheroptimierung)
  • Aktivierungs-Checkpointing
  • Gradient Checkpointing
  • Pipeline-Parallelität

Skalierung von Modellen mit DeepSpeed

  • Grundlegende Skalierung mit DeepSpeed
  • Fortgeschrittene Skalierungstechniken
  • Leistungsüberlegungen und bewährte Verfahren
  • Debugging und Techniken zur Fehlerbehebung

Fortgeschrittene DeepSpeed-Themen

  • Fortgeschrittene Optimierungstechniken
  • Verwendung von DeepSpeed mit gemischtem Präzisionstraining
  • DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
  • DeepSpeed mit mehreren Trainingsknoten

Integration von DeepSpeed mit PyTorch

  • Integration von DeepSpeed in PyTorch-Workflows
  • Verwendung von DeepSpeed mit PyTorch Lightning

Fehlersuche

  • Fehlersuche bei allgemeinen DeepSpeed-Problemen
  • Überwachung und Protokollierung

Zusammenfassung und nächste Schritte

  • Rekapitulation der wichtigsten Konzepte und Funktionen
  • Bewährte Verfahren für die Verwendung von DeepSpeed in der Produktion
  • Weitere Ressourcen, um mehr über DeepSpeed zu erfahren

Voraussetzungen

  • Mittlere Kenntnisse der Grundsätze des Deep Learning
  • Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
  • Vertrautheit mit der Python-Programmierung

Zielgruppe

  • Datenwissenschaftler
  • Ingenieure für maschinelles Lernen
  • Entwickler
 21 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien