DeepSpeed for Deep Learning Schulung
DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die die Skalierung von Deep-Learning-Modellen auf verteilter Hardware erleichtert. DeepSpeed wurde von Microsoft entwickelt und ist in PyTorch integriert, um eine bessere Skalierung, ein schnelleres Training und eine bessere Ressourcenauslastung zu ermöglichen.
Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Datenwissenschaftler und Ingenieure für maschinelles Lernen, die die Leistung ihrer Deep-Learning-Modelle verbessern möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Prinzipien des verteilten Deep Learning zu verstehen.
- DeepSpeed installieren und konfigurieren.
- Deep-Learning-Modelle auf verteilter Hardware mit DeepSpeed skalieren.
- DeepSpeed-Funktionen zur Optimierung und Speichereffizienz zu implementieren und damit zu experimentieren.
Format des Kurses
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Praktische Umsetzung in einer Live-Laborumgebung.
Optionen zur Kursanpassung
- Wenn Sie eine maßgeschneiderte Schulung für diesen Kurs wünschen, nehmen Sie bitte Kontakt mit uns auf, um dies zu vereinbaren.
Schulungsübersicht
Einführung
- Überblick über die Herausforderungen bei der Skalierung von Deep Learning
- Überblick über DeepSpeed und seine Funktionen
- DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken
Erste Schritte
- Einrichten der Entwicklungsumgebung
- Installation von PyTorch und DeepSpeed
- Konfigurieren von DeepSpeed für verteiltes Training
DeepSpeed-Optimierungsfunktionen
- DeepSpeed-Trainings-Pipeline
- ZeRO (Speicheroptimierung)
- Aktivierungs-Checkpointing
- Gradient Checkpointing
- Pipeline-Parallelität
Skalierung von Modellen mit DeepSpeed
- Grundlegende Skalierung mit DeepSpeed
- Fortgeschrittene Skalierungstechniken
- Leistungsüberlegungen und bewährte Verfahren
- Debugging und Techniken zur Fehlerbehebung
Fortgeschrittene DeepSpeed-Themen
- Fortgeschrittene Optimierungstechniken
- Verwendung von DeepSpeed mit gemischtem Präzisionstraining
- DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
- DeepSpeed mit mehreren Trainingsknoten
Integration von DeepSpeed mit PyTorch
- Integration von DeepSpeed in PyTorch-Workflows
- Verwendung von DeepSpeed mit PyTorch Lightning
Fehlersuche
- Fehlersuche bei allgemeinen DeepSpeed-Problemen
- Überwachung und Protokollierung
Zusammenfassung und nächste Schritte
- Rekapitulation der wichtigsten Konzepte und Funktionen
- Bewährte Verfahren für die Verwendung von DeepSpeed in der Produktion
- Weitere Ressourcen, um mehr über DeepSpeed zu erfahren
Voraussetzungen
- Mittlere Kenntnisse der Grundsätze des Deep Learning
- Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
- Vertrautheit mit der Python-Programmierung
Zielgruppe
- Datenwissenschaftler
- Ingenieure für maschinelles Lernen
- Entwickler
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
DeepSpeed for Deep Learning Schulung - Booking
DeepSpeed for Deep Learning Schulung - Enquiry
DeepSpeed for Deep Learning - Beratungsanfrage
Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation
21 StundenDiese von einem Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Datenwissenschaftler, Ingenieure für maschinelles Lernen, Deep-Learning-Forscher und Computer-Vision-Experten, die ihre Kenntnisse und Fähigkeiten im Bereich Deep Learning für die Text-zu-Bild-Erzeugung erweitern möchten.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- Fortgeschrittene Deep-Learning-Architekturen und -Techniken für die Text-Bild-Erzeugung zu verstehen.
- Komplexe Modelle und Optimierungen für eine hochwertige Bildsynthese zu implementieren.
- Leistung und Skalierbarkeit für große Datensätze und komplexe Modelle zu optimieren.
- Abstimmung von Hyperparametern für bessere Modellleistung und Generalisierung.
- Integration von Stable Diffusion mit anderen Deep-Learning-Frameworks und -Tools
AlphaFold
7 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Biologen, die verstehen möchten, wie AlphaFold funktioniert, und die AlphaFold-Modelle als Leitfaden für ihre experimentellen Studien verwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundprinzipien von AlphaFold verstehen.
- Lernen, wie AlphaFold funktioniert.
- lernen, wie sie AlphaFold-Vorhersagen und -Ergebnisse interpretieren können.
Applied AI from Scratch
28 StundenDies ist ein 4-tägiger Kurs, der in KI und ihre Anwendung einführt. Es besteht die Möglichkeit, nach Abschluss des Kurses einen zusätzlichen Tag für die Durchführung eines KI-Projekts zu nutzen.
Deep Learning for Vision with Caffe
21 StundenCaffe ist ein umfassendes Lernframework, das Ausdruck, Geschwindigkeit und Modularität berücksichtigt.
In diesem Kurs wird die Anwendung von Caffe als Deep-Learning-Framework für die Bilderkennung am Beispiel von MNIST erläutert
Publikum
Dieser Kurs eignet sich für Deep Learning Forscher und Ingenieure, die Caffe als Framework nutzen Caffe .
Nach Abschluss dieses Kurses haben die Teilnehmer folgende Möglichkeiten:
- die Struktur und die Bereitstellungsmechanismen von Caffe verstehen
- Installation / Produktionsumgebung / Architektur Aufgaben und Konfiguration durchführen
- Codequalität beurteilen, Debugging und Überwachung durchführen
- Implementieren Sie fortschrittliche Produktionsmethoden wie Schulungsmodelle, Implementieren von Ebenen und Protokollierung
Deep Learning Neural Networks with Chainer
14 StundenDiese von einem Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Forscher und Entwickler, die mit Chainer neuronale Netze in Python aufbauen und trainieren wollen und dabei den Code leicht debuggen können.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- die notwendige Entwicklungsumgebung einzurichten, um mit der Entwicklung neuronaler Netzmodelle zu beginnen.
- Neuronale Netzmodelle unter Verwendung eines verständlichen Quellcodes zu definieren und zu implementieren.
- Beispiele auszuführen und bestehende Algorithmen zu modifizieren, um Deep-Learning-Trainingsmodelle zu optimieren und dabei GPUs für hohe Leistung zu nutzen.
Using Computer Network ToolKit (CNTK)
28 StundenComputer Network ToolKit (CNTK) ist Microsoft's Open Source, Multi-machine, Multi-GPU, Highly efficent RNN training machine learning framework for speech, text, and images.
Zielgruppe
Dieser Kurs richtet sich an Ingenieure und Architekten, die CNTK in ihren Projekten einsetzen wollen.
Computer Vision with Google Colab and TensorFlow
21 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die ihr Verständnis von Computer Vision vertiefen und die Möglichkeiten von TensorFlow zur Entwicklung anspruchsvoller Vision-Modelle mit Google Colab erkunden möchten.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- Faltungsneuronale Netze (CNNs) mit TensorFlow erstellen und trainieren.
- Nutzung von Google Colab für skalierbare und effiziente Cloud-basierte Modellentwicklung.
- Bildvorverarbeitungstechniken für Computer Vision Aufgaben zu implementieren.
- Einsatz von Computer-Vision-Modellen für reale Anwendungen.
- Verwenden Sie Transfer-Lernen, um die Leistung von CNN-Modellen zu verbessern.
- Visualisieren und interpretieren Sie die Ergebnisse von Bildklassifizierungsmodellen.
Deep Learning with TensorFlow in Google Colab
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Datenwissenschaftler und Entwickler, die Deep-Learning-Techniken mit der Google Colab-Umgebung verstehen und anwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Google Colab für Deep-Learning-Projekte einzurichten und zu navigieren.
- Die Grundlagen neuronaler Netze zu verstehen.
- Deep-Learning-Modelle mit TensorFlow zu implementieren.
- Deep-Learning-Modelle zu trainieren und zu bewerten.
- Erweiterte Funktionen von TensorFlow für Deep Learning zu nutzen.
Deep Learning for NLP (Natural Language Processing)
28 StundenIn dieser von einem Trainer geleiteten Live-Schulung lernen die Teilnehmer die Verwendung von Python Bibliotheken für NLP, während sie eine Anwendung erstellen, die eine Reihe von Bildern verarbeitet und Bildunterschriften generiert.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Entwerfen und codieren Sie DL für NLP unter Verwendung von Python Bibliotheken.
- Erstellen von Python Code, der eine umfangreiche Sammlung von Bildern liest und Schlüsselwörter generiert.
- Erstelle PythonCode, der aus den erkannten Schlüsselwörtern Bildunterschriften generiert.
Edge AI with TensorFlow Lite
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, Datenwissenschaftler und KI-Experten, die TensorFlow Lite für Edge-KI-Anwendungen nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen von TensorFlow Lite und seine Rolle in Edge AI zu verstehen.
- KI-Modelle mit TensorFlow Lite entwickeln und optimieren.
- Einsatz von TensorFlow Lite-Modellen auf verschiedenen Edge-Geräten.
- Werkzeuge und Techniken zur Modellkonvertierung und -optimierung nutzen.
- Implementierung praktischer Edge AI-Anwendungen mit TensorFlow Lite.
Accelerating Deep Learning with FPGA and OpenVINO
35 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler, die Echtzeitanwendungen für maschinelles Lernen beschleunigen und in großem Umfang einsetzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Das Toolkit OpenVINO zu installieren.
- Eine Computer-Vision-Anwendung mit einem FPGA zu beschleunigen.
- Verschiedene CNN-Schichten auf dem FPGA auszuführen.
- die Anwendung über mehrere Knoten in einem Kubernetes-Cluster zu skalieren.
Distributed Deep Learning with Horovod
7 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Entwickler oder Datenwissenschaftler, die Horovod verwenden möchten, um verteilte Deep-Learning-Trainings durchzuführen und sie so zu skalieren, dass sie über mehrere GPUs parallel laufen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- die notwendige Entwicklungsumgebung einzurichten, um Deep-Learning-Trainings auszuführen.
- Horovod zu installieren und zu konfigurieren, um Modelle mit TensorFlow, Keras, PyTorch und Apache MXNet zu trainieren.
- Deep-Learning-Training mit Horovod zu skalieren, um es auf mehreren GPUs laufen zu lassen.
Deep Learning with Keras
21 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an technische Personen, die Deep-Learning-Modelle auf Bilderkennungsanwendungen anwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Installieren und konfigurieren Keras.
- Schnell Prototypen von Deep-Learning-Modellen zu erstellen.
- Ein Faltungsnetzwerk zu implementieren.
- Ein rekurrentes Netzwerk zu implementieren.
- Ein Deep-Learning-Modell sowohl auf einer CPU als auch auf GPU auszuführen.
Introduction to Stable Diffusion for Text-to-Image Generation
21 StundenDiese von einem Dozenten geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenwissenschaftler, Ingenieure für maschinelles Lernen und Forscher im Bereich Computer Vision, die Stable Diffusion nutzen möchten, um hochwertige Bilder für eine Vielzahl von Anwendungsfällen zu erzeugen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Prinzipien von Stable Diffusion und seine Funktionsweise für die Bilderzeugung zu verstehen.
- Erstellen und Trainieren von Stable Diffusion-Modellen für Bilderzeugungsaufgaben.
- Anwendung von Stable Diffusion auf verschiedene Bilderzeugungsszenarien, wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung.
- Optimieren der Leistung und Stabilität von Stable Diffusion-Modellen.
Tensorflow Lite for Microcontrollers
21 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Ingenieure, die Machine-Learning-Modelle auf sehr kleinen eingebetteten Geräten schreiben, laden und ausführen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Installieren TensorFlow Lite.
- Laden Sie Modelle für maschinelles Lernen auf ein eingebettetes Gerät, um es in die Lage zu versetzen, Sprache zu erkennen, Bilder zu klassifizieren usw.
- Hardwaregeräte mit KI ausstatten, ohne auf eine Netzwerkverbindung angewiesen zu sein.