Python, Spark und Hadoop für Big Data Schulung

Zielgruppe:

Der Kurs richtet sich an IT-Spezialisten, die nach einer Lösung suchen, um große Datensätze in einer verteilten Systemumgebung zu speichern und zu verarbeiten.

GoVoraussetzungen:

Tiefes Wissen über die Verwaltung von Hadoop-Clustern.

Dieser von einem Trainer durchgeführte Live-Kurs in Deutschland (online oder vor Ort) richtet sich an mittelcalibrige Datenwissenschaftler und Ingenieure, die Google Colab und Apache Spark für das Verarbeiten und Analysieren von Big Data einsetzen möchten.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Eine Big-Data-Umgebung mit Google Colab und Spark einzurichten.
• Große Datensätze effizient mit Apache Spark zu verarbeiten und zu analysieren.
• Big Data in einer kollaborativen Umgebung visualisieren.
• Apache Spark mit cloudbasierten Tools zu integrieren.

Die Big Data-Analytics beinhaltet den Prozess, große Mengen an vielfältigen Datensätzen zu untersuchen, um Zusammenhänge, verborgene Muster und andere nützliche Erkenntnisse aufzudecken.

Der Gesundheitssektor verfügt über riesige Mengen komplexer, heterogener medizinischer und klinischer Daten. Die Anwendung von Big Data-Analytics auf gesundheitliche Daten bietet enormes Potenzial zur Ableitung von Erkenntnissen für die Verbesserung der Gesundheitsversorgung. Allerdings stellen die Größenordnungen dieser Datensätze große Herausforderungen bei der Analyse und den praktischen Anwendungen in einem klinischen Umfeld dar.

In diesem von einem Dozenten geleiteten, Live-Training (Remote) werden die Teilnehmer lernen, wie man Big Data-Analytics in der Gesundheitsversorgung durchführt, indem sie eine Reihe praktischer Übungen durchlaufen.

Bis zum Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Hadoop MapReduce und Spark zu installieren und zu konfigurieren
• Die Eigenschaften medizinischer Daten zu verstehen
• Große Datentechniken zur Bearbeitung von medizinischen Daten anzuwenden
• Große Datensysteme und Algorithmen im Kontext von Gesundheitsanwendungen zu studieren

Zielgruppe

• Entwickler
• Data Scientists

Kursformat

• Vorlesungsteil, Diskussionsteil, Übungen und praktische Anwendung.

Hinweis

• Um ein angepasstes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um eine Terminvereinbarung zu treffen.

Zielgruppe:

Dieser Kurs soll Big Data/Hadoop-Technologie entmystifizieren und zeigen, dass sie nicht schwer zu verstehen ist.

Dieses von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Systemadministratoren, die lernen möchten, wie sie Hadoop-Cluster in ihrer Organisation einrichten, bereitstellen und verwalten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Apache Hadoop zu installieren und zu konfigurieren.
• Die vier Hauptkomponenten des Hadoop-Ökosystems zu verstehen: HDFS, MapReduce, YARN und Hadoop Common.
• Hadoop Distributed File System (HDFS) zum Skalieren eines Clusters auf Hunderte oder Tausende von Knoten zu verwenden.  
• HDFS als Speicher-Engine für lokale Spark-Bereitstellungen einzurichten.
• Spark zum Zugriff auf alternative Speicherlösungen wie Amazon S3 und NoSQL-Datenbanksysteme wie Redis, Elasticsearch, Couchbase, Aerospike etc. einzurichten.
• Administrative Aufgaben wie Bereitstellung, Verwaltung, Überwachung und Sicherung eines Apache Hadoop-Clusters durchzuführen.

In dieser von einem Dozenten geleiteten Live-Training in Deutschland (vor Ort oder remote) lernen die Teilnehmer, verschiedene Stream Processing-Frameworks mit bestehenden Big Data-Speichersystemen und verwandten Softwareanwendungen und Microservices zu integrieren.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• verschiedene Stream Processing-Frameworks wie Spark Streaming und Kafka Streaming zu installieren und zu konfigurieren.
• das für die Aufgabe am besten geeignete Framework auszuwählen.
• Daten kontinuierlich, parallel und zeile für Zeile zu verarbeiten.
• Stream Processing-Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. zu integrieren.
• die für Unternehmen am besten geeignete Stream-Processing-Bibliothek mit Anwendungen und Microservices zu integrieren.

Dieses von einem Trainer angeleitete, Live-Training in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler, die das SMACK Stack verwenden möchten, um Datenverarbeitungsplattformen für Big Data-Lösungen zu erstellen.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Eine Datenpipeline-Architektur zur Verarbeitung von Big Data zu implementieren.
• Eine Cluster-Infrastruktur mit Apache Mesos und Docker zu entwickeln.
• Daten mit Spark und Scala zu analysieren.
• Unstrukturierte Daten mit Apache Cassandra zu verwalten.

Dieses von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark-System zur Verarbeitung sehr großer Datenmengen einrichten und bereitstellen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Apache Spark zu installieren und zu konfigurieren.
• Sehr große Datensätze schnell zu verarbeiten und zu analysieren.
• Den Unterschied zwischen Apache Spark und Hadoop MapReduce zu verstehen und zu wissen, wann welches System verwendet werden sollte.
• Apache Spark mit anderen maschinellen Lernwerkzeugen zu integrieren.

Diese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Systemadministratoren, die Spark-Cluster einsetzen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Installieren und konfigurieren Sie Apache Spark in verschiedenen Umgebungen.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen zu implementieren und Hochverfügbarkeit zu gewährleisten.
• Allgemeine Spark-Probleme zu debuggen und zu beheben.

Die Lernkurve von Apache Spark steigt am Anfang langsam an, es bedarf viel Mühe, um den ersten Erfolg zu erzielen. Dieses Kursziel ist es, den ersten schwierigen Teil zu überwinden. Nachdem die Teilnehmer diesen Kurs absolviert haben, verstehen sie die Grundlagen von Apache Spark, sie können RDD und DataFrame klar voneinander abgrenzen, sie lernen die Python- und Scala-APIs, sie verstehen Executoren und Tasks usw. Auch indem es sich an beste Praktiken orientiert, konzentriert sich dieser Kurs stark auf die Cloudbereitstellung, insbesondere auf Databricks und AWS. Die Teilnehmer werden auch die Unterschiede zwischen AWS EMR und AWS Glue verstehen, einem der neuesten Spark-Dienste von AWS.

ZIELGRUPPE:

Data Engineer, DevOps, Data Scientist

ZIEL:

In diesem Kurs wird Apache Spark vorgestellt. Die Teilnehmer lernen, wie Spark in das Big Data-Ökosystem passt und wie man Spark zur Datenanalyse verwendet. Der Kurs behandelt die Spark Shell für interaktive Datenanalyse, die Interna von Spark, Spark APIs, Spark SQL, Spark Streaming sowie maschinelles Lernen und GraphX.

ZIELGRUPPE:

Entwickler / Datenanalysten

Diese von einem Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler und Entwickler, die Spark NLP, das auf Apache Spark aufbaut, zur Entwicklung, Implementierung und Skalierung von Modellen und Pipelines für die Verarbeitung natürlicher Sprache nutzen möchten.

Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:

• die notwendige Entwicklungsumgebung einzurichten, um mit dem Aufbau von NLP-Pipelines mit Spark NLP zu beginnen.
• die Funktionen, die Architektur und die Vorteile der Verwendung von Spark NLP zu verstehen.
• die in Spark NLP verfügbaren vortrainierten Modelle zur Implementierung von Textverarbeitung zu verwenden.
• Lernen Sie, wie Sie Spark NLP-Modelle für produktionsreife Projekte erstellen, trainieren und skalieren können.
• Anwendung von Klassifizierung, Inferenz und Sentiment-Analyse auf reale Anwendungsfälle (klinische Daten, Einblicke in das Kundenverhalten usw.).

In dieser von einem Trainer geleiteten Live-Schulung in Deutschland lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.

Spark SQL ist das Modul von Apache Spark, mit dem strukturierte und unstrukturierte Daten verarbeitet werden. Spark SQL bietet Informationen über die Struktur der Daten sowie über die durchgeführte Berechnung. Diese Informationen können zur Optimierung verwendet werden. Zwei häufige Anwendungen von Spark SQL sind:
- die Ausführung von SQL-Abfragen.
- das Lesen von Daten aus einer bestehenden Hive-Installation.

In diesem von einem Trainer geleiteten, live-Schulung (vor Ort oder Remote) lernen die Teilnehmer, verschiedene Arten von Datensätzen mit Spark SQL zu analysieren.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Spark SQL zu installieren und zu konfigurieren.
• Datenanalyse mit Spark SQL durchzuführen.
• Datensätze in verschiedenen Formaten abzufragen.
• Daten und Abfrageergebnisse zu visualisieren.

Kursformat

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxisübungen.
• Praktische Umsetzung in einer live-Lab-Umgebung.

Kursanpassungsoptionen

• Für eine angepasste Schulung für diesen Kurs wenden Sie sich bitte an uns, um die Anforderungen zu besprechen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI und Governance in einer einzigen Lösung integriert. Die Rocket- und Intelligence-Module ermöglichen eine schnelle Datenauswertung, -transformation und fortgeschrittene Analysen in Unternehmensumgebungen.

Diese von einem Dozenten geleitete Live-Schulung (online oder vor Ort) richtet sich an datenzentrierte Fachkräfte mittlerer Qualifikation, die lernen möchten, die Rocket- und Intelligence-Module in Stratio effektiv mit PySpark zu nutzen. Der Fokus liegt auf Schleifenstrukturen, benutzerdefinierten Funktionen und fortgeschrittenen Datenlogiken.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Sich innerhalb der Stratio-Plattform mit den Rocket- und Intelligence-Modulen zu orientieren und darin zu arbeiten.
• PySpark im Kontext von Datenaufnahme, -transformation und -analyse anzuwenden.
• Schleifen und bedingte Logiken zur Steuerung von Datenworkflows und Feature-Engineering-Aufgaben zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenoperationen in PySpark zu erstellen und zu verwalten.

Kursformat

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxisbeispiele.
• Hands-on-Implementierung in einer Live-Lab-Umgebung.

Kursanpassungsoptionen

• Für eine angepasste Schulung für diesen Kurs, kontaktieren Sie uns bitte zur Terminfindung.