Web Scraping with Python Schulung
Web Scraping ist eine Technik zum Extrahieren von Daten von einer Website und zum Speichern in einer lokalen Datei oder Datenbank.
Dieses Live-Training (vor Ort oder per Fernzugriff) richtet sich an Entwickler, die mithilfe von Python das Crawlen vieler Websites automatisieren möchten, um Daten für die Verarbeitung und Analyse zu extrahieren.
Am Ende dieser Schulung können die Teilnehmer:
- Installieren und konfigurieren Sie Python und alle relevanten Pakete.
- Rufen und analysieren Sie Daten ab, die auf vielen Websites gespeichert sind.
- Verstehen Sie, wie Websites funktionieren und wie ihre HTML strukturiert ist.
- Erstellen Sie Spiders, um das Web in großem Maßstab zu crawlen.
- Verwenden Sie Selenium, um AJAX-basierte Webseiten zu crawlen.
Format des Kurses
- Interaktiver Vortrag und Diskussion.
- Viele Übungen und praktische Anwendungen.
- Praktische Umsetzung in einer Live-Lab-Umgebung.
Anpassungsoptionen für den Kurs
- Dieser Kurs setzt Programmierkenntnisse voraus.
- Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um eine Vereinbarung zu treffen.
Schulungsübersicht
Einführung
Einrichten der Entwicklungsumgebung
Python Einführung: Datenstrukturen, Bedingungen, Dateiverwaltung usw.
Python Pakete für Web Scraping: Scrapy und BeautifulSoup
Wie eine Website funktioniert
Wie HTML aufgebaut ist
Eine Webanfrage stellen
Scraping einer HTML Seite
Arbeiten mit XPath und CSS
Filtern von Daten mit regulären ExpressIonen
Erstellen eines Webcrawlers
Crawlen von AJAX- und JavaScript-Seiten mit Selenium.
Best Practices für Web Scraping
Fehlerbehebung
Zusammenfassung und Schlussfolgerung
Voraussetzungen
- Programming Erfahrung, vorzugsweise in Python. Wenn Teilnehmer Programmiererfahrung in einer anderen Sprache als Python haben, kann die Schulung um zusätzliche einführende Python-Übungen erweitert werden.
Publikum
- Entwickler
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Web Scraping with Python Schulung - Booking
Web Scraping with Python Schulung - Enquiry
Web Scraping with Python - Beratungsanfrage
Beratungsanfrage
Erfahrungsberichte (1)
Viele verschiedene Beispiele und Themen wurden behandelt, von der grundlegenden Untersuchung bis hin zur Login-Verwaltung und der Verwaltung dynamischer Seiten.
Daniele Tagliaferro - Creditsafe Italia Srl
Kurs - Web Scraping with Python
Maschinelle Übersetzung
Kommende Kurse
Kombinierte Kurse
Scaling Data Analysis with Python and Dask
14 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenwissenschaftler und Softwareingenieure, die Dask mit dem Python-Ökosystem verwenden möchten, um große Datensätze zu erstellen, zu skalieren und zu analysieren.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Einrichten der Umgebung, um mit Dask und Python die Verarbeitung von Big Data zu beginnen.
- Erforschen Sie die Funktionen, Bibliotheken, Werkzeuge und APIs, die in Dask verfügbar sind.
- Verstehen Sie, wie Dask die parallele Datenverarbeitung in Python beschleunigt.
- Lernen Sie, wie Sie das Python-Ökosystem (Numpy, SciPy und Pandas) mit Dask skalieren können.
- Optimieren Sie die Dask-Umgebung, um eine hohe Leistung bei der Verarbeitung großer Datenmengen zu erhalten.
Data Analysis with Python, Pandas and Numpy
14 StundenThis instructor-led, live training in Deutschland (online or onsite) is aimed at intermediate-level Python developers and data analysts who wish to enhance their skills in data analysis and manipulation using Pandas and NumPy.
By the end of this training, participants will be able to:
- Set up a development environment that includes Python, Pandas, and NumPy.
- Create a data analysis application using Pandas and NumPy.
- Perform advanced data wrangling, sorting, and filtering operations.
- Conduct aggregate operations and analyze time series data.
- Visualize data using Matplotlib and other visualization libraries.
- Debug and optimize their data analysis code.
Web Development with Django
21 StundenDjango ist ein übergeordnetes Python Webframework, das eine schnelle Entwicklung und ein klares, pragmatisches Design fördert.
Publikum
Dieser Kurs richtet sich an Entwickler und Ingenieure, die Django in ihre Projekte Django möchten
Monax: Build a Smart Contract Application
7 StundenIn dieser Live-Schulung in Deutschland lernen die Teilnehmer, wie man eine Smart-Contract-Blockchain-Anwendung mit Monax erstellt.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Eine verteilte Anwendung mit Hilfe der Blockchain- und Smart-Contract-Technologie zu entwickeln und einzusetzen.
- Design und Funktionalität von "Smart Contracts" zu verstehen und zu wissen, wie man einen solchen erstellt.
- Best Practices für die sichere Entwicklung von Blockchain-Anwendungen zu implementieren.
- Nutzung von Monax-Tools zur Rationalisierung der Entwicklung verteilter Anwendungen.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 StundenDiese Live-Schulung unter Anleitung (online oder vor Ort) richtet sich an Entwickler, die den FARM-Stack (FastAPI, React und MongoDB) zur Erstellung dynamischer, hochleistungsfähiger und skalierbarer Webanwendungen nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
-
Einrichten der erforderlichen Entwicklungsumgebung, die FastAPI, React und MongoDB integriert.
Verstehen der wichtigsten Konzepte, Funktionen und Vorteile des FARM-Stacks.
Lernen, wie man REST-APIs mit FastAPI erstellt.
Lernen Sie, wie Sie interaktive Anwendungen mit React entwerfen.
Entwickeln, Testen und Bereitstellen von Anwendungen (Frontend und Backend) unter Verwendung des FARM-Stacks.
Developing APIs with Python and FastAPI
14 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die FastAPI mit Python verwenden möchten, um RESTful APIs einfacher und schneller zu erstellen, zu testen und bereitzustellen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Eine notwendige Entwicklungsumgebung für die Entwicklung von APIs mit Python und FastAPI einzurichten.
- APIs mithilfe der FastAPI-Bibliothek schneller und einfacher zu erstellen.
- Zu lernen, wie man Datenmodelle und Schemas basierend auf Pydantic und OpenAPI erstellt.
- APIs mithilfe von SQLAlchemy mit einer Datenbank zu verbinden.
- Sicherheit und Authentifizierung in APIs mithilfe der FastAPI-Tools zu implementieren.
- Container-Images zu erstellen und Web-APIs auf einem Cloud-Server bereitzustellen.
Web application development with Flask
14 StundenDieser praktische Kurs richtet sich an Python Entwickler, die ihre ersten Webanwendungen erstellen und warten möchten. Es richtet sich auch an Personen, die bereits mit anderen Web-Frameworks wie Django oder Web2py sind und lernen möchten, wie Sie mit einem Microframework (dh einem Framework, das Bibliotheken von Drittanbietern zusammenklebt, anstatt eine eigenständige universelle Lösung Web2py ) Änderungen vornehmen der Prozess.
Ein wesentlicher Teil des Kurses ist nicht Flask selbst gewidmet (es ist winzig), sondern Bibliotheken und Tools von Drittanbietern, die häufig in Flask-Projekten verwendet werden.
Advanced Flask
14 StundenDieses von einem Trainer geleitete Live-Training (online oder vor Ort) richtet sich an Entwickler, die die fortgeschrittenen Funktionen von Flask nutzen möchten, um skalierbare Webanwendungen auf Basis von MongoDB zu erstellen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Richten Sie die notwendige Entwicklungsumgebung ein, um mit der Entwicklung von Webanwendungen mit Flask zu beginnen.
- Lernen Sie die fortgeschrittenen Konzepte und Techniken für reale Flask-Projekte kennen.
- Erstellen Sie einen RESTful API Server auf Basis von MongoDB.
- Lernen Sie, wie Sie Microservices mit Flask, Docker und Amazon EC2 containerisieren, testen und bereitstellen können.
- Gewinnen Sie einen Einblick in die fortgeschrittenen Flask-Integrationen für die Skalierung von Webanwendungen.
Kivy: Building Android Apps with Python
7 StundenKivy ist eine open-source cross-platform graphic user interface-bibliothek geschrieben in Python, die die Entwicklung von multi-touch-Anwendungen für eine breite Auswahl an Geräten ermöglicht.
In diesem Instructor-Leid, Live-Training Teilnehmer werden lernen, wie zu installieren und deploy Kivy auf verschiedenen Plattformen, personalisieren und manipulieren Widgets, Zeitplan, trigger und reagieren auf Ereignisse, modifizieren Grafiken mit Multi-Touch, resize das Bildschirm, Paket-Apps für Android, und mehr.
Nach Abschluss des Trainings können die Teilnehmer
- Den Python-Code und die Kivy-Sprache in Beziehung zu setzen.
- Ein solides Verständnis davon zu haben, wie Kivy funktioniert und seine wichtigsten Elemente wie Widgets, Ereignisse, Eigenschaften und Grafiken nutzt.
- Nahtlos Android-Apps auf Basis unterschiedlicher Geschäfts- und Designanforderungen zu entwickeln und bereitzustellen.
Format des Kurses
- Teil Vortrag, Teil Diskussion, Übungen und umfangreiche praktische Anwendung.
Accelerating Python Pandas Workflows with Modin
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler und Entwickler, die Modin verwenden möchten, um parallele Berechnungen mit Pandas für eine schnellere Datenanalyse zu erstellen und zu implementieren.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- die notwendige Umgebung einzurichten, um mit der Entwicklung von Pandas-Workflows in großem Maßstab mit Modin zu beginnen.
- die Funktionen, die Architektur und die Vorteile von Modin zu verstehen.
- Die Unterschiede zwischen Modin, Dask und Ray kennen.
- Schnellere Durchführung von Pandas-Vorgängen mit Modin.
- Implementierung der gesamten Pandas API und Funktionen.
Game Development with PyGame
7 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Entwickler, die PyGame verwenden möchten, um Spiele mit Hilfe der Python-Programmierung zu erstellen und zu entwickeln.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- die notwendige Entwicklungsumgebung einzurichten, um mit der Erstellung von Spieleanwendungen mit PyGame und Python zu beginnen.
- Sie lernen, wie man interaktive PyGame-Anwendungen mit integrierten Animationen und Multimediafunktionen erstellt.
- Spielprogramme mit der PyGame-Testsuite auszuführen und zu testen und sie in ausführbare Dateien zu konvertieren.
GUI Programming with Python and PyQt
21 StundenDieses von einem Trainer geleitete Live-Training (online oder vor Ort) richtet sich an Personen, die eine visuell ansprechende Softwareanwendung mit Python und dem Qt UI-Framework programmieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Einrichten einer Entwicklungsumgebung, die alle benötigten Bibliotheken, Pakete und Frameworks enthält.
- Erstellen einer Desktop- oder Serveranwendung, deren Benutzeroberfläche reibungslos funktioniert und visuell ansprechend ist.
- Implementieren Sie verschiedene UI-Elemente und -Effekte, einschließlich Widgets, Diagramme, Ebenen usw., um eine maximale Benutzerfreundlichkeit zu erreichen.
- Implementieren Sie ein gutes UI-Design und eine gute Code-Organisation während der Design- und Entwicklungsphase.
- Testen und debuggen Sie die Anwendung.
Build REST APIs with Python and Flask
14 StundenDiese instructor-geführte, Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Backend-Entwickler, die REST-APIs mit Python und Flask erstellen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Eine REST-API implementieren, um einer Flask-Webanwendung das Lesen und Schreiben in eine Datenbank im Backend zu ermöglichen.
- Erweiterte Authentifizierungsfunktionen wie Refresh-Token entwickeln.
- Ein wiederverwendbares Backend für zukünftige Python-Projekte erstellen.
- Die Datenspeicherung mit SQLAlchemy vereinfachen.
- REST-APIs auf einem Cloud-basierten Server bereitstellen.
Scientific Computing with Python SciPy
7 StundenDiese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die mit SciPy fortgeschrittene wissenschaftliche Berechnungsfunktionen mit Python erstellen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Eine notwendige Entwicklungsumgebung einrichten, um mit der Erstellung wissenschaftlicher Berechnungsfunktionen zu beginnen.
- Die vollen Vorteile der SciPy-Funktionen nutzen, indem sie praktische Beispiele für komplexe Operationen durchführen.
- Mathematische Algorithmen und Funktionen implementieren und optimieren, um wissenschaftliche Probleme zu lösen.
- Datenstrukturen und Interpolationsmethoden für Visualisierung, Verarbeitung und Analyse entwerfen.
Web Development with Web2Py
28 StundenWeb2py ist ein Python-basiertes Open-Source-Full-Stack-Framework für die schnelle Entwicklung schneller, skalierbarer, sicherer und portabler datenbankgestützter webbasierter Anwendungen.
Publikum
Dieser Kurs richtet sich an Ingenieure und Entwickler, die web2py als Framework für die Webentwicklung verwenden