Data Engineering

Vor der Datenanalyse bzw. -modellierung müssen Ihre Daten aufbereitet werden. Dazu gehören u.A. die…

Datenauswahl

Selektion und Bereitstellung der für die Analyse / Modellierung notwendigen Daten.

Datenbereinigung

Durchführung von Fehlererkennungs- bzw. Fehlerkorrekturschritten für beispielsweise fehlerhafte Daten / Datenpunkte

Datenstandardisierung

Vereinheitlichung von Eingabedaten der ML-Tools, um das Risiko fehlerhafter Eingabedaten zu reduzieren.

Mit unseren Data Engineering Tools stellen wir zuverlässige Datenströme aus unterschiedlichsten Quellen bereit und wir stellen die nötige Infrastruktur für den optimalen Workflow Ihres Data Science Projekts her:

A categorized infographic displaying various tools and platforms used in data engineering, machine learning operations, and cloud infrastructure. The image is divided into eight categories with corresponding logos beneath each:

Containerisierung und Orchestrierung (Containerization and Orchestration):
Docker, Kubernetes

MLOps End-to-End:
MLflow, H2O.ai, Kubeflow

Computing and Processing:
Cloudera, Apache Spark, Apache Kafka

Workflow Management:
Apache Airflow

ETL (Extract Transform Load):
Talend, KNIME, Apache NiFi

Infrastruktur Monitoring und Provisionierung (Infrastructure Monitoring and Provisioning):
Terraform, Grafana, Ansible

Warehousing und Analytics Engine:
Amazon Redshift, Apache Druid, Azure Data Factory, Google BigQuery

Object Storage Plattformen (on premise, hybrid, and cloud solutions):
MinIO, AWS, Apache Hadoop, Docker, Google Cloud, Azure, Oracle

In unserem Team beschäftigen wir uns ständig mit den neuesten Technologien, um maßgeschneiderte Lösungen für möglichst viele Use Cases in modernen datengetriebenen Projekten zu bieten. In folgenden Medium-Artikeln zeigen wir Schritt für Schritt mögliche Umsetzungen auf Basis unserer technischen Expertise:

A modern, minimalist desk setup with a laptop displaying a simulation of autonomous vehicles using LiDAR technology. The screen shows cars on a road with green sensor lines indicating AI-based detection or navigation. Surrounding the laptop are a desk lamp, books, and indoor plants, creating a clean and tech-savvy workspace.

Data Pipelines with Monitoring Tools

Schritt für Schritt Anleitung für den Aufbau eines Data Stacks

A modern, minimalist desk setup with a laptop displaying a simulation of autonomous vehicles using LiDAR technology. The screen shows cars on a road with green sensor lines indicating AI-based detection or navigation. Surrounding the laptop are a desk lamp, books, and indoor plants, creating a clean and tech-savvy workspace.

On Premise Data Lake

Erstellung eines Storage Layers für jedes Data-Science-Projekt in einer On-Premise-Konfiguration

A modern, minimalist desk setup with a laptop displaying a simulation of autonomous vehicles using LiDAR technology. The screen shows cars on a road with green sensor lines indicating AI-based detection or navigation. Surrounding the laptop are a desk lamp, books, and indoor plants, creating a clean and tech-savvy workspace.

Computer Vision from Scratch

Bau eines CNN-Modells mit Tensorflow und Keras, um Krankheiten in Blättern festzustellen

A modern, minimalist desk setup with a laptop displaying a simulation of autonomous vehicles using LiDAR technology. The screen shows cars on a road with green sensor lines indicating AI-based detection or navigation. Surrounding the laptop are a desk lamp, books, and indoor plants, creating a clean and tech-savvy workspace.

Change Data Capture using Debzium Kafka

Nutzung von Debezium, um Änderungen und Transaktionen bei der Nutzung von Databases

Sie möchten die Vorteile von KI-Lösungen nutzen, um Ihr Unternehmen weiter zu bringen?

Kommen Sie auf uns zu – wir beraten Sie gerne über Möglichkeiten und Anforderungen, damit Sie so schnell wie möglich auf die Überholspur kommen!

A smiling businessman wearing a headset sits at a desk during a video call on his laptop. He is dressed in a dark blue suit and holding a pen. The background shows a well-lit, modern office with shelves and decorative items.