Als Microsoft Partner unterstützen wir unsere Kunden auf dem Weg zur datengetriebenen Organisation – die Überprüfung der Datenqualität ist dabei ein zentrales Element.
Analyse der bestehenden Infrastruktur, der Voraussetzungen und der Bedürfnisse sowie Identifikation von Schwachstellen in der Datenqualität.
Analyse der Datenherkunft sowie Erstellen eines massgeschneiderten Konzeptes für eine effiziente Dateninfrastruktur, die eine hohe Datenqualität gewährleistet.
Definition spezifischer Qualitätschecks, die sicherstellen, dass die Daten den gewünschten Standards entsprechen.
Professionelle Umsetzung der konzipierten Dateninfrastruktur und der definierten Qualitätschecks.
Erstellen von Data Quality Reports für einen transparenten Überblick über den Zustand der Daten.
Feedback-Loop zur Adjustierung der definierten und implementierten Datenqualitätschecks.
Die Informationen sind korrekt und fehlerfrei.
Alle erforderlichen Daten sind vorhanden.
Die Daten stimmen in verschiedenen Systemen und Datensätzen überein.
Jedes Datenelement ist nur einmal vorhanden und es existieren keine Duplikate.
Beschreibt, ob die Daten den festgelegten Standards und Anforderungen entsprechen.
Daten gelten als Rohstoff des 21. Jahrhunderts. Wissenschaftliche Evidenz zeigt, dass datengetriebene Unternehmen 6% profitabler und 5% produktiver wirtschaften. Mit den fortschreitenden Möglichkeiten von künstlicher Intelligenz ergeben sich neue Anwendungsbereiche, um das Potenzial unternehmensinterner Daten vollumfänglich ausschöpfen zu können.
Doch Daten lassen sich nur dann mit einem hohen Vertrauen analysieren, wenn sie einen hohen Qualitätsstandard aufweisen. Eine hohe Datenqualität ist zudem die Grundlage, um moderne Machine Learning Algorithmen und Künstliche Intelligenz (z.B. Chatbots und andere Anwendungen generativer KI) im Unternehmen einzusetzen. Data Quality Checks werden darum zukünftig ein fester Bestandteil jeder modernen Dateninfrastruktur sein.
Die häufigsten Datenqualitätschecks funktionieren regelbasiert oder mit Modellen, die spezifisch nach Anomalien in den Daten suchen.
Regelbasierte Datenqualitätschecks überprüfen zum Beispiel, ob alle erforderlichen Daten vorhanden sind oder ob Duplikate existieren. Mit einer Validierungsprüfung kann verifiziert werden, dass die Daten vordefinierten Regeln entsprechen: beispielsweise darf eine 4.5-Zimmer-Wohnung im ERP eines Immobilienverwalters nicht kleiner als 50m2 sein. Enthalten mehrere Systeme die gleichen Daten, kann getestet werden, ob die Werte konsistent sind.
“Anomalie detection”-Tests identifizieren ungewöhnliche oder abweichende Muster in den Daten. Dabei kommen statistische Verfahren wie z. B. Z-Scores, IQR-Regeln oder Algorithmen zur Clusteranalyse zum Einsatz. Anhand historischer Daten kann beispielsweise festgestellt werden, wenn ein Datenpunkt plötzlich eine starke Abweichung zur bisherigen Zeitreihe aufweist. Zudem können verschiedene KI-basierte Modelle wie z.B. neuronale Netze verwendet werden, um Ausreisser zu erkennen. Diese Modelle lernen aus den Daten und können so auch komplexe Muster identifizieren, die mit statistischen Verfahren nicht erkannt werden können.
Gerne beraten wir Sie in einem persönlichen Gespräch
