Die SAP steht kurz vor der Veröffentlichung einer neuen Funktion, die sie Intelligent Lookup nennen und welche als Tool zur „einfachen Harmonisierung von Daten, wo Standardtechniken versagen“, bezeichnet wird. Dieses Tool soll sogar durch den Fachbereich einsetzbar sein. Die neue Funktionalität soll Herausforderungen bei der Datenintegration lösen, bei denen Datensätze „im Prinzip“ übereinstimmen, aber kein gemeinsamer Join-Schlüssel vorhanden ist. In so einem Fall könnte ein Standard-Datenbank-Join die beiden Datensätze nicht komplett zusammenführen.
Anwendungsfall: Gastbestellungen
Wir haben diese neue Entwicklung anhand eines konkreten Anwendungsfalls getestet, welcher uns aus unseren Retail Projekten bekannt ist. Im vorliegenden Fall konnten Käufer in einem Webshop entweder als Gast bestellen oder sich als neuer Benutzer registrieren. Wie Sie sicherlich aus Ihren eigenen Online-Einkaufserfahrungen wissen, haben Käufer oft keine Lust, sich im Webshop zu registrieren, können die Anmeldedaten, die sie bei ihrer letzten Bestellung verwendet haben, nicht finden oder registrieren sich erst nach mehrmaligen guten Erfahrungen mit dem Webshop.
Was für den Käufer bequem ist, stellt für den Händler eine ziemliche Herausforderung bei der Datenintegration dar: Wie kann er alle Bestellungen derselben Benutzerkennung zuordnen, wenn die Bestellung selbst als Gast aufgegeben wurde. Wenn solch eine Zuordnung möglich wäre, wäre das fürs Reporting und ein zielgerichtetes Messaging hilfreich. Aber wie erreicht man dies? Im Idealfall – aber nicht immer – verwenden die Nutzer dieselbe E-Mail-Adresse. Aber wie könnte man vorgehen, wenn das nicht der Fall ist? Man könnte darauf zurückgreifen, den Namen und die Adresse des Bestelldatensatzes und des Kundenstamms zu vergleichen. Aber auch hier könnten schon geringe Abweichungen in der Schreibweise dazu führen, dass ein solcher Ansatz scheitert.
SAP behauptet, dass mit Intelligent Lookup solche typischen Abgleichprobleme gelöst werden können, unabhängig von der Problemdomäne. Daher haben wir beschlossen, Intelligent Lookup zu testen.
Intelligent Lookup hat einen ganz eigenen Ansatz für dieses Abgleichproblem, da es im Wesentlichen eine interaktive Umgebung für den Aufbau einer Zuordnungstabelle zwischen den beiden Datensätzen darstellt. Wenn wir eine solche Tabelle hätten, wüssten wir in unserem konkreten Fall, welche Auftragskennung zu welcher Benutzerkennung passt. Intelligent Lookup ist ein Standard-Operator im Data Builder von SAP Data Warehouse Cloud, ähnlich wie eine Tabelle, ein grafischer View, ein SQL-View oder ein Datenfluss.
Intelligent Lookup findet die korrekten Zuordnungen, indem es den Benutzer eine Reihe von Zuordnungsregeln festlegen lässt, die relevante Feldwerte zwischen Bestelldatensätzen und Kundendatensätzen vergleichen. Diese Regeln sind entweder erfolgreich (wir haben eine Übereinstimmung und verwenden diese jetzt) oder schlagen fehl (wir formulieren eine andere Regel und verwenden diese stattdessen). Intelligent Lookup unterstützt heute sowohl einen exakten Vergleich als auch Fuzzy Matching. Zusammengenommen können diese beiden Funktionen viele Datenintegrationsprobleme lösen, die sonst selbst für SQL-Experten schwer zu bewältigen sind.
Intelligent Lookup: Step-by-Step
Nachdem wir die Zuordnungsregeln des Intelligent Lookups modelliert hatten, sah unser Ergebnis wie folgt aus:
Zum besseren Verständnis gehen wir den Aufbau Schritt für Schritt durch:
Unser Ausgangspunkt sind 5000 Verkaufsdatensätze, die den Kunden zugeordnet werden sollen.
Dies wird zunächst über einen exakten Abgleich der Kundennummer versucht:
Wie wir sehen, ist diese Regel zu 91% erfolgreich (grüner Pfeil). Hier wird also eine übereinstimmende Kundennummer in den Kundenstammdaten gefunden.
Übrig bleiben 9% der Sätze, bei denen keine Kundennummer in der Verkaufstabelle angegeben ist, welche somit als Gast bestellt hatten.
Für diese Sätze, zu denen über den Vergleich der Kundennummer kein Treffer gefunden wurde, legen wir eine weitere Regel an, in der ein exakter Vergleich der E-Mailadresse stattfindet:
Über diese Regel kann ein kleiner Teil (<1%) unserer Gastbestellungen zugeordnet werden, da bei denen die gleiche E-Mail-Adresse angegeben wurde.
Übrig bleiben 8% der Sätze, zu denen auch über die E-Mail-Adresse kein passender Satz in den Kundenstammdaten gefunden wird.
Für diese Sätze legen wir eine weitere Regel an, diesmal einen sogenannten unscharfen Abgleich, welcher per fuzzy search die Adressen und Namen der Bestelldatensätze mit denen im Kundenstamm vergleicht:
- Von den 395 Sätzen, die in diese Regel einfließen, können 288 direkt einem Kunden zugeordnet werden, weil Name und Adresse exakt übereinstimmen.
- Weitere 48 Sätze werden dem Benutzer zur Prüfung vorgeschlagen.
Hier bestehen leichte Abweichungen zwischen den Sätzen, z.B. weil einmal “Str.” und einmal “Straße” verwendet wurde. Diese Vorschläge kann der Benutzer ablehnen oder bestätigen.
- Bei acht Sätzen kommen mehrere Kundensätze in Frage, z.B. weil unter der gleichen Adresse mehrere Kunden mit ähnlichem Namen registriert sind. Auch hier kann der Benutzer die Vorschläge ablehnen oder bestätigen.
- Übrig bleiben 51 Sätze, bei denen kein Treffer in den Kundendaten gefunden werden kann. Hierbei handelt es sich vermutlich um echte Gastbestellungen, zu denen es bisher keine Kundenstammdaten gibt.
Alle diese übereinstimmenden und nicht übereinstimmenden Datensätze werden schließlich an den Ausgabeknoten weitergeleitet. Wir können konfigurieren, welche Felder aus der Nachschlagetabelle übernommen werden sollen, um fehlgeschlagene Übereinstimmungen einzuschließen oder zu verwerfen und auch nicht übereinstimmende Elemente mit Standardwerten anstelle von “NULL” zu füllen.
Diese Ausgabeansicht von Intelligent Lookup kann anschließend in jedem anderen DWC-Artefakt verwendet werden – sei es ein View, ein Datenfluss, ein Business Layer Element oder sogar in der SAC. In dieser Hinsicht ist Intelligent Lookup zukünftig ein zentraler Operator in der DWC, welcher sowohl von der IT als auch dem Fachbereich genutzt werden kann.
Zusammenfassung
Nachdem wir die Funktionsweise von Intelligent Lookup verstanden hatten, brauchten wir für den gesamten Prozess weniger als 20 Minuten. Die Integration mit Standard-Datenbank- oder ETL-Werkzeugen wäre eine große Herausforderung gewesen, und wir waren positiv angetan, wie schnell und intuitiv die Dinge gelöst wurden. Wir freuen uns schon darauf, weitere Integrationsszenarien zu untersuchen. Wir gehen davon aus, dass insbesondere im Zusammenhang mit dem in Kürze startenden Data Marketplace (Link) solche Harmonisierungsfälle häufig vorkommen werden. Wir werden Intelligent Lookup weiter im Auge behalten und Sie auf dem Laufenden halten!
Video
Den ganzen Anwendungsfall haben wir auch auf Video aufgenommen, so dass Sie alles direkt im System nachverfolgen können: Hier geht`s zum Video