Lead Scoring & Machine Learning in Mautic

Download: Masterarbeit zu Scoring und Machine Learning

Was ist Lead Scoring?

Lead Scoring ist eine Möglichkeit, um die Kontakte eines Unternehmens zu priorisieren, damit nur Zeit und Ressourcen in Leads investiert werden, die tatsächlich ein hohes Kaufpotenzial aufweisen. Außerdem kann sichergestellt werden, dass Leads erst dann vom Vertriebsteam kontaktiert oder entsprechende CTAs erhalten, wenn diese kaufbereit sind.

Wie funktioniert Lead Scoring?

Traditionell wird beim Lead Scoring zunächst von Experten ein Punktesystem entwickelt, das festlegt, wie viele Punkte Leads erhalten, wenn diese gewisse Handlungen ausführen oder gewissen Eigenschaften aufweisen. Dieses Punktesystem wird hierbei in Zusammenarbeit zwischen Marketing und Vertrieb erstellt. Ein Beispiel für ein Punktesystem, dass in einer Scorecard abgebildet ist der folgenden Abbildung zu entnehmen.

Im Anschluss wird auf Basis dieser Scorecard für all unsere Leads ein Score errechnet. Überschreitet dieser Score nun einen von uns festgelegten Schwellenwert, so gilt ein Lead als qualifiziert und wird an den Vertrieb übergeben oder mit speziellen Marketingmaßnahmen für qualifizierte Leads beziehungsweise Marketing Qualified Leads (MQLs) bespielt.

Erweiterte Anwendungsfälle des Lead Scorings

Standardmäßig wird beim Lead Scoring bewertet, ob ein Lead an unserem Unternehmen interessiert ist und ob dessen Käuferprofil zu unserem Unternehmen passt. Es gibt allerdings auch erweiterte Anwendungsfälle:

• Account Based Scoring: Beim Account Based Scoring wird nicht einzelne Leads, sondern das den Leads übergeordnete Unternehmen bewertet. Dies kann sinnvoll sein, da im Business-to-Business (B2B)-Bereich in der Regel mehrere Personen am Kaufprozess beteiligt sind. Folglich kann es vorkommen, dass von den einzelnen Leads des Unternehmens keiner den festgelegten Score überschreitet, die Leads zusammen jedoch einen sehr hohen Score aufweisen, was ein klares Indiz für das Kaufinteresse des Unternehmens ist. Wenn dann die Eigenschaften des Unternehmens noch zu unserem idealen Käuferprofil passen, so ist gilt dieses als qualifiziert.
• Produktbasiertes Scoring: Das produktbasierte Scoring ist ein erweiterter Anwendungsfall des Lead Scorings bei welchem nicht das Interesse der Leads an unserem gesamten Unternehmen gemessen wird, sondern deren Interesse an unseren einzelnen Produkten, Produktgruppen oder Geschäftsbereichen. Hierzu wird für jede Produktgruppe ein eigenes Scoring-System aufgebaut. Überschreitet ein Lead nun den Schwellenwert des Scores für eine Produktgruppe, so kann dieser zielgerichteter durch Marketing und Vertrieb bearbeitet werden.

Vorgehen zum Erstellen eines Lead Scoring Modell

Im Rahmen der Arbeit wurden zwei Vorgehensmodelle zum Entwickeln eines Lead-Scoring-Systems in Mautic erarbeitet. Eines davon ist ein optimiertes traditionelles Lead-Scoring-Vorgehensmodell, das andere ist ein prädikatives Vorgehensmodell, welches ein Machine-Learning-Modell verwendet.

Optimiertes traditionelles Lead-Scoring-Modell

Der Vorteil des optimierten traditionellen Lead-Scoring-Modells ist, dass dessen Bepunktungsmodell auf einer Datenanalyse gestützt wird. Dadurch wird verhindert, dass verzerrte subjektive Einschätzung die Qualität des Modells negativ beeinflussen. Hierzu werden folgende Schritte durchlaufen.

1. Entwickeln eines Service Level Agreements: Im ersten Schritt halten Marketing und Vertrieb im sogenannten Service Level Agreement die Ziele und Rahmenbedingungen des Lead-Scoring-Vorhabens fest.
2. Datengenerierung: Im Rahmen der Datengenerierung werden Lead-Daten generiert, auf deren Basis später eine Datenanalyse durchgeführt wird.  Hierbei werden neben den Daten zu den Eigenschaften und den Aktionen der Leads auch Daten zur Qualität der Leads gesammelt. Beispielsweise eine Bewertung durch das Vertriebsteam (1-10) oder ob ein Lead gekauft oder nicht gekauft hat.
3. Datenaufbereitung: Im Anschluss werden diese Daten aufbereitet, damit sie später analysiert werden können.
4. Datenanalyse: Im Schritt der Datenanalyse wird untersucht, wie sich die Aktionen und Eigenschaften von Leads mit hoher Qualität von denen der Leads mit geringerer Qualität unterscheiden.
5. Festlegen eines Bepunktungssystems: Basierend auf den Erkenntnissen der Datenanalyse wird dann von Marketing und Vertrieb ein Punktesystem festgelegt.
6. Festlegen eines Schwellenwertes: Im Anschluss wird ein Schwellenwert festgelegt. Hierzu wird überprüft, für welchen Schwellenwert die besten Ergebnisse erzielt werden.
7. Iteratives Anpassen des Systems: Abschließend empfiehlt es sich noch iterativ das Punktesystem und den Schwellenwert anzupassen, um so die Ergebnisse des Systems noch zu optimieren.

Im Anschluss kann das System produktiv genutzt werden. Zudem empfiehlt es sich den Erfolg des Modells über KPIs zu messen und dieses regelmäßig zu aktualisieren.

Prädikatives Lead-Scoring-Modell

Neben dem traditionellen Lead-Scoring-Modell wurde auch ein prädikatives Lead-Scoring-Modell entwickelt. Hierbei wird ein Machine-Learning-Modell antrainiert, welches später automatisiert die Qualität unserer Leads beurteilen kann. Dazu werden folgende Schritte druchlaufen:

1. Entwickeln eines Service Level Agreements: Wie beim traditionellen Scoring wird auch hier ein Service Level Agreement definiert.
2. Datengenerierung: Im Anschluss werden die Lead-Daten generiert, die später verwendet werden, um ein Machine-Learning-Modell anzutrainieren. Zudem zu den Aktionsdaten und den Daten zu den Lead-Eigenschaften wird auch hier eine Bewertung der Lead-Qualität benötigt.
3. Datenaufbereitung: Im dritten Schritt werden die Lead-Daten aufbereitet, sodass sich diese eignen, um ein Machine-Learning-Modell anzutrainieren.
4. Entwickeln eines Machine-Learning-Modells: Mit den aufbereiteten Daten wird nun ein Machine-Learning-Modell antrainiert.
5. Evaluieren und Anpassen des Machine-Learning-Modells: In der Evaluationsphase wird nach Schwachstellen im Modell und in dessen Konstruktionsprozess gesucht. Werden solche identifiziert, wird das Modell optimiert.
6. Implementation des Machine-Learning-Modells: In dieser Phase wird das Modell in die MAS integriert. Außerdem werden alle Automationen erstellt, damit die vom Machine-Learning-Modell prognostizierten MQLs automatisch an das Vertriebsteam übergeben oder mit Marketingmaterialien für qualifizierte Leads versorgt werden.

 Daraufhin kann das Modell produktiv genutzt werden. Auch beim prädikativen Modell empfiehlt es sich, den Erfolg des Modells über KPIs zu messen und dieses regelmäßig zu aktualisieren.

Aktuell wird vermehrt zur Nutzung prädikativer Lead-Scoring-Systeme geraten, da diese genauere Vorhersagen zur Lead-Qualität ermöglichen. Dies liegt daran, dass prädikative Modelle in der Lage sind, komplexere Zusammenhänge zu erkennen, die nicht in traditionellen Lead-Scoring-Systemen abgebildet werden können. So kann ein prädikatives System beispielsweise Aktionen erkennen, die immer dann auf eine hohe Lead-Qualität hindeuten, wenn sie gemeinsam mit anderen Aktionen ausgeführt werden. Beim traditionellen Scoring hingegen, können nur für jede dieser Aktionen einzeln Punkte vergeben werden und somit keine Zusammenwirkung zwischen mehreren Aktionen berücksichtigt werden.

Im Praxistest mit den Daten eines Onlineshops konnte folglich mit einem traditionellen Lead-Scoring-System mit einer 77-prozentigen Genauigkeit vorhergesagt werden, welche Leads zu Kunden werden, beziehungsweise nicht zum Kunden werden. Beim prädikativen Lead Scoring hingegen lag die Genauigkeit bei 95 Prozent.

Erkenntnisse zum Lead Scoring im Mautic

Im Rahmen der Masterarbeit wurde alle zuvor beschriebenen Ansätze und Anwendungsfälle des Lead Scorings in Mautic getestet. Dabei wurden mehrere Verbesserungsvorschläge für Mautic erarbeitet.

Erweiterung des Menüpunktes „Points“

In Mautic ist der Menüpunkt „Points“ für das Lead Scoring vorhergesehen. Dieser beinhaltet die drei Unterpunkte:

• Manage Groups: Hier können zusätzliche Scores angelegt werden, was beispielsweise sinnvoll ist, wenn mehrere Scoring-Systeme für unterschiedliche Produktgruppen angelegt werden
• Manage Actions: Hier kann das Punktesystem festgelegt werden, indem einzelnen Aktionen
• Manage Triggers: Hier werden die Schwellenwerte für die einzelnen Scores festgelegt und Aktionen definiert, die beim Überschreiten der Scores durchgeführt werden.

In jedem dieser drei Punkte gibt es allerdings Ineffizienzen, welche die Komplexität des Lead-Scoring-Prozesses erhöhen:

• Manage Groups: Punktegruppen, die unter Manage Groups angelegt werden, haben nicht die selben Funktionen wie neue Custom Fields. Dies kann mehrere Prozesse verkomplizieren. Beispielsweise kann es im Lead-Scoring-Prozess sinnvoll sein, vom System qualifizierte Leads durch Entscheidung des Vertriebsteams zu recyceln und erneut in den Lead-Scoring-Prozess einzugliedern. Hierzu muss der Score auf einen zuvor festgelegten Wert zurückgesetzt werden, da sonst der Lead direkt wieder als MQL eingestuft werden würde. Da das zurücksetzen für „Point Groups“ nicht über die Kampagnenaktion „Update Contact“ erfolgen kann, musste hierfür als Workaround extra eine verhältnismäßig komplexe Kampagne erstellt werden.
• Manage Actions: Hier können lediglich Aktionen definiert werden, um den Score eines Leads zu erhöhen oder zu verringern. Es kann allerdings nicht festgelegt werden, dass der Score eines Leads auf Basis von dessen Eigenschaften wie beispielsweise dessen Position oder der Größe von dessen Unternehmen erhöht wird. Außerdem sind einige Aktionen wie unter anderem die Abmeldung vom Newsletter nicht in den Aktionen enthalten, die unter „Manage Actions“ ausgewählt werden können. Folglich muss die Bepunktung einiger Aktionen und aller Eigenschaften über Kampagnen abgefangen werden, welche die Komplexität des Systems erhöhen.
• Manage Triggers: Unter „Manage Triggers“ können Aktionen beim Erreichen eines Schwellenwertes lediglich auf Basis eines Scores ausgeführt werden. Existiert aber beispielsweise ein Score, der auf den Aktivitäten des Leads basiert und einer, der auf den Eigenschaften des Leads basiert, so kann dort nicht festgelegt werden, dass Aktionen erst dann ausgeführt werden, wenn beide Schwellenwert überschritten werden. Außerdem wäre es sinnvoll, wenn dort auch Filter berücksichtigt werden könnten. Dadurch könnten beispielsweise Leads, die sich in einem „Do Not Score“ Segment befinden, beim Überschreiten eines Schwellenwertes nicht berücksichtigt werden.

Account Based Scoring in Mautic aktuell nicht möglich

Zum aktuellen Zeitpunkt ist es nicht möglich, effektives Account based Scoring in Mautic zu betreiben, da die Funktionalitäten für Companies im Vergleich zu Leads deutlich eingeschränkt sind. Folglich wäre es sinnvoll, die Funktionalitäten für Companies auf einen ähnlichen Stand zu bringen wie die für Leads, dadurch würde auch das Account Based Scoring ermöglicht werden.

Externe Hilfsmittel für die Datenanalyse und die Entwicklung eines Machine-Learning-Modells nötig

Im Rahmen der zwei vorgeschlagenen Modellen, war es im Rahmen der Datenaufbereitung und der Datenanalyse beziehungsweise Machine-Learning-Modell-Entwicklung notwendig, die Daten extern auszuwerten, beispielsweise mittels Python-Codes. Daher könnte die Integration zusätzlicher Kapazitäten zur Datenauswertung in Mautic im Bezug auf das Lead Scoring einen erheblichen Mehrwert mit sich bringen. Außerdem wäre es dadurch möglich, prädikatives Lead Scoring automatisiert und in Echtzeit durchzuführen. Aktuell müssen die Daten zur Auswertung nämlich jedes Mal exportiert, in das trainierte Machine-Learning-Modell gegeben und die Vorhersagen dann wieder in Mautic importiert werden.

Empfehlungen für das Entwickeln eines eigenen Lead-Scoring-Systems

Willst du mit eigenes Lead-Scoring-Systeme aufbauen, so kann es sein, dass zu Beginn noch keine Daten vorliegen, die das Erstellen eines Datengestützten Modells ermöglichen. In diesem Fall empfiehlt es sich, zunächst ein reguläres, traditionelles System aufzubauen. Sobald ausreichend Daten vorliegen, um statistische Analysen durchzuführen, kann dann auf ein datengetriebenes System wie das optimierte traditionelle Lead Scoring oder im Idealfall das prädikative Lead Scoring umgestiegen werden. Detailliertere Informationen zur Implementierung der Modelle in der Praxis können der Masterarbeit entnommen werden.