Signifikanz in Ihren Analysedaten erkennen

Was ist Signifikanz?

Um Entscheidungen auf der Grundlage von Daten treffen zu können, bedarf es eines robusten Maßes an Vertrauen in die Daten.

Wenn wir aufgrund eines Ereignisses (Start einer Kampagne, neue App-Funktion, globale Pandemie) eine Veränderung in unseren Daten beobachten, müssen wir sicher sein, dass das "Ereignis", das passiert ist, tatsächlich verantwortlich für die Veränderung der Daten verantwortlich war - und nicht nur eine Korrelation. Wir müssen in der Lage sein zu zeigen, dass, wenn diese Sache nicht passiert wäredie Daten sich nicht verändert hätten.

Dann können wir eine kausale Beziehung zwischen dem Ereignis und der Veränderung der Daten ableiten. Denken Sie daran - es handelt sich immer noch um eine Wahrscheinlichkeit, wir können niemals Kausalität in einem kategorischen Sinne beweisen, aber wir können aber wir können sehr zuversichtlich sein (und das ist viel besser, als zu raten!). Wir können Emotionen und unbewusste Voreingenommenheit aus der Entscheidungsfindung entfernen. Wir betrachten die Daten nicht mit den Augen und nutzen nicht unser Bauchgefühl - die Mathematik ist die Grundlage für den Entscheidungsfindungsprozess.

Hier finden Sie den vollständigen Chat und die Folien der "Live with MightyHive"-Episode von letzter Woche (scrollen Sie zum Ende, um die Folien zu sehen):

Wie funktioniert es?

Die Technologie hinter dem Google CausalImpact R-Paket, das in der Episode vorgestellt wurde, konstruiert ein Bayes'sches strukturelles Zeitreihenmodell und versucht dann, die kontrafaktische Situation vorherzusagen.

Einfach ausgedrückt: Das mathematische Modell verwendet Daten aus der Zeit vor dem Ereignis, um vorherzusagen, wie die Daten aussehen würden, wenn das Ereignis nicht eingetreten wäre. Wichtig: Die Vorhersage ist eigentlich ein probabilistischer Bereich von Werten. Wenn die historischen Daten verrauscht sind, ändert sich die Genauigkeit der Vorhersage. Sehen Sie sich den Screenshot aus der oben verlinkten Demo an. In der Abbildung unten ist der blau schattierte Bereich die Vorhersage (synthetischer Kontrollschätzer) des Modells. Wenn die beobachteten Daten außerhalb des blauen Bereichs liegen, haben wir Signifikanz!

Der blaue Bereich wird größer, wenn die Daten verrauscht sind. Je breiter der blaue Bereich ist, desto extremer muss die Beobachtung sein, um ein signifikantes Signal zu erhalten.

Verwendung von Google CausalImpact

Sie können das CausalImpact-Paket mit nur drei Zeilen R verwenden. R Studio ist Open Source oder Sie können es mit rstudio.cloud ausprobieren.

Wenn Sie das CausalImpact-Paket lokal installieren, benötigen Sie aufgrund von Abhängigkeiten mindestens die Version 3.5 von R. Ich habe Linux auf dem Chromebook aktualisiert, um die neueste Version von R und R Studio über diesen sehr nützlichen Artikel zu erhalten, und die Paketinstallation war sehr einfach.

Dank Mark Edmondson von IIH Nordic gibt es eine weitere Möglichkeit. Mark hat ein großartiges, kostenloses Shiny-App-Frontend für CausalImpact geschrieben, mit dem Sie Signifikanz in Ihren eigenen GA-Daten untersuchen können.

Signifikanz nutzen, um Kausalität festzustellen und Maßnahmen zu ergreifen

Wir haben das Paket zur Analyse von Kundendaten verwendet, um wichtige Geschäftsfragen zu beantworten, die sich in Bezug auf KPI-Änderungen seit der Abriegelung des Vereinigten Königreichs ergaben.

Neben der Betrachtung von Jahresdaten (wobei das "Ereignis" auf den 1. Januar festgelegt wurde) haben wir auch Daten aus der Zeit vor und nach der Sperrung (9. März) verwendet. Die Daten zeigen klare Muster im Kaufverhalten für Einzelhandels-Websites. Medien-Websites scheinen ein explosives Wachstum zu verzeichnen. Die Einzelheiten zu den Wachstumsbereichen der Inhalte sind jedoch sehr aufschlussreich - nicht das, was man erwarten würde, wenn man die Daten nur aus der Ferne betrachtet.

Für Einzelhandels- und Medienkunden ist die Fähigkeit, aktuelle und künftige Wachstumsbereiche mit Zuversicht zu identifizieren, eine äußerst wertvolle Taktik. Auf strategischer Ebene sind die von CausalImpact erstellten Prognosen sehr hilfreich bei der Festlegung von Kampagneninhalten, Budgets und Zeitplänen.

Während die Taktik für die derzeitige globale Situation das "Verwalten" beinhaltet, gibt es eine klare Nähe für vorbereitung auch. Entscheidungen auf der Grundlage aktueller Daten zu treffen und Prognosen mit Zuversicht zu nutzen, erweist sich für unsere Kunden als wertvoll.

Zusätzliche Ressourcen

Vielen Dank für die Lektüre! Die Folien der Folge können hier abgerufen werden:

Sehen Sie sich hier das Einführungsvideo zum R-Paket CausalImpact an (Pflichtprogramm!):