Auch in dieser Woche wenden wir unsere Aufmerksamkeit Google Analytics zu. Es ist eben ein wichtiges und gerade im Bereich HR ein hochaktuelles Thema. Wer seine Analytics-Hausaufgaben ordentlich macht, ist grundsätzlich im Vorteil – bei der Entscheidungsfindung, Einleitung und Kontrolle von Optimierungsmaßnahmen.
In der Praxis wird allerdings klar, dass nicht immer jede Entscheidung bzw. Maßnahme und deren Resultate sich 100% genau messen und eindeutig nachvollziehen lassen. Es kann schon mal vorkommen, dass man eine rein zufällige Tendenz für das Resultat einer vermeintlich klugen Entscheidung hält (Buchempfehlung: Fooled by Randomness).
Die Gefahr der Verzerrung durch den Zufall
Im Fall von Web-Analytics besteht diese Gefahr z.B., wenn Ursache und Wirkung nicht eindeutig zuzuordnen sind. Oder wenn die zahlenmäßige Auswirkung einer vermeintlichen Ursache sich nicht gerade im eindeutigen Bereich bewegt – “von 0 auf täglich 180”.
Beispiele für nicht ganz eindeutige, je nach Fall schwer messbare, Zuordnungen wären:
- Offline-Event (z.B. Azubi-Messe) -> Veränderung der Zahl “neuer Besucher” auf der Seite
- SEO-Optimierung des Seitenaufbaus -> Veränderung der Verweildauer auf der Seite
- Anpassung des mobilen Bewerbungs-Formulars -> Veränderung der Zahl der mobilen Bewerbungen
- Neues Kommunikationskonzept der Webseite -> Wie viel hat das in Zahlen gebracht?
uvm.
Also, stellt Euch vor, Ihr macht ein schönes Azubi-Event, bemerkt in der gleichen Woche ein paar mehr Nutzer auf der Seite und sagt, “Cool, das Event hat’s voll gebracht. Machen wir nächstes Mal wieder”. In Wirklichkeit handelte es sich bei dem Anstieg aber um eine ganz normale, rein zufällige Schwankung, die bei Euch auf der Seite hin und wieder vorkommt.
Und auch wenn Ihr ganz tolle Analytiker seid und wisst, Eure Daten ordentlich zu “sezieren”, ist der pure Zufall mit dem bloßen Auge nicht immer ganz einfach zu erkennen. Zumal wir uns ja insgeheim wünschen, dass unsere Entscheidungen gut sind. Daher sind wir bei der Beurteilung der Ergebnisse voreingenommen.
Beispiel in eigener Sache
Wir haben zu Beginn des Jahres einige SEO-Maßnahmen auf dieser Seite umgesetzt, die unter anderem darauf zielten, mehr neue Besucher zu generieren. Hier die kurzfristige Auswertung.
“Da bewegt sich doch tendenziell was nach oben. Sieht gut aus, fühlt sich gut an. Läuft”, könnte ich meinen. Schauen wir uns nun ein größeres Zeitintervall an.
Aha. Und nu? Die zweite Darstellung lässt meine ursprüngliche Euphorie etwas schwinden. Denn ganz so eindeutig wie vorhin sehen und fühlen sich die Auswirkungen unserer Maßnahmen doch nicht an. Ist die positive Entwicklung seit Anfang des Jahres das Ergebnis unsere Maßnahmen oder nicht bzw. gibt es überhaupt ein “Ergebnis”? Und wenn ja, wie gut ist es ausgefallen im Vergleich zu dem was, vorher war. Wie kann ich das, was da passiert ist, genau beziffern?
Mark Edmondosn von der Seite online-behavior hat heute eine Methode vorgestellt, um schnell und einfach die statistische Signifikanz der von Google Analytics erfassbaren Daten zu bestimmen. Dabei können Nicht-Statistiker mithilfe seines selbst-entwickeltes Tool “GA-Effects” schätzen, wie wahrscheinlich es ist, dass die Auswirkungen ihrer Maßnahmen keine Zufälle sind. (Für Statistiker unter Euch – das Verfahren basiert auf Bayesscher Statistik und wurde im Jahr 2014 in einer Veröffentlichung ausführlich beschrieben.)
Nun übertrage ich seine Schritt für Schritt Anleitung, die ich wegen weiterführender Erläuterungen im Original empfehle, auf unseren Fall.
Wie starten mit der Hypothese:
“Haben die SEO-Maßnahmen in der ersten Januar Woche signifikant zum Anstieg der neuen Besucher auf der Seite beigetragen und falls ja, in welchem Maße?”
Folgende Schritte sind notwendig, um die Hypothese zu prüfen:
- Ich rufe die Seite https://mark.shinyapps.io/ga-effect/ auf und erlaube den Zugriff auf mein GA-Konto (natürlich habe ich entsprechende GA-Rechte).
- Ich wähle ein Unterkonto aus.
- Nun wird der Zeitraum bestimmt. Mark empfiehlt die Daumenregel 7:3 (vor:nach der Maßnahme)
- Segment wählen. In unserem Fall “Search Traffic”. Denn unsere Erwartung war, dass sich die Maßnahmen vor allem in diesem Bereich auswirken würden.
- Metrik wählen. In unserem Fall “New Users”. Wir wollten ja möglichst die Zahl der neuen Nutzer positiv beeinflussen.
- Nun setze ich den Zeitpunkt der Maßnahme fest.
- Zum Schluss kann ich mit der Festlegung der bekannten regelmäßigen Schwankungen für mehr Präzision sorgen. Auf unserer Seite gibt es jedes Wochenende einen deutlichen Rückgang der Besucher.
Das Ergebnis
Der Klick auf “Results” in der Sidebar führt uns zu der Schätzung entsprechend unseren Einstellungen.
Wir sehen in dieser Ansicht, dass der Effekt der Maßnahme als Signifikat eingestuft wird. Es wird geschätzt, dass die Maßnahme bis heute etwa 7000 mehr neue Nutzer eingebracht hat und wir durchschnittlich 130% mehr neue Nutzer über die Suchmaschinen (Search-Traffic) generieren, als vor der Maßnahme. Der Chart zeigt das erwartete/geschätzte Intervall (grüne Fläche) und die tatsächliche Entwicklung (blaue Linie).
Zusätzlich können wir noch die kumulierte Darstellung des Effekts betrachten bzw. die Verknüpfung der tatsächlichen Werte vor und nach der Maßnahme mit den erwarteten Werten.
Zu guter Letzt kann man sich die statistische Beweisführung genau durchlesen. Dazu gibt es den schriftlichen Report.
Klar ist das hier eine statistische Schätzung, klar entspricht auch sie nicht zu 100% der Realität. Statistik sollte auch nicht als die ultimative Wahrheit gehandelt werden. Falls möglich, sollte so eine Schätzung nochmals mit dem gesunden Menschenverstand hinterfragt bzw. wenn möglich mit Hilfe anderer Daten verifiziert werden.
Fazit
In meinem konkreten Beispiel sagt mir meine Logik, dass die Schätzung der erwarteten Werte zu niedrig ausgefallen ist, da sie durchgehend leicht unter dem tatsächlichen Niveau aus der Vergangenheit liegt. Die Ursache liegt in dem extrem schwachen Monat Dezember, der die Schätzung verzerrt. Mir ist also klar, dass das tatsächliche Ergebnis meiner Maßnahme unter den angegebenen +7000 bzw. +130% liegen wird. Allerdings auch nicht allzu weit weg.
Insgesamt finde ich die Methode und das Tool GA-Effects faszinierend, denn sie erlauben mir nun für bestimmte Fragestellungen wesentlich konkretere Aussagen zu treffen, die auf nachvollziehbaren Zahlen und nicht auf dem Gefühl basieren. Ich hoffe, Ihr seht das ähnlich und seid auch ein wenig begeistert von Mark Edmondsons Arbeit. Viel Spaß beim Spielen und Arbeiten mit diesem Tool. Ich freue mich auf Kommentare.
Für weitergehende Fragen zum Thema Web-Analytics und Google-Analytics im HR Kontext steht unser Team wie immer zur Verfügung.
