Measurement & Research

Social Media Audit: Ansatz

1. November 2007 · von Joerg Hoewner · 5 Minuten Lesedauer · Keine Kommentare

Autor: Jörg Hoewner PR- und Marketingmenschen, die sich mit dem Web2.0-Phänomen beschäftigen, stellen sich u.a. zwei Fragen: In welchen Social Media-Plattformen werden Themen diskutiert, die für Unternehmen oder andere Akteure relevant sind? Und welche davon sind wichtig? Welche Social Media wie wichtig sind und am besten erfasst und bewertet werden können, darüber besteht nach wie vor Uneinigkeit. So hat Edelman zum Beispiel – sehr vorsichtig – den Versuch eines Social Media Index gestartet, also eines Rankings der wichtigsten Blogs anhand von verschiedenen Kennziffern. Die Community reagierte kritisch: Zu groß die Manipulationsmöglichkeiten („Aufblasen“ der eigenen Relevanz zum Beispiel über Selbstverlinkung), zu wenig Aussagekraft über die Qualität der Bezüge und Relevanz der Verfasser. Aktuell erregt die Diskussion um die Aussagekraft des Google PageRank die Gemüter, nachdem Google seine PageRank-Kriterien überarbeitet und in der Folge eine ganze Reihe von Sites herabgestuft hat, darunter auch so schwere Kaliber wie „Spiegel Online“ oder auch einige Top-Blogs. Klar ist, dass man über eine reine „Erbsenzählerei“ allein, d.h. das Auswerten von Technorati-Authorities, Google PageRanks und BackLinks usw., nicht identifizieren kann, welches in einem Themenkomplex meinungsführende Plattform, welches ein „Rising Star“ und welches Blog noch nicht so stark wahrgenommen wird. Wir haben für unsere Zwecke einen Ansatz entwickelt, der versucht, eine qualitative und auf quantifizierbaren Kriterien basierende Analyse zu vereinen:

  • Ausgangspunkt ist selbstverständlich ein inhaltliches Briefing, in dem definiert wird, um welche Themenbereiche und welche Problemstellung es geht.
  • Über eine umfassende Analyse von Social Media (Blogs, Newsgroups, Foren, Social Networks, Social Bookmarks, Social News, Social Video) versuchen wir uns ein Bild über Plattformen, Akteure, Themen usw. zu machen und definieren darüber Beobachtungspunkte (so will ich das mal nennen) und -parameter, die wir über ein Tool abfragen. Ja und an dieser Stelle nehmen wir auch Erbensparameter zu Hilfe – aber eben nicht allein. Diese Analyse ist relativ zeitaufwendig, weil es darum geht zu verstehen, wie und wo ein Thema „passiert“ und welche Akteure Knotenpunkte darstellen.
  • Auf dieser Basis findet ein automatisches Monitoring statt, dass dann laufend ausgewertet und justiert wird. Schliesslich wollen wir mitbekommen, wenn sich das Relevant Set bzw. die Themenstellung verändert.
  • Die Ergebnisse des Monitoring können vielfach zur Verfügung gestellt werden. Bei einigen Kunden, für die wir das machen, werden die Ergebnisse in ein Extranet eingestellt, in das von einem anderen Dienstleister die Ergebnisse des Print-, HF-/TV- und („klassisches“) Onlinemonitoring eingestellt werden. Bei anderen Kunden gibt es einen täglichen Newsletter mit den Ergebnissen plus einen regelmässigen Report.
Prozess im ÜberblickEin Fall aus der Praxis: „Grüne IAA“

Gemeinsam mit unserem Partner Cision untersuchten wir (K12) vor und während der diesjährigen IAA, wie Social Media auf die von der Automobilindustrie gesetzten Schwerpunkte „CO2-Ausstoß / Umweltverträglichkeit“ reagierten. Für die Aufgabenstellung interessierte uns eigentlich nur, wie das Thema in Automobilblogs und in Automobilforen (deutschsprachig und englischsprachig) Resonanz findet. 34 relevante Medien waren dabei die Basis einer detaillierten Inhaltsanalyse – wobei im Laufe der Beobachtung Plattformen hinzugenommen wurden. Vernetzungsanalyse: Ausgewertet wurde u.a. welche Blog- und Forenbeiträge andere Onlinemedien zitieren. Diese Daten wurden über mit Hilfe einer Software automatisch in ein Netzwerkdiagramm umgewandelt. Nur einige der – teilweise überraschenden – Ergebnisse: besonders die Blogger setzten andere Schwerpunkte als die klassischen Medien, bezogen sich nicht auf herkömmliche Online-Medien und hatten andere Interessen im Fokus. So konzentrierte sich die Blogosphäre auf technische Aspekte, häufig im direkten Zusammenhang mit Herstellern und Automarken (80 Prozent der Beiträge). Die Szene zeigte sich fasziniert von neuen Technologien, auch den umweltschonenden – die politische Dimension des Themas wurde jedoch kaum gestreift. Und die Automobilindustrie konnte die Früchte einer erfolgreichen Kommunikationsarbeit ernten: Besonders ihre Konzeptstudien (z.B. Mercedes F700 und VW UP!) wurden rege diskutiert, die Hersteller genossen bei den Blogs der Auto-Fans als Quelle viel Vertrauen. Beispiel für eine Themenmap: Stichworte werden – ähnlich wie bei einer Tagcloud – nach Häufigkeit in unterschiedlichen Schriftgrössen visualisiert und inhaltlich zueinander in Bezug gesetzt. Weitere Beispiele aus andere Social Media Audits: Repräsentative O-Töne von Top-Bloggern zu einem IT-Thema. Analyse von Social Bookmarks: Social Bookmarks geben Hinweise darüber, welche Onlineservices und -informationen von Nutzern für als für andere relevant erachtet und regelmässig besucht werden.

Kommunikation eines IT-Projektes: Rein und raus

23. Oktober 2007 · von Joerg Hoewner · 3 Minuten Lesedauer · Keine Kommentare

Autor: Jörg Hoewner

Seit einiger Zeit unterstützen wir einen Kunden kommunikativ bei der Einführung eines neuen IT-Systems für seine 13.000 Mitarbeiter. Wie man sich vorstellen kann, ist das ein aufwendiges Projekt, das voraussichtlich fünf Jahre dauern wird.

Letzte Woche habe ich dem Management Team für dieses Projekt die Ergebnisse von qualitativen Interviews vorgestellt, die wir an verschiedenen Standorten mit Mitarbeiter aller Ebenen durchgeführt haben.

Festgestellt haben wir u.a. grundlegende Informationsdefizite über das Projekt, die Auswirkungen auf die einzelnen, ein „gefühlter Blackbox-Effekt“ (in der Anfangsphase des Projektes – in der Analysephase – wurden Mitarbeiter zu einzelnen Prozessen befragt, dann haben sie ein halbes Jahr nichts mehr davon gehört; Kollegen wechselten zum Projektteam, etc..) und dass das mittlere Management aus verschiedenen Gründen Informationen nicht weiterträgt.

Klar ist, dass hier was falsch gelaufen (bzw. zu spät) ist – wobei die aus meiner Sicht richtigen Schritte anlaufen (z.B. lokale Projektmessen, Management-Engagement-Pakete), aber eben zum Teil etwas spät.

Ein Problem ist, dass gerade die wichtigen IT-Mitglieder des Projekt Management Teams  Probleme haben, der Analyse zu folgen. Beobachtungen:

  • In der Analysephase eines IT-Projektes und auch in den folgenden Phasen (Design, Konstruktion, Implementierung) haben die IT-Experten zu relativ vielen Menschen in der Organisation Kontakt… Aber eben meist nur zu anderen Experten. Aber daraus entsteht natürlich der Eindruck, alle wüssten über das Projekt und deren Auswirkungen schon genügend viel. Das Problem: Relativ gesehen wissen 5-10% der Mitarbeiter relativ viel, die anderen 90% kaum etwas.
  • „Nicht sein kann, was nicht sein darf.“:  Das Projektteam steht unter einem enormen Druck. Ein neuer Risikofaktor darf da einfach nicht sein. Nun kommt da ein Kommunikations-Hansl und erzählt, dass es ein Problem gibt…
  • „Qualitative Interviews“ sind sowieso suspekt: Warum gibt es in der Auswertung nicht so schöne Kuchendiagramme und wer hat überhaupt die möglichen Antworten (vor-)ausgewählt?

Und das führt mich zum Punkt: Das Feedback von der Organisation in das Projektteam hinein ist mindestens genauso wichtig, wie die Kommunikation nach draussen. Nur, wenn die Projektmitglieder wiedergespiegelt bekommen, welche Erwartungen, Befürchtungen, Wahrnehmungen Otto-Normal-Mitarbeiter hat, entsteht eventuell die Einsicht, dass es zu informieren, transparent zu gestalten und Fragen zu beantworten gibt. Und man bekommt ja auch einiges geboten, z.B. Informationen darüber, was den Leuten wirklich wichtig ist, welche Prioritäten z.B. in dem Projekt aus Mitarbeitersicht entsprechen.

Folglich ist dieses Feedbackabholen und-geben kein Einmalsprint, sondern ein Dauerlauf.

Impactwatch angeschaut

24. September 2007 · von Joerg Hoewner · 3 Minuten Lesedauer · 2 Kommentare

Autor: Jörg Hoewner

The Bivings Group betreibt mit ImpactWatch einen Online-Monitoring-Service, der sich speziell an PR- und Corporate Communications-Fachleute richtet.

Im Rahmen von Recherchen habe ich mir mal einen kostenlosen Demo-Account bestellt, da ich die Screenshots auf der Homepage von Impact Watch sehr vielversprechend fand. Habe mich also eingeloggt:

Impactwatch Medianübersicht

Wie bei anderen Monitoring-Anbietern auch, landet man auf einer Startseite mit aktuellen Treffern und einer Filterfunktion, nach der man die Treffer selektieren kann. Daneben gibt es die üblichen Exportfunktionen (vermailen, Auswahl als PDF abspeichern usw.). Was mir bei denen gut gefällt:

  • „Sentiments“ (Meinungstendenzen) werden direkt angezeigt und man kann die Beiträge danach filtern.
  • Beiträge sind getaggt (mit Schlagworten versehen) – auf diese kann man klicken und bekommt so nur Beiträge zum Schlagwort. Genau so sind Mediennamen und Autorennamen verlinkt. D.h. man klickt auf den Namen eines Journalisten und erhält alle Beiträge von ihm. Das ist sehr nützlich, um herauszufinden, über was wer schreibt.
  • Key Medien werden in einer Rubrik „Most influential“ zusammengefasst.
  • Es gibt Statistikfunktionen und zahlreiche Grafiken, diese visualisieren Themen und Unterthemen, Anzahl der Beiträge sortiert nach Themen und medienspezifische Informationen (z.B. ist die Berichterstattung in der Washington Post positiv, negativ, neutral? Welche Themen bearbeitet die Post? Welche Journalisten schreiben dort zum Thema?). Diese Grafiken sind anklickbar. Beispiel: Klickt man in der Grafik unten auf das Tortenstückchen „negative“, erhält man genau die Beiträge der Chicago Tribune, deren Tendenz negativ ist, usw..

Impactwatch Medianansicht

  • Ergebnisse können via RSS abonniert werden
  • Leistungsfähige Suchfunktion mit allerlei Filtern (nach Autor, Publikation, Stichworten, Zeitraum, Tags, …)

Unklar bleiben die Informationen auf der Website bzgl. Abdeckung europäischer Onlinemedien, Social Media, Einbau von Print-Medienbeobachtung oder der Preisstruktur.

Fazit: Für hiesige Bedürfnisse gibt es agile, fähige und bezahlbare Anbieter wie newsradar.de – aber ein paar Funktionen von Impactwatch machen einfach Spaß und wünschte ich mir auch bei den alternativen Monitoring-Lösungen.

Blog-Beziehungen messen: Ansatz und Umsetzungsbeispiel

11. September 2007 · von Jörg Hoewner · 2 Minuten Lesedauer · Keine Kommentare

Autor: Jörg Hoewner

Vor vielen Monaten habe ich schon mal auf einen Ansatz (hier “Framework”) von Anjo Anjewierden hingewiesen, wie Blog-Diskussionen (d.h. vor allem jene zwischen den Blogs) analysiert und visualisiert werden können (Siehe Beitrag „A model for weblog research„).

In diesem Ansatz spielen demnach fünf Dimensionen eine Rolle, wie Blog-Inhalte analysiert werden können:

  • Document (z.B. Post, Webpage, E-mail)
  • Term (Schlüsselbegriffe)
  • Person
  • Link (Referenzen zwischen Dokumenten)
  • Time

Davon ausgehend zeigen Anjo Anjewierden (Uni Amsterdam) und Lilia Egimova (Telematica Institut, Enschede), wie das Framework mit OpenSource-Tools zur Textanalyse (tOKo) ausgewertet werden kann und wie damit Fragen beantwortet werden können wie:

  • Was ist der thematische Fokus einer Community (unter “Community” wird hier ein Netzwerk von Blogs zu einem bestimmten Thema verstanden)?
  • Wie sind Einzelthemen miteinander verbunden?
  • Wie ändert sich die Relevanz der Themen über die Zeit?
  • Wie unterscheiden sich dabei einzelne Community-Mitglieder?
  • Wie findet der Austausch innerhalb der Community statt?

Untersucht wurden über 6.300 Posts in 23 Blogs rund um Wissensmanagement und Social Media.

Zum kompletten Beitrag geht es hier lang.

Social Media Measurement in der Diskussion: Ein Sortierversuch

11. August 2007 · von Jörg Hoewner · 4 Minuten Lesedauer · Keine Kommentare

Autor: Jörg Hoewner

Wie ich vor einigen Wochen berichtet habe (Beitrag „Social Media Index-Diskussion plus ein Beitrag dazu„), gibt es zur Zeit eine Diskussion um die Richtung „richtigen“ Social Media Measurements: In einigen Edelman-Blogs wurde die Idee eines Social Media Index gehegt, der – sieht man sich die derzeit 99 Kommentare an – heftig diskutiert wird.

Die Grundidee des Social Media Index ist es, aus der Gewichtung einer Reihe von Social Media-Kennziffern die Relevanz und den Einfluss von einzelnen Blogs zu ermitteln. Ausgangspunkt der Überlegungen: Link Popularity (wie z.B. von Technorati ermittelt) allein hat immer weniger Aussagekraft über den Einfluss von einzelnen Plattformen, von einzelnen Akteuren, da Engagement von Personen über andere Plattformen wie z.B. Twitter nicht erfasst würde (zusammenfassende Argumentation von Steve Rubel).

Dabei gibt es eine Reihe von Diskussionspunkten zu dem Konzept, die sich z.T. in den Blogkommentaren selbst als auch in anderen Blogs äussern:

  • Quantitative Metriken sagen nichts über den Einfluss („Influence“) aus. Denn, wie Jeff Jarvis ausführt, „it’s not how many people you interact with. It’s who you interact with.“ und welchen Effekt man erzielt. Aber auch Jeff Jarvis hat, wie er selber schreibt, keine Ahnung, wie man das messen soll.
  • Hier setzen auch andere Kritiker an: Man solle Reichweite („Reach“) nicht mit Einfluss verwechseln. Oder Popularität („Popularity“) nicht mit Einfluss. Flemming Madsen von Onalytica macht das am Beispiel von PR-Blogs deutlich. Während Links nicht so viel Aussagekraft hätten, gibt es durchaus die Möglichkeit zu messen, wie häufig Personen einander zitieren. Und liefert direkt ein Ranking der Top-80 angelsächsischen PR-Blogs und deren Einfluss auf Basis der Zitationsanalyse.
  • Der Begriffsverwirrung Media Guerrilla Mike Manuel auf den Grund zu gehen, in dem er die Begriffe „Influence“, „Engagement“ und“Reach“ unter die Lupe nimmt. Seiner Meinung ist die Messbarkeit der drei Grössen ein lösbares Problem.
    Kommentar von mir: Zum Thema „Engagement“ gibt es Ansätze. Nur wo sind die Plattformen, die die Daten vergleichbar machen bzw. solche Daten öffentlich sammeln?
  • Der Kritik von Steve Rubel an Technorati wollen viele nicht folgen. Zwar sehen die meisten ein, dass das „Authority-Konzept“ nicht allein seligmachend ist, aber Technorati würde Links auch qualitativ gewichten und das in die eigenen Kennziffern einfliessen lassen. Und: Zu Technorati gibt es nicht wirkliche Alternativen, zumindest was die Blogosphäre angeht.
  • Etwas mehr im Detail setzt Eric T. Peterson von „WeAnalyticsDemystified“. Er hat Schwächen im Ranking-Algorythmus von Technorati entdeckt. Z.B. verlinken Blogs auf sich selbst, wird das bei Technorati als Link mit in die Gewichtung genommen. Eine Möglichkeit also zur Manipulation. Eine weitere Möglichkeit, sich ein besseres Technorati-Ranking zu verschaffen sei, sich wild mit irgendwelchen Krauterseiten zu vernetzen. Das erhöhe die Zahl der Links, aber den Einfluss erhöht es nicht. Genauso liessen sich auch andere der erhobenen „Ziffernquellen“ manipulieren (Kommentar von Jennifer Mattern und Nicolas Byrne).
  • Der Social Media Index begünstigt im in seiner Zusammensetzung Personen gegenüber Organisationen. Ein Unternehmen wie Frosta betreibt sein eigenes Blog. Aber wir sollte man das Xing-Engagement des Unternehmens messen? Kurzum: Viele der im SMI erfassten Kennziffern sind nur auf Einzelpersonen anwendbar.

Eine spannende Diskussion also, die längst nicht abgeschlossen ist. Festzuhalten bleibt, dass es viel Kritik und Unbehagen gibt an Ansätzen, die auf die bekannten Social Media-Kennziffern aufsetzen. Aber es gibt anscheinend auch noch keine bezahlbaren Alternativen, die die Komplexität des Online-Kommunizierens rundum erfassen.