spieleprogrammierer.de - Forum und Wiki zur Spieleprogrammierung und Spieleentwicklung

Hey,

mein Name ist Uli und ich bin Masterstudent an der technischen Universität Darmstadt. Viele von euch kennen mich bereits seit einigen Jahren aus dem Forum und haben mich auch schon auf der Devmania getroffen. Mittlerweile haben sich meine Interessen in Richtung Sprachverarbeitung und Web-Mining verlagert, womit sich auch das hier vorgestellte Projekt befasst.

Ich möchte euch das Projekt "Netzwerk des Tages" vorstellen, welches den Aufbau einer Website umfasst, die die Verflechtungen von öffentlichen Akteuren (Personen, Firmen) visualisiert und die Möglichkeit zur Recherche in öffentlich verfügbaren tagesaktuellen Quellen (Online-­Tageszeitungen, (Micro)-­Blogs u.ä.) bietet. Auf der Website werden zu tagesaktuellen Akteuren Verflechtungen visualisiert, welche interaktiv durch Benutzer exploriert und mit Tags angereichert werden können. Ferner werden Twitter-­Trends für Akteure angezeigt. Die Website kann auch zur Recherche in historischen Daten verwendet werden. Im Gegensatz zu aggregierten News-Portalen (wie Google News) werden hier auf den ersten Blick die Verbindungen zwischen Akteuren und deren Hintergründe auch für Nichtexperten sichtbar und recherchierbar, was zur Transparenz von Vorgängen in der Gesellschaft beiträgt. Die Website richtet sich an Journalisten, SchülerInnen und Studierende, WählerInnen und generell an politisch interessierte BürgerInnen, welche sich für Verflechtungen zwischen Akteuren interessieren. Außerdem soll der Dienst kostenlos angeboten werden!

Wir sind eines von 15 Teams, welche im Rahmen des Hochschulwettbewerbs 2014 unter dem Motto “Mehr als Bits und Bytes” ausgewählt wurden. Der Bearbeitungszeitraum für das Projekt ist der 01. Juni bis 01. November und umfasst neben monatlichen Berichten auch das Betreiben von Social-Media Kanälen.

Um euch eine besseren Eindruck von dem Projekt zu geben, zeigt die folgende Abbildung skizzenhaft die Visualisierung des tagesaktuellen Netzwerks.

1. Representation des tagesaktuellen Netzwerks. Die Akteure selbst sollen nach Themen gruppiert werden (Fußball, Tennis, Wirtschaft, Politik, ...). Es werden sowohl Verbindungen innerhalb eines Themas dargestellt, als auch themenübergreifenden Verbindungen visualisiert.
2. Zeigt einen Häufigkeitsvergleich der kookkurrenten Wörter über einen bestimmten Zeitraum. Damit kann ermittelt werden, ob eine Entität aktuell eine starke Beliebtheit erfährt oder schon über einen längeren Zeitraum im Gespräch gewesen ist.
3. Kookkurrenzanalyse der in Twitter stark assoziierten Wörter. Hier exemplarisch gezeigt für Angela Merkel und Claude Juncker. Wörter auf der linken Seite sind besonders stark mit Angela Merkel assoziiert, wohingegen Wörter auf der rechten Seite stark mit Claude Juncker assoziiert sind. Die Wörter in der Mitte bilden die Gemeinsamkeiten der beiden untersuchten Entitäten und stellen Wörter dar, die mit beiden stark assoziiert sind.
4. Für 2 beliebige Entitäten kann die Verbindung über einen bestimmten Zeitraum untersucht werden. Dargestellt wird ein Netzwerk, welches Personen enthält, die beide Personen kennen. Diese Teilkomponente existiert bereits und kann hier ausprobiert werden.

Schaut doch gerne auch mal auf unserer Website (tagesnetzwerk.de) vorbei. Dort könnt ihr weitere Hintergründe über das Projekt erfahren und den aktuellen Fortschritt verfolgen. Außerdem betreiben wir eine Facebookseite (https://www.facebook.com/tagesnetzwerk). Ich würde mich freuen, wenn ihr uns ein "like" hinterlasst. Da zumal die Social-Media Aktivitäten in die abschließende Bewertung einfließen. Wenn es noch weitere Fragen zum Projekt gibt, beantworte ich diese gerne

Grüße T0a

Hey,

hier ein kleines Update von mir. Ich arbeite momentan an der Visualisierung, sowie dem Clustering des Netzwerks. Anbei ein Bild des geclusterten Netzwerks vom 03.06.2014. Zu erkennen sind zwei ausgeklappte Cluster, welche der Politik in der Schweiz zugeordnet sind (Das müsste dem Drakon gefallen ).

Man sieht auf den ersten Blick, dass Peter Christoph Politiker der SVP ist und welche Verknüpfungen diese Partei wiederum hat. Die ähnliche Farbe der beiden Cluster gibt an, dass die Themen sehr ähnlich sind. Für das Clustering verwende ich den den Algorithmus aus dem Paper "Community structure in social and biological networks by Michelle Girvan and Mark Newman". Ich muss außerdem noch mit verschiedenen Cluster-Bedingungen experimentieren, denn wie auf dem Bild zu erkennen ist, sind einige Cluster noch sehr groß. Zusätzlich führe ich gerade ein Ranking für Knoten ein, so dass nicht alle Konten auf den ersten Blick visualsiert werden.

Hat jemand von euch bereits Erfahrungen mit dem Clustern von Netzwerken und kann einen Erfahrungsbericht bezüglich der Cluster-Bedingungen beisteuern?

Grüße T0a

Hey,

Zitat

woher und wie bezieht ihr euere Daten? Werden Netzwerke wie twitter automatisch durchsucht oder müsst ihr händisch Daten migrieren?

wir arbeiten mit der Universität Leipzig zusammen, die uns jeden Tag mit Zeitungsartikeln versorgt. Das sind etwa 40'000-­60'000 Sätze (ca. 1 Million Wörter) aus Online-Tageszeitungen. Für die Twittersuche benutzen wir die Streaming-API, welche wir mit Begriffen durchsuchen, die über einen bestimmten Zeitraum überfrequent in Zeitungen auftreten. Die Aktualität eines Begriffs ergibt sich aus seiner Häufigkeit heute, verglichen mit seiner durchschnittlichen Häufigkeit über längere Zeit hinweg. Die Daten werden automatisch in unser System importiert.

Zitat

Nach was kann man denn aktuell alles suchen? Nur die vorgegebenen Begriffe?

Du meinst sicherlich den Vorläufer Network of Names [1]. Dort sind statisch Zeitungstexte von 1998 bis 2007 indiziert. Das bedeutet, nur dieser Zeitraum kann durchsucht werden. Wir fokusieren uns auf Named-Entities (NE). Das sind Personen und Organisationen, welche wir automatisiert aus den Zeitungstexten extrahieren. Zudem versuchen wir semantische Relationen zu extrahieren, welche beschreiben in welcher Verbindung die NE stehen.

Zitat

Meine erste Suche ist gescheitert:

Wie bereits erwähnt funktioniert die Suche in Network of Names [1] nur mit NE und auch nur solche, welche dir von der Autovervollständigung vorgeschlagen werden.

Grüße T0a

[1] http://maggie.lt.informatik.tu-darmstadt.de/non/de/

Hey,

du hast Recht. Das wirkt etwas missverständlich. Aber wollte etwas zeigbares verlinken. Ich persönlich kenne die Arbeit nicht, kann aber nicht für die anderen sprechen. Soweit ich sehe, hat der Autor verschiedene Datensets veröffentlicht und beschäftigt sich u.a. mit Verfahren, die diese sogenannten "super spreaders" in Netzwerken identifizieren. Sieht auf den ersten Blick interessant aus, habe bisher aber nur das Abstract von diesem Paper [1] gelesen.

In der Tat habe ich momentan Probleme die Knoten im geclusterten Netzwerk zu bewerten, so dass innerhalb eines Themas keine disjunkten Graphen entstehen und die Verbindungen zwischen den Themen (Clustern) vorhanden sind, aber diese nicht den Überblick über das gesamte Netzwerk beeinträchtigen.

Ich berechne aktuell den Pagerank für jedes geclusterte Netzwerk und bevorzuge Knoten, welche andere Cluster verbinden. Das Ergebnis sieht ok aus, aber die Übersicht geht verloren (siehe Anhang). Außerdem habe ich Probleme mit disjunkten Graphen innerhalb von Themen, weil der verbindende Knoten einen zu kleinen Pagerank hat. Beide Probleme sind auf dem Bild zu erkennen. Auch durch das bevorzugen von Knoten geht der Überblick in der Mitte verloren.

Grüße T0a

[1] "Searching for superspreaders of information in real-world social media", Sci. Rep., in press (2014).

Hey,
Es geht voran! Mittlerweile habe ich alle Probleme bezüglich der disjunkten Komponenten des Netzwerks gelöst. Ein Dank geht auch an Sofa für die anregende Diskussion im Sppro Chat. Hier [1] könnt ihr den aktuellen Prototypen für ein Netzwerk im Juni ausprobieren. Die Cluster sind noch nicht perfekt, aber damit werde ich mich wohl erst zu einem späteren Zeitpunkt beschäftigen können.

Die nächste Aufgabe, die ich innerhalb der nächsten Tage lösen muss beschäftigt sich mit dem automatisierten Importzyklus der Daten in die Datenbank. Ein Cron-Job läd die Daten bereits von einem Server und führt die Vorverarbeitung aus. Das Konzept soll um einen zeitgesteuerten Mechanismus erweitert werden, der die vorverarbeiteten Daten in die Datenbank importiert. Ich möchte diese Bindung aber soweit entkoppeln, dass sowohl ein automatischer täglicher Import möglich ist, als auch der manuelle Datenimport unterstützt wird.

Grüße T0a

[1] http://bl.ocks.org/Tooa/raw/17a5476b3484…09c41a6ac9a1d8/

Hey,

es hat sich einiges getan! Wir haben nun endlich eine öffentliche Demo online. Diese könnt ihr hier [1] testen. Über Feedback würde ich mich sehr freuen. Gerne auch auf Facebook liken, wenn es euch gefällt.

Grüße T0a

[1] http://maggie.lt.informatik.tu-darmstadt.de/nod/

Hey,

es hat sich viel getan! Anbei ein Screenshot der neuen Version, die auch bald online kommen wird. Neue Features sind neben dem Social-tagging der Relationen auch das Frequenz-Diagramm, welches aktuelle Begriffe für den aktuellen Tag zeigt. Die Aktualität eines Begriffs ergibt sich aus seiner Häufigkeit heute, verglichen mit seiner durchschnittlichen Häufigkeit über längere Zeit hinweg (Moving-Average). Wir arbeiten außerdem an der automatischen Extraktion von semantischen Relationen zwischen Entitäten. Möchtet ihr über den aktuellen Fortschritt informiert werden? Dann liked uns doch einfach auf Facebook und erhaltet so aktuelle Status-Updates [1].

Grüße T0a


[1] https://www.facebook.com/tagesnetzwerk

Wir veranstalten gerade auf Facebook ein Halloween Gewinnspiel mit dem Netzwerk des Tages. Die beste Einreichung erhält einen Amazon Gutschein im Wert von 10 Euro. Mitmachen lohnt sich, denn die beiden bisherigen Teilnehmer sind außer Konkurrenz (Teammitglieder) Schaut einfach vorbei: https://www.facebook.com/tagesnetzwerk

PS: Wer möchte darf natürlich auch die Seite liken oder den Beitrag teilen