spieleprogrammierer.de - Forum und Wiki zur Spieleprogrammierung und Spieleentwicklung

Die Daten werden in deinem Beispiel mit jquery geliefert. Evt. kannst du einfach direkt auf den webservice zugreifen... Ich glaube kaum, dass es möglich ist sowas generisch abzugrasen. Du könntest versuchen einen automatisierbaren Browser zu bauen/erweitern, der auch "Zwischenstände" von Seiten ausgeben kann.

Ich möchte zuerst anmerken, dass es eventuell illegal sein könnte was du vor hast. Dazu müsstest du vermutlich die Nutzungsrichtlinien von Yamaha lesen.

Und zuvor: Das was du dort an Quelltext siehst ist HTML, kein ASP und Javascript, kein Java.

Die Daten werden Asynchron per Javascript vom Server angefordert und im JSON Format ausgegeben. Der einfachste Weg das genauer einzusehen ist per Resource Tracking in Firebug oder den Developer Tools vom Internet Explorer oder Google Chrome.

Dort kannst du sehen welche Anfragen die Webseite an den Server sendet und was der Server antwortet. Darin werden alle Informationen bezüglich der Dealer übertragen. Mit etwas experimentieren kannst du dann denke ich herausfinden welche Anfragen du an den Server senden musst um die gewünschten Informationen zu erhalten.

Das ganze generisch für verschiedene Seiten zu lösen ist praktisch unmöglich. Du wirst das auslesen für jede Seite anpassen müssen und insbesondere bei jeder Änderung der Seite wieder.

Jedoch ist dafür durchaus etwas Erfahrung im Umgang mit Webtechnolgie (HTTP, Javascript, AJAX, HTML) erforderlich, daher wird das denke ich kein sehr einfaches Vorhaben.

Ich hab kurz mal drüber geschaut und wenn Yamaha Motoräder baut, wie sie Webseiten Bauen dann wirds wohl noch n paar Verkehrstote mehr geben...

Naja mit "C# Browser Automation" solltest du einiges bei Google finden. Hab da jetzt keine besonderen Erfahrungen. Allerdings würde ich eher versuchen an den webservice zu kommen. Schau dir mal an wie jquery funktioniert. Um Quelltext von Webseiten zu untersuchen, würde ich alles außer IE nehmen. U.a. Chrome oder Firefox erkennen Verweise auf Dateien innerhalb vom Seitenquelltext (im Quelltext-Viewer). Man kann sich so ganz einfach ohne Aufwand durch die JS-Dateien klicken.

Evt. könntest du auch was zum Thema bei Browsergame-Hacking finden. Die haben wohl mit ähnlichen Problemen zu kämpfen.

Wenn das ganze nicht illegal passieren soll, solltest du oder dein Tutor sowieso mal bei Yamaha anfragen - vielleicht geben sie dir die Daten für den Webservice...

was du bauen möchtest klingt für mich ganz klassisch nach einem crawler.

um beim crawlen dynamisch zu sein, solltest du XPath einbinden.

der ablauf wäre folgendermaßen:


1. URL dem Html Parser übergeben
2. Parser wandelt das Dokument in ein kompatibles XML Dokument um.
3. mit XPath einen bestimmten Bereich des XML-Dokuments absuchen... Bsp. Forumbeitrag ( descendant::div[@id="forumpost"] )
4. Rückgabe in eine List, Array speichern
5. Daten eventuell über Regular Expressions säubern
5. Daten in eine Datenbank, Datei schreiben.

wenn du die ergebnisse von einem Suchterm haben möchtest, müsstest du als URL z.b. folgendes dem Parser übergeben ( http://twitter.com/search#search?q=peter )

Es gibt viele OpenSource HTML Parser. Für C# wäre HtmlAgility geeignet.


wenn das nicht das sein sollte was du möchtest, hoffe ich, dass es dir wenigstens ansatzweise helfen kann. have fun

Zitat von »madjan06«

werd das ganze jetzt mit der browser automation versuchen, is wahrscheinlich für java, asp und co. am einfachsten

Das ganze hat immer noch kein bisschen mit Java und ASP zu tun. Du hast ganz normale dynamische HTML Seiten.