rankingCHECK
MENÜ

rankingCHECK Tool: SERP:SCRAPER

Vor kurzem stellte sich das Problem, alle URLs heraus zu suchen die zu einer bestimmten Seite im Google Index waren. Am einfachsten geht das mit der “site:” Abfrage in Google, da es sich jedoch um mehrere hundert URLs handelte war eine manuelles Scrapen ein wenig mühselig.

Also schnell den Editor aufgemacht und ein kleines Tool enwtickelt. Der SERP:SCRAPER war geboren. Mit diesem Tool kann man nun unter anderem eine “site:” Abfrage an Google senden und erhält am Ende eine Excel Liste mit allen gefundenen URLs. Dabei kommt der hervorragende PHP Simple HTML DOM Parser zum Einsatz, welche einem die Scraping Arbeit um ein vielfaches einfacher macht.

Installation

Man benötigt lediglich einen PHP fähigen Webserver auf dem man die Files ablegt.

Einschränkungen

Das Script findet natürlich nur, was auch im Google Index vorhanden ist. Wenn man eine Suche in Google startet, steht auf der 1. Seite häufig eine sehr hohe Zahl an Treffern, man kann aber real nur einige hundert Ergebnisse durchklicken. Ergebnisse, die von Google vorenthalten werden, weil sie den anderen Ergebnissen zu sehr gleichen, werden ebenfalls nicht mit berücksichtigt.

Bisher konnte ich keine Einschränkung von Google feststellen. Ich habe mehrere Anfragen kurz hintereinander gestartet, alle wurden anstandslos abgearbeitet. Trotzdem sollte man natürlich nicht übertreiben.

Disclaimer

Wie immer ist das Script kostenlos und darf ohne jegliche Attribution weiterverwertet werden. Jedoch wird das Script auf eigene Gefahr benutzt und jegliche Schaden, der durch die Nutzung des Scriptes verursacht werden sollte ist komplett selbst zu verantworten.

SERP:SCRAPER downloaden

Geschrieben von

Nico Graff ist ein selbstständiger Webentwickler aus Köln. Er baut Programme und Services und schreibt über die Selbstständigkeit unter graff.cc

4.20 / 5 (10 votes)

Schreibe einen Kommentar

Loading Facebook Comments ...

20 Kommentare

Sabrina schrieb am 15. Mai, 2012 @ 12:25

Klasse, dass ist genau das Tool was ich demnächst brauche!
Grad bei größeren Seiten ist das Tool unheimlich nützlich, da man ja schonmal den Stand haben muss und wie ihr schon sagtet, ein persönliches Scrappen würde viel zu lange dauern 😉

Igor schrieb am 15. Mai, 2012 @ 12:52

Nice! Danke für das Script =) Sehr nützlich für OnPage Analysen.

Frank schrieb am 15. Mai, 2012 @ 13:40

Hey

seit wann gibt es denn diesen Blog zu ranking checker, der checker ist ja überall bekannt, aber der blog den habe ich ebend erst gefunden, und sicherlich isser auch DOfollow.

Was das Tool betrifft, sehr gut, denn in webmastertools bei google werden beispielsweise nicht alle seiten als indexiert angezeigt, komisch aber wahr, aber anhand des tools kann man dieses ja schnell herausfinden.

cheers vom frank

Felix Buller schrieb am 15. Mai, 2012 @ 14:11

Daumen hoch rankingcheck!

Hatte letztens noch gezwitschert, dass ich genau das suche und mich für scrapebox entschieden. Wird dennoch getestet!

Grüße und danke

Martin schrieb am 15. Mai, 2012 @ 15:29

Schönes Tool, leider beendet er das Scrapen schon nach 600 -700 Urls :-/

Kann man da was drehen?

Heinz schrieb am 15. Mai, 2012 @ 19:21

Sehr schönes Tool! Vielen Dank, für das kostenlose zur Verfügung stellen.

Oliver schrieb am 15. Mai, 2012 @ 21:35

klasse, vielen dank, genau sowas habe ich heute gesucht. mich hat es zu einer google docs lösung verschlagen, aber das ist viel besser.
eines funktioniert leider nicht: site:www.ranking-check.de geht z.b. ohne probleme, aber mit unterverzeichnis kracht es site:www.ranking-check.de/blog
das wäre aber sehr wichtig, wenn man große sites so auf mehrere versuche teilen will.
danke
oliver

Nico Graff schrieb am 16. Mai, 2012 @ 9:37

Hallo,

freut mich, dass ihr das Tool auch nützlich findet.

@Martin, die Erfahrung habe ich auch gemacht, aber wenn man die Ergebnisse manuell durch klickt, bekommt man real auch nur 600-700 Ergebnisse angezeigt, obwohl da was von 100.000 Ergebnissen steht.

@Oliver: Das mit dem Unterverzeichnis schauen ich mir noch mal an. “theoretisch” sollte es da keine Probleme geben

Jochen schrieb am 16. Mai, 2012 @ 13:30

Sehr hilfreiches Tool! Auch der Code sieht sauber und strukturiert aus. Ich denke hier schlummert noch ein großes Potenzial das Programm zu erweitern und mit einem entsprechenden Interface zu versehen.

Daumen hoch!

Christoph Weil schrieb am 20. Mai, 2012 @ 11:53

Super Tool, einen kleinen Tweak hätte ich noch 🙂

Wenn man die Rechte des Files Ordner falsch gesetzt hat (bei mir in Xampp unter Mac immer der Fall) kommen einfach nur ganz viele Fehlermeldungen. Als Lösung könntet ihr entweder den Ordner bei Aufruf der index.php mit den richtigen Rechten erstellen oder die Rechte im Skript überprüfen :).

LG Chris

Nils schrieb am 24. Mai, 2012 @ 10:57

Tolles Tool, danke, hoffe das es mit den oben genannten Vorschlägen noch erweitert wird. Das wäre echt cool!

LG Nils

Ditma schrieb am 25. Mai, 2012 @ 18:52

Hey,…

vielen dank für die Erklärung und noch mehr für das Tool. Wir werden das sicher testen. Denn wer seine Abfrage noch per “site:” macht, der weiß wie aufwändig das sein kann… Hut ab… und vielen Dank!

Webaim schrieb am 2. Juni, 2012 @ 0:49

Sehr nettes Script, erleichtert doch einiges. 😉

Danke

Jean schrieb am 5. Juni, 2012 @ 12:26

Nettes Tool für Leute ohne sitrix, xovi, searchmetrics o.ä.

Ralf schrieb am 11. Juni, 2012 @ 2:14

Danke, wirklich nettes Tool. Ich denke mal, dass man damit noch ne Menge mehr anstellen kann. Muss ich mal in Ruhe drüber nachdenken 😉

Raphael schrieb am 20. September, 2012 @ 14:17

Top Tool! Vielen Dank!
Macht genau was es soll und hilft mir gerade gut bei Migrations Vorbereitungen.
BG,
Raphael

PromoMaster schrieb am 24. November, 2013 @ 18:53

Zeit sparen und stattdessen in Urlaub fahren. Danke, Nico – sowas ist immer hilfreich wenn man sich die Sucherei spart.

Trackbacks

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Loading Disqus Comments ...