Die Anregung für diesen Artikel kam von Christine, die in ihrem Kommentar zu “FEED-URL-Aufrufe aus Suchmaschinen umleiten “beklagt, daß sie noch nicht die “passenden Einträge” bei Google hat.
Google ohne Google - oder: Wie tue ich so, als wenn der Treffer von Google kommt
Die Lösung ist ganz einfach und heißt wie so oft: wget. Bei wget kann man als Parameter auf der Kommandozeile alles einstellen, was man braucht. Zur Simulation eines Googletreffers sind das: der Referer und die Landingpage. Wobei die Landingpage die ohnehin benötigte Ziel-URL ist. Damit man seine Ergebnisse im Logfile aus den normalen Einträgen leichter finden kann, empfiehlt es sich noch, einen Phantasie-User-Agenten als Browserkennung zu setzen. Der Aufruf von wget ist dann:
wget --referer='http://www.google.de/search?q=Suchbegriff&hl=de' --user-agent='Browser' Landingpage
Oder etwas Konkreter:
wget --referer='http://www.google.de/search?q=Suchbegriff&hl=de' --user-agent='BlubberBrowser' http://domain.de/feed/Das muß alles in einer Zeile stehen. Es empfiehlt sich keine doppelten Anführungszeichen (") zu nehmen, sondern einfache (').
Mit dieser Methode kann alles probiert und getestet werden, was das Herz so begehrt.
Eine Warnung noch …
Solche Aktionen sollte man nur auf seine eigene Webpräsenz und seinen eigenen Server veranstalten, da es eine Menge Leute gibt, die solche Experimente - wenn sie mit deren Webservern stattfinden - nicht mögen und sehr allergisch reagieren.
am 24.01.2006 um 23:19 Uhr:
Hallo,
! Ich habe mir das Programm runtergeladen und es mal probiert. Da kam folgende Antwort:
erst einmal danke für den Artikel
HTTP request sent, awaiting response… 200 OK
Length: unspecified [text/xml]
[ ] 11 548 3.09K/s
23:12:54 (3.09 KB/s) - `feed’ saved [11548]
Das sieht für mich ziemlich nach dem xml-feed aus, nicht nach der Startseite, die ich ja haben möchte. Die gespeicherten Dateien enthalten in der Tat nur XML… Das gleiche passiert übrigens bei Unterseiten. Wie war das jetzt mit dem Tipp von wegen Base setzen?
Vielen Dank auf alle Fälle!
Christine
am 24.01.2006 um 23:26 Uhr:
@Ist gerade fertig geworden
Wir haben parallel geschrieben - ich bin bei Dir zum gleichen Ergebnis gekommen - der Feed erscheint. Der Rest steht bei Deinem Originalkommentar … 
am 24.01.2006 um 23:45 Uhr:
Mhm… hast du da noch ne Idee?
am 25.01.2006 um 00:10 Uhr:
@Christine: You ‘ve got an email