Ich hoffe Sie haben neben einem wirklich guten Grund auch eine entsprechende Weiterverwendung des kompletten Datenbestandes den Sie gestern morgen hier abgezogen haben.
Sollte die Art der Weiterverwendung allerdings darin bestehen, daß sie die Inhalte unter eigenem Namen wieder veröffentlichen, werden wir viele gemeinsame Stunden miteinander verbringen.
Sollten Sie ähnliche Aktionen wiederholen wollen, so möchte ich Sie darauf aufmerksam machen, daß jegliche Zugriffe aus der Domain serverkompetenz.net gesperrt sind. Da sie so großzügig waren, den Traffic parallel von den Servern:
h63747.serverkompetenz.net [81.169.129.13]und
h698437.serverkompetenz.net [85.214.36.241]zu erzeugen, werde ich mich bereits beim Versuch eines Wiederholungsfalles mit ihrem Hoster - der Strato AG - in Verbindung setzen. Der Rest - also die verursachten Traffickosten etc. werden Ihnen dann in Rechnung gestellt, da Sie ja ausgiebig unsere Dienstleistungen in Anspruch genommen haben.
Abschließend möchte ich Ihnen noch die folgenden Tips geben, wie Sie Ihre Crawl-Software zukünftig gestalten könnten, damit Sie nicht so schnell auffällig werden:
- Wenn Sie so viele Seiten in einer bestimmten Zeit von der gleichen IP-Adresse aus aufrufen, sollten Sie wenigstens zu Beginn die
robots.txtzum Schein lesen. Entsprechende Logtools unterstellen dann, daß es ein Bot oder Crawler sein könnte und schlagen nicht sofort Alarm. - Sie sollten einen UserAgenten setzen. Logtools schlagen in der Regel nach der fünften Seite ohne UA an.
- Die HTTP-Methode
HEADmag Ihnen sehr clever erscheinen - aber Sie ist ein förmliches Betteln um Aufmerksamkeit. - Verwenden Sie niemals
HEADauf URLs die nicht - oder nicht mehr - existieren. Das ist schlichtweg dumm.
Ich könnte Ihnen eine weitere Reihe an Tips geben - aber leider haben wir keinen Vertag miteinander. Allerdings würden Sie mit mir wohl bei Ihren Bedürfnissen keine Verträge abschließen können, da ich für Aktionen Ihrer Art nicht zu haben bin.
An die lesende Bloggergemeinde
Ihr könnt über die Geschichte berichten - das wäre nicht schlecht. Aber Ihr solltet dringend ein Auge auf Eure Logfiles und Euren Content haben. Insbesondere solltet Ihr Euch per entsprechender Regel im Firewall, per IpTables oder per htaccess schützen und die IP-Adressen 81.169.129.13 und 85.214.36.241 sperren. Woran man die Aktionen unter anderem erkennen kann, steht ja hier.
Outing ist möglich
Zum Beispiel per Kommentar - das wäre mal wirklich ‘ne Überraschung! Und ansonsten kennen Sie ja die üblichen Wege.
Update 28.01.2006
Augenscheinlich haben andere Leute das gleiche Problem wie dieser Beitrag im Abakus-Forum zeigt.
am 22.01.2006 um 12:05 Uhr:
Hi,
das kann ja mal nicht angehen. Halte die mal gut im Auge, bin mal gespannt wann dein Content an anderer Stelle wieder auftaucht. Drücke dir die Daumen
cheers
am 22.01.2006 um 13:17 Uhr:
hehe, hab die Adrese oben gesehen und musste prompt meine Servernummer checken (puh…. negativ).
Frage: wieviel Traffic haben die verursacht?
am 22.01.2006 um 14:05 Uhr:
@Robert: Es sind IP-Adressen von Servern mit mehreren VHOSTS - also die üblichen Verdächtigen. Ich hatte keine Lust alle vhosts abzucheckcen und habe mir gedacht, daß ich das mal auf diesem Weg publik mache
Grundsätzlich sind beide Server sehr sinnig vorgegangen: Sie starteten parallel um 06:43 Uhr und haben sich eine Stunde Zeit genommen - waren also gegen 07:45 Uhr fertig. Sie haben mit Wartezeiten gearbeitet und so die Serverlast nicht nach oben getrieben.
Grundsätzlich sind sie jeder internen URL gefolgt - also auch in die selten besuchten Archive abgetaucht. Der eine hat 576 und der andere 643
GET/HEADerzeugt. Ihre grundsätzlichen Informationen scheinen sie über einen FeedReader bekommen zu haben, da sie sehr gut die Pfade kannten ohne sie vorher abzufragen oder anderweitig sich zu besorgen. Dumm war nur, daß ihr Feedreader nicht ganz up-to-date war und sie was gesucht haben, daß nicht mehr da war.Die letztendlich übertragene Datenmenge habe ich noch nicht ausgerechnet - vielleicht schmeiß ich ja dazu nacher mal mein awk-Script an.
am 23.01.2006 um 01:41 Uhr:
Klarer Fall für www.spider-trap.de, sind da natürlich prompt reingelatscht.
am 23.01.2006 um 01:53 Uhr:
[…] Nicht nur mir, sondern auch Thomas Schneider ist ein kollege serverkompetenz.net mit den IP Adressen 81.169.129.13 und 85.214.36.241 aufgefallen, die mal eben versicht haben komplette Seiten von unseren Blogs zu grabben. Blogs auf denen Spider Trap läuft, ging das Viech gleich in die Falle, da es sich an die robots.txt nicht hält. […]
am 23.01.2006 um 22:27 Uhr:
[…] Gestern durch Thomas auf das Phänomen aufmerksam geworden, stolperte ich vorhin beim neuen Blogspam Blog auf eine ähnliche Geschichte. […]
am 23.01.2006 um 23:46 Uhr:
[…] Die ist der erste Teil einer Serie mit dem Titel “Webserver in a Nutshell” In den letzten Tagen haben mich nach dem Artikel “Sehr geehrte Damen und Herren von serverkompetenz.net mit den IP-Adressen 81.169.129.13 und 85.214.36.241” mehrere Fragen zu Webservern, HTTP und entsprechenden Tools erreicht. Aus diesem Grunde habe ich mich jetzt entschieden, hier eine kleine, unregelmäßige Serie zu den gewünschten Themen zu starten. […]
am 29.01.2006 um 18:00 Uhr:
Habe das gleiche Problem, es sind die gleichen IP’s: 81.169.129.13, 85.214.36.241
am 02.05.2006 um 15:13 Uhr:
Heute hat sich ein Bot von Serverkompetenz.net unter dem Useragent “Snoopy v1.2.3 ” alles Seiten abgeholt. Bot IP war 85.214.36.241. Hat schon jemand gesehen ob seine Seiten irgendwo verwertet werden ?
am 07.09.2006 um 09:15 Uhr:
Gestern ab 19:09 bis heute 6:53 hat die 85.214.36.241 ebenfalls bei mir mit folgendem UA und GET zugeschlagen:
“Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4″
Welche Tools sind das genau, die bei Auffälligkeiten automatisch Alarm schlagen?
am 26.09.2006 um 02:49 Uhr:
Ich habe diesen Artikel als Information und natürlich unter Angabe der Quelle zitiert. Vielen Dank dafür.
Nachzulesen dort: http://www.onesworld.de/thread.php?threadid=1152&boardid=5&sid=
Falls das nicht oke sein sollte, bitte kurze Nachricht.
Gruss
one
am 27.09.2006 um 01:12 Uhr:
@Tino
Alle Kennungen, welche Snoopy enthalten kannst du getrost aussperren - unabhängig von der IP.
In die .htaccess:
RewriteCond %{HTTP_USER_AGENT} (…|snoopy|…) [NC]
RewriteRule !error - [L,F]
am 06.10.2006 um 12:35 Uhr:
@forchheim: Bitte erst nachdenken bevor solche Tipps vergeben werden.
Snoopy generell auszusperren wäre eine schlechte Idee. Vor allem für Blogger.
Info dazu bei freund google oder z.B. hier: http://www.abakus-internet-marketing.de/foren/viewtopic/t-25041.html
am 25.10.2006 um 15:15 Uhr:
# Hits Files KBytes Visits Hostname
1 56537 56537 2124222 2 h340128.serverkompetenz.net
Hallo spinnen die?? ich überlege mir rechtliche schritte und eine sammelklage
am 26.10.2006 um 09:18 Uhr:
Hallöchen,
habe gerade das Tool JAP ( anonym surfen ) angeschaut und ausprobiert.
Nach ein paar Einstellungen habe ich festgestellt, dass ich in meinem eigenen Forum ( http://hl2.foren-city.de ) mit der IP-Adresse 85.214.63.253 aufgeschlegen bin.
Diese habe ich dann mit http://network-tools.com/default.asp?host=85.214.63.253 aufgelöst.
Siehe da, ich bin bei serverkompetenz.net
Mein nächster Schritt bestand darin nach serverkompetenz.net zu googeln und dies hat mich auf Eure Seite geführt.
Der JAP gaukelt Euch eine andere IP vor !
Das erklärt vielleicht warum gerade von dieser Adresse einige Diebe versuchen die Daten abzuziehen.
Immerhin bleiben sie dann anonym und brauchen keine Anzeige, bzw. einen so geschriebenen Brief zu fürchten.
Ist für mich einleuchtend.
Vielleicht konnte ich so etwas Licht ins dunkle bringen.
Gruß aus Stuttgart
Ray
hier noch der Trace:
Hop (ms) (ms) (ms) IP Address Host name
1 0 0 0 66.98.244.1 gphou-66-98-244-1.ev1.net
2 0 0 0 66.98.241.16 gphou-66-98-241-16.ev1.net
3 0 0 0 66.98.240.8 gphou-66-98-240-8.ev1.net
4 48 1 1 216.200.251.169 ge-6-0-1.mpr1.iah1.us.above.net
5 1 1 1 64.125.31.62 so-0-0-0.mpr2.iah1.us.above.net
6 14 14 13 64.125.29.69 so-4-0-0.mpr1.atl6.us.above.net
7 14 14 14 64.125.27.50 so-0-0-0.mpr2.atl6.us.above.net
8 25 25 25 64.125.27.61 so-2-2-0.cr1.dca2.us.above.net
9 25 25 25 64.125.13.10 above-oc12.dca.cw.net
10 25 25 25 195.2.3.5 so-3-0-0-dcr1.was.cw.net
11 119 120 119 195.2.10.118 so-0-0-0-dcr1.par.cw.net
12 120 120 120 195.2.10.141 so-0-0-0-dcr1.fra.cw.net
13 112 115 112 195.2.10.158 as0-dcr2.fra.cw.net
14 133 133 133 195.2.3.126 ge-0-3-0-gcr1.bcx.cw.net
15 133 128 128 62.104.199.90 strato-crs1.fdknet.de
16 128 129 127 62.104.199.90 strato-crs1.fdknet.de
17 129 130 129 85.214.0.162 -
18 129 129 132 85.214.63.253 h1027557.serverkompetenz.net
am 24.04.2007 um 15:35 Uhr:
Lol, Serverkompetenz.net ist eine Domain von Strato. hXXX sind Vserver/Hosts von Strato-Kunden. Gleich die ganze Domain (wie soll das technisch gehen?) zu sperren käme dem gleich, Autos zu verbieten, weil ein paar damit schon Leute umgebracht haben.
am 25.04.2007 um 12:30 Uhr:
Das es sich um bei Strato gehostete “Pakete” handelt, war vom ersten Moment an bekannt (s. Text oben). Und das Verhindern einer ganzen Domain ist genau so einfach wie Kommentare mit ungültigen Emailadressen nicht durchzulassen
Und außerdem: Es ging hier nur um zwei auffällige IP-Adressen, die meinten, sie können sich hier bedienen.
am 22.05.2007 um 05:05 Uhr:
Hallo!
Ich verstehe die Problematik nicht. Ein Robot besucht die Seite um sie (wofür auch immer… Suchmaschine?) zu indizieren. Dafür ist er da und niemand regt sich darüber auf, dass Yahoo! oder Google Bots das nun auch tun. Dass dieser möglicherweise die robots.txt ignoriert… ok. Aber wo ist nun das Problem?
Stefan
am 17.06.2007 um 13:05 Uhr:
Nein - es gibt nicht nicht wirklich ein Problem
Außer das vielleicht die eigenen Inhalte unter fremder Adresse wieder auftauchen und dort als eigenes Werk “verkauft” werden. Auch die so erzeugte Serverlast und den Traffic nimmt man natürlich gerne in Kauf - schließlich weiß man ja nicht, wofür der absaugende Robot gut sein könnte …
Mal im Ernst: Bei bekannten Suchmaschinen-Bots, weiß man warum sie kommen und was das Ergebnis ihres Besuches ist. Und bei allen anderen weiß man eben genau dieses nicht - und das ist das eigentliche Problem.
am 09.08.2007 um 17:58 Uhr:
Bei mir lädt der Bot Dateien runter die in keiner Datei verlinkt sind.
Ich frage mich wie der an ein die Information kommt das eine Datei xyzufall.htm existiert. Ist das sonst bei jemandem aufgetreten?
am 10.08.2007 um 09:45 Uhr:
Nein, nicht das ich wüsste. Habe ich so auch noch nirgendwo gelesen.
am 14.09.2007 um 20:23 Uhr:
Hallo!
Ich beobachte täglich Besuche von: serverkompetenz.net
85.214.84.64, was mich veranlasst mal danach zu googlen.
Gestern waren die nun fast eine Stunde bei mir, sonst nur sehr kurz, teilweise in Abständen von wenigen Stunden.
Die IP weicht von den oben genanten ab, wie kann ich die einschätzen?
LG Micha
am 21.11.2007 um 15:46 Uhr:
selbes gilt für mich nachfolgende serverkompetent.net
schauffelt auch fein auf meinem Account herum in Italien !
am 25.01.2008 um 16:05 Uhr:
In einem meiner Foren waren in den letzten Tagen auch
insgesamt vier Besuche von h1070943.serverkompetenz.net
mit der IP 85.214.75.251
Es wurde insgesamt ca. 2 GB an Datentraffic erzeugt!
Ich vermute mal, das ist so ein Crawler von einer Spamsuchmaschine.
Ich habe die in der htaccess jetzt ausgesperrt.
Mal sehen, ob die noch mal kommen eventuell mit anderer IP.
am 03.03.2008 um 08:34 Uhr:
Hallo,
hat nicht direkt was mit dem oben genannten zu tun, aber es geht auch um ’serverkompetenz.net’
Ich habe jetzt schon mittlerweile das zweite mal eine mail von mir selber erhalten.
Dann habe ich mir den Header der mail angeschaut und siehe da:
Return-Path: < u0857271 at h857271.serverkompetenz.net >
weiss vielleicht jemand etwas darueber?
Gruss
Pit
am 13.04.2008 um 18:38 Uhr:
[…] Anscheinend war dies auch nicht ein Ausrutscher siehe folgenden Beitrag […]
am 13.04.2008 um 18:45 Uhr:
Hallo.
Sie sind wieder Unterwegs…
Der “freundliche” host war ebenfalls bei mir http://www.family-paustian.de zu besuch,
ziemlich sinnloses da ich so gut wie keinen nennenswerten Content habe.
Trotzdem nervig.
Gruss
Dieter
am 13.04.2008 um 18:48 Uhr:
Hallo.
Sie sind wieder Unterwegs…
Der “freundliche” host war ebenfalls bei mir http://www.family-paustian.de zu besuch,
ziemlich sinnloser Versuch da ich so gut wie keinen nennenswerten Content habe.
Trotzdem nervig.
Gruss
Dieter
am 17.09.2008 um 20:25 Uhr:
Erkundigt euch doch mal Golem.de. Die scheinen mit denen zusammenzuarbeiten. Zumindest wird bei jedem Aufruf einer Golem-Seite ein lustiges 1×1 Pixelchen von einem serverkompetenz Server gezogen.
Gruss
Gernot
am 19.07.2009 um 10:57 Uhr:
Hi ich bin auf diese Seite gestoßen, weil ich auch Zugriffe von Serverkompetenz hatte.
Leider wird bei mir nichts merkwürdiges angezeigt.
Ich nutze Piwik ein Open Source Web Analytic System.
Nun habe ich folgende Fragen:
Welches Tool/Programm nutzt ihr damit man soetwas erkennen kann?
Ist es Kostenlos?
(ich werde hier wohl des öfteren vorbeischauen; echt gute Seite!)
am 24.11.2009 um 20:30 Uhr:
Wer etwas gegen den Abruf seines Contents hat (egal von wem), soll offline bleiben und hat im Netz nichts verloren.
Beachte: Abruf != Verwertung
am 28.05.2010 um 12:16 Uhr:
Hallo,
habe in letzter Zeit auch verhäuft Zugriffe auf mein Forum von der IP Adresse 81.169.157.215 bzw. h1176835.serverkompetenz.net erhalten.
Sollte ich .serverkompetenz.net durch die htaccess sperren?
Gruss
am 16.08.2010 um 16:27 Uhr:
*.serverkompetenz.net sowie *.stratoserver.net (genau das Gleiche) sind die Server von der STRATO AG.