Ich warne schon mal vor es kann sein, das mein neuer Spider die nächsten Tage mal auf euren Seiten vorbeischaut… Wer meinen Spider nicht lieb hat, kann Ihn wie folgt ausschliessen.
User-agent: BoeserSeoSpider
Disallow: /
Dann lässt er auch eure Seiten in Ruhe…
Track comments via RSS 2.0 feed. Feel free to post the comment, or trackback from your web site.
Kannst du evtl. noch nen paar Worte zu deinem Spider verlieren? Pauschal würde ich erstmal sagen, ich mag den nicht. Möglicherweise hast du aber eine Intention dahinter die mir gefällt, so dass ich ihn rein lasse.
Der Spider analysiert nur eure Seite auf verschiedene Faktoren (CMS, Externe und Interne Links, Content Analyse).
Ausserdem ist er meine Basis für meinen eigenen Backlinkchecker und für statistische zwecke. Mehr macht er erstmal nicht. Auch wird keine Adsense ID´s oder sonstiges gespeichert.
Also eigentlich ist er recht Harmlos…
Bei mir war er zwar noch nicht da, aber ich lass ihn einfach mal rein wenn er vorbei kommt.
Wenigstens kann man deinen Spider via robots.txt aussperren, das funktioniert ja nicht bei allen ;)
Nun, so lange er sich benimmt ist das schon OK. Aber wenn er anfängt rumzuplärren oder Dreck reinträgt fliegt er raus :)
Gerhard
@Gerhard Ist ein lieber und artiger Bot :)
Er putzt sich auch Schuhe ab bevor er eine Webseite besucht …
Ich seh schon. Es kommt immer mehr in Mode, seine eigenen Spider zu programmieren. Glaub, ich muss mich da auch mal ranmachen. Meiner wird dann aber eher das Verhalten eines Esels haben… :D
Wenn er sich schon ausperren lässt, kann er so böööse ja gar nicht sein.
Also wenn ich einen Spider schreiben würde, dann würde ich mich als Mozilla XY anmelden und mich sowas von um die robots.txt scheren…;-)
Wenn dein Spider auf meine Website kommt, kriegt er auffe Fresse.
Ich hab auch n bot der für mich ausgewählte Seiten abgrast. Der sieht aus wie n normaler Firefox user.
Wo liegt denn für dich der Vorteil dich als bot öffentlich preiszugeben ?
Kein Vorteil, sondern ehr Nachteile…
Da ich aber eventuell hier einen eigenen Backlinkchecker zur Verfügung stellen möchte, finde ich es nur Fair das man meinen Spider ausschliessen kann.
Ausserdem könnte er wirklich sehr Aktiv werden und eine Menge an Traffic verursachen und das muss ja nicht sein, wenn man das nicht möchte.
Bei meinen bisherigen Spidervorgängen war ich immer sehr zurückhaltend, das wird sich wohl ändern.
Du willst bei anderen Traffic verursachen, um Daten auswerten zu können bzw. diese Dritten (gegen Geld? siehe Sistrix) zur Verfügung stellen zu können und findest es fair, wenn Millionen von Website-Betreiber deinen Bot ausschliessen können bzw. ihre robots.txt anfassen müssen? Manchmal frag ich mich, was man einwerfen muss, um im Glauben zu verfallen, die Welt dreht sich nur um das eigene Geschäftsmodell…
Denk das doch mal weiter, wenn jeder nen Bot losschickt. Tägliche robots.txt-Pflege einkalkulieren?
Ich sehe nur 2 Möglichkeiten: Selbstbeschränkung (nicht alles was technisch möglich ist, ist auch – für alle – sinnvoll) oder eine juristische Klärung.
Traurig.
Ja eine juristische Klärung wäre wirklich von Nöten. Zwar gibt es Gerichtsurteile die sich auf eine Robots.txt beziehen. Aber zu 100% ist das nicht geklärt.
Er dient aber nicht nur in meinem eigenen Interesse. Ich hab heute zum Beispiel 8 Webseiten angeschrieben die offensichtlich gehackt worden sind, und auf denen sich scheiss Viagra und Cialis Links befinden. Ich denke die sind sogar froh, wenn ich denen das mitteile…
Und es geht nicht um mein Geschäftsmodell, oder verkaufe ich hier was? Kosten meine Tools im Augenblick was?
Ich bin SEO und das wichtigste womit ich arbeite sind Daten, leider verlasse ich mich wirklich nur sehr ungern auf Daten von Dritten. Deshalb mein Bot.
Übrigens brauchst du die robots.txt nicht zu pflegen… Hau einfach das rein, und das sollte reichen.
User-agent: *
Disallow: /
User-agent: Googlebot
allow: /
> Kosten meine Tools im Augenblick was?
Nope – drum das Fragezeichen – im Augenblick…
Danke für den Tipp zur robots.txt.
Alle blockieren kehrt das Problem um, muss ich halt alle gewollten Bots einpflegen.
Zweifel bleiben.
Was wäre zum Beispiel, wenn ich Fotos verkaufen würde, mich aber nicht auf Zuieferungen verlassen wollte und direkt in jedes Fenster blitze, das nicht mit einem Vorhang verhangen ist – in der Hoffnung etwas “Girl-next-door-mäßiges zu erwischen?
Auch ok – oder gehen dich die Daten meiner Website schlicht nix an?
Wie gesagt über die robots.txt kannst du doch ganz klar definieren wer bei dir vorbeischauen darf und wer nicht.
Ich bin gespannt ob Google das entsprechen Urteil was zuletzt gefällt worden ist anfechten wird? Wovon ich aber ausgehen werde.
Vielleicht hätten wir dann eine wirklich klare Aussage ob eine robots.txt laut Rechtssprechung gültigkeit hat.
Ein Richter in Erfurt hat pro robots.txt entschieden. http://www.suchmaschinentricks.de/aktuelles/news/580.php
Das letzte Urteil aber spricht ehr gegen die robots.txt
http://www.chip.de/news/Gerichtsurteil-Google-Bildersuche-vor-dem-Aus_33265147.html
Solange da nix wirklich zu 100% sicher ist, halte ich mich mal einfach mal an der robots.txt und gebe immerhin die Möglichkeit meinen Bot auszusperren…
Realistisch gesehen wird es Jahre dauern, bis sich ein juristischer Gleichklang ausgebildet hat.
Obige Beispiele ziehen imho nicht – denn vom Google-Bot habe ich einen Nutzen – monetarisierbaren Traffic.
Von deinem Bot habe ich eventeuell Pflegekosten aber keinen Nutzen. Im Grunde verhälst du dich wie der Staat, der Daten haben möchte aber den Providern die Kosten für die Vorratsdatenspeicherung auferlegt.
Gut – der Staat behauptet, die Allgemeinheit hat einen Nutzen davon.
Den Nutzen ggf. vor Viagra-Spam gewarnt zu werde -netter Versuch, aber imho für eine Massenaktzeptanz nicht ausreichend – orientiere dich doch auch hier am Staat – Warnung vor B**benanschl**** sollte schon drinne sein ;-)
Das mit den Pflegekosten mag jetzt übertrieben klingen – das gibt sich aber, wenn irgendwann alle Seo’s Eigennutzbots durch Web geistern lassen :-(
Viele Bots, viele Webmasterrobotsschraubereien, viele unnütze Arbeitszeit – wofür?
Je mehr Bots, desto größer die Wahrscheinlichkeit, dass da auch Geschwister vom wildgewordenen Slurp bei sind…
Juristisch sauber kannst du das nur so lösen: Schreibe die Webmaster an, und bitte sie um die Daten (Opt-in). Kriegst du dann wahrscheinlich nicht. Warum auch den Wettbewerb mit wettbewersrelevanten Daten beliefern?
Was folgt daraus?
BTW: Opt-out hat sich auch bei Spam nicht durchgesetzt, warum sollte es bei Bots so sein?
Frager ich kann durchaus deine Position verstehen und stimme dir in vielen Dingen bei.
Aber ganz ehrlich welchen Bot brauchst du denn ausser dem GoogleBot? Welcher liefert dir denn sonst noch einen monetisierbaren Nutzen. Yahoo? MSN? ASK? Eigentlich reichen diese 4 Zeilen und du hast Ruhe von Bots.
Sicher ist dieser Bot im Augenblick ein Bot der mir persönlich von Diensten ist und mir hilft meine Arbeit besser zu machen. Ein nutzen für die Allgemeinheit gibt es im Augenblick nicht! Da helfen auch die Viagra Warnungen nicht, da geb ich dir recht.
Aber ich betrachte im Augenblick eine Webseite als eine öffentliche Webseite die ich besuchen darf und solange ich dieser Seite keinen Schaden anrichte, sehe ich da auch kein Problem.
Natürlich kann mein Spider auch mal wild werden und ne Menge Traffic verursachen, was auch zu einem finanziellen Schaden führen kann. Ist natürlich Scheisse, sollte sowas aber passieren sieht man natürlich das mein Spider den Mist verursacht hat, so würde ich mich mit Sicherheit nicht aus der Verantwortung ziehen.
Klar darfst du eine öffentliche Website besuchen (und dort Dinge tun, die man dort so tut und weswegen sie ins Netz gestellt wurde).
Du darfst mir auch eine E-Mail schreiben, mit Infos für mich, dafür ist mein Postfach da
Wenn du aber massenhaft öffentliche Sites besuchst und dort Dinge tust, weswegen sie nicht ins Netz gestellt wurden – dann erinnert das an Spam – also statt mir eine (persönliche) Mail zu schreiben, beballerst du das komplette Netz. Das ist imho nicht in Ordnung – vor allem, wenn alle das machen würden.
Nun ja – ist eine Frage der menschlichen Haltung und das du böse bist, verheimlichst du ja immerhin nicht…
Meinetwegen können wir das hier beenden.
Kein Problem, Dein gesamter IP-Bereich wurde vom Page Restrictor Script ohnehin geblockt. Also wird Dein Spider bestenfalls meine Seite mit der Rechenaufgabe zu sehen bekommen.
22.10.2008 23:25:07 – 85.17.10.174 xastus2.xastus.com – BoeserSeoSpider – – http://www.meinedomain.de/ – iprange – 85.17.0.0/85.17.255.255
:-)
Gruß
Marc
Wer mal mit eigenem Spider und Index rumspielen möchte sollte mal einen Blick auf:
yacy.net werfen. Dort kann man sich sein “eigenes kleines Google” runterladen und mit experimentieren. Zum Backlinkcheck etc. ist es wunderbar geeignet. Kostet nichts das gute Stück. Viel Spaß beim testen. (Is nicht meine Seite, ist ein echter Tipp :)
Erstmal: Gute Idee, wäre schön, wenn du den Checker dann anbietest. Leider sind die meisten wie von Sistrix nun ja alle samt kostenpflichtig oder unzuverlässig.
Nebenbei: Hast du den Blogaufbau (Design) selbst gemacht? Also außer dem Logo? Wenn nein, wo bekomm ich es her :) Keine Angst wird umgebaut ;)
Also ich bin ja nu n nichder Technik-Freak …. aber kann man so einen Spider nicht selbst für eigne Zwecke schön nutzen? Wenn es möglich wäre dies mit ner Linkanalyse und ner PR-Analyse zu verbinden (weiss net ob das techn. machbar ist) … kann man slbst eigne Daten sehen und Schlüsse ziehen wo es lohnt Linktausch zu betreiben .. und vllt. neue Muster erkennen ???
Oder geht sowas dann doch nicht und nu ein reines Onpage ist drin?
@chris, das ist eine gute Idee, beides zu verbinden, obs geht weis ich aber auch nicht,.. lass mal hören, wenn Du was weist.
Keyword Rank Tracking Tool…
Um Fortschritte und Wirkung von SEO-Massnahmen zu beurteilen, ist eine Erfolgskontrolle zwingend nötig. Aus diesem Grund habe ich ein Skript entwickelt, welches die Position eines Keywords in den Google SERPs (search engine result pages) täglich aufz…
Kann man den Spider eigneltich auch i-wo Downloaden oder kannste mir Links schicken wie man einen Spider selber Programiert?