Spider Traffic angestiegen um 1800 Prozent

 1121 Mal gelesen

Bisher habe ich keinen Grund gehabt, intensives Spider (Webcrawler) Tracking durchzuführen. In Blogs hat es mir gereicht, auf Statpress zu kucken, was da so geht. Diesen Monat hat Statpress aber seltsame Ergebnisse geliefert, die ich in Zukunft überprüfen sollte. Mein Spider Traffic scheint um 1800 Prozent angestiegen zu sein. Liegt das an Twitter, Bing und Google oder habe ich Spambots im Gebüsch?

Spider Traffic angestiegen um 1800 Prozent

Wie das nachfolgende Bild zeigt, ist in diesem Monat ein Anstieg um 1800 % meines Suchmaschinen Spider Traffics aufgezeichnet worden. Mein Tracking Tool StatPress hat mir verstärkt den MSN Bot von Bing angzeigt, aber auch nicht so oft, dass es daran liegen könnte.

Sehr seltsam, aber ich habe ein paar mögliche Gründe, die ich gerne von Euch beurteilt haben würde.

  1. Google und Bing spidern auch die Twitter Links.
  2. Habe die Blog Sidebar aufgeräumt und viele ausgehende Links in den Blogartikeln entfernt.
  3. War mit meinem persönlichen Suchmaschinen Crawler unterwegs
  4. Spambots haben kein Futter mehr

Mehr Crawler Verkehr von Google und Bing über Twitter

Mit 14,43 % kam im Oktober 2009 der zweitmeiste Traffic über Twitter. Hier spreche ich von Unique Visits laut Google Analytics, also von menschlichem Traffic. Allerdings können über diese vielen Twitterlinks auch ordentlich viele Bots gekommen sein, denn Google und Bing indexieren nun auch Twitter Updates (Tweets) und verfolgen bestimmt auch alle Links.

Weniger ausgehende Links erhöhen Crawlvolumen auf der eigenen Seite

Eigentlich Quatsch, denn offiziell steht jeder Seite ein bestimmtes Crawlvolumen zu, das von der Aktualität der Artikel, dem Seitenumfang und der externen Verlinkung (Masse und Aktualität) abhängt. Im Vergangenen Monat kam aber wegen des Volksphonewettbewerbes eine Menge an neuen Links auf meine Domain, weshalb eventuell dieser ungewöhnliche Anstieg zu mehr Crawler Aktivität im Oktober führte.

Ich habe also Anfang diesen Monats mehr Links als zuvor eingehend gehabt und gleichzeitig in vielen Blogposts sinnlose Kommentare entfernt, sowie die Seitenleiste um gut 50 ausgehende Links erleichtert.

Mein Crawler war unterwegs

Ebenfalls abwegig, aber findet Platz in meinen Überlegungen: Ich hab diesen Monat meinen Testcrawler (absolut rudimenter und bedarf deshalb keiner weiterern Erwähnung 😉 ) losgejagt. Er kann aber kein riesen Traffic verursachen, weil so viele Seiten hab ich ja auch nicht. Er war mit meiner Domain in unter einer halben Stunde durch, zudem schlägt sein Name nicht einmal in den Top 10 Crawlern in StatPress auf.

Spambots haben kein Futter mehr

Am wahrscheinlichsten nach der Twitterlösung ist für mich, dass Spambots keine Kommentare mehr hinterlassen können. Ich habe alte Artikel dicht gemacht für Comments. Das hat mein tägliches Spamcommentlöschen von über 40 Kommentaren auf 0 bis 3 reduziert. Für mich eine tolle Arbeitserleichterung, weil ich alle Kommentare einzeln geprüft habe, vor der endgültigen Löschung.

Die Spider der Blogspammer suchen sich jetzt in meinem Blog auf über 700 Seiten dumm und dämlich, bis sie Artikel finden, in denen noch kommentiert werden kann. Da sie ihren Mist nicht gleich im erstbesten Post abladen können suchen sie länger und verursachen so mehr Traffic, bevor sie wieder verschwinden. Das könnte also auch ein Grund für den ungewöhnlichen Spider Traffic Anstieg sein.

Habt Ihr auch schon einmal einen solchen Peak erlebt oder vielleicht sogar gerade jetzt im Oktober? Was meint Ihr, woran das liegen könnte?

Gleich teilen:

  • Twitter
  • Google Plus
  • Facebook
  • LinkedIn
  • Email
  • RSS


+Benjamin Wingerter ist Inhouse-SEO und Affiliate seit 2008. Er hat zwei Steckenpferde: Conversion Rate Optimierung und Suchmaschinenoptimierung. Seit 2011 spricht er auf Fachkonferenzen, wie der SEO Campixx.

Advertisement

EmailEmail