Googlebot Crawling Problem beim Oxid Shop

Warum werden Seiten vom Googlebot nicht komplett gecrawlt?

Bleibt womöglich der Googlebot beim Crawlen Ihrer Seiten an einer bestimmten Stelle stecken?

Jüngst hatte ich erlebt, dass ein Kunde von mir mit seinem Onlineshop, es war ein Oxid Shopsystem, zwar mit vielen Seiten im Google Index vertreten war, jedoch ein brauchbares Ranking sich einfach nicht einstellen wollte. Und an dieser Stelle muss man anmerken, dass Oxid Shops durchaus beachtliche Rankingerfolge und damit auch hohe Sichtbarkeit erzielen können, sofern diese vernünftig konfiguriert sind. Da half aber kein Bereinigen des Google Indexes und andere Tricks. In der Diagnose fiel auf, dass bestimmte Seitenbereiche in textlicher Hinsicht einfach gar nicht erst auffindbar waren über Google. Nach vielen Änderungen an diversen Stellschrauben ohne jegliche Verbesserung kam ich dem Problem nur ganz langsam auf die Schliche.

Immer wieder stellte ich mir die Frage: Warum werden bestimmte Inhalte erst gar nicht indiziert von Google, wenn doch die jeweiligen URLs bereits im Google Index auffindbar sind. Prinzipiell hatte ich das Problem permanent vor Augen gehabt und vielleicht auch gerade deswegen nicht erkannt. Denn im Google Webmaster Tools konnte ich ja genau sehen, was der Googlebot erkannte und was nicht. Nur rein gedanklich hatte ich die Kurve nicht gekriegt.
Warum aber nun der Googlebot nicht komplett alle Seiteninhalte indizierte, werde ich an dieser Stelle nicht verraten, denn schliesslich sollte man ein gewisses Potential an Betriebsgeheimnissen für sich behalten :-)

Tool zur Simulierung eines Spiders / Bots / Crawlers

Neben dem Google Webmaster Tools gibt es auch ein weiteres sehr sinnvolles Tool, um solche Crawling Fehler zu erkennen: www.rexswain.com ist eine Art Tarnkappe, welche verschiedene Bots (MSNbot, Googlebot, etc.) simuliert. Durch Eingabe einer beliebigen Seite unter URL und Eingabe unter User-Agent z. B. MSNbot kann man die Sicht der unterschiedlichen Bots, in diesem Fall des MSNbots (bing), darstellen lassen.

Oxid Shop SEO Optimierung

Jeder Onlineshop hat seine systemspezifischen Eigenheiten. Diese gilt es zu erkennen und zu durchschauen. Ebenso ist die Architektur ein wesentliches Merkmal bei Onlineshops, um einschätzen zu können wie sich bestimmte Änderungen auf das Ranking und Crawling auswirken. Ohne Kenntnis dieser wichtigen Parameter ist eine Optimierung des jeweiligen Shops fast unmöglich. bureau Landegaard ist bei der SEO Optimierung neben herkömmlichen Webseiten und Typo3 Seiten, spezialisiert auf Oxid Onlineshops. Hier erhalten Sie das nötige Knowhow Ihren Oxid-Shop so zu modifizieren, dass Sie Ihren Konkurrenten voraus sind. Oft sind es nur wenige kleine Änderungen, die das Crawlingverhalten der Bots grundlegend ändern und damit den Weg beim Ranking nach oben eröffnen. Das Kosten-Nutzen-Verhältnis bei SEO Massnahmen, wie oben beschrieben, kann überdurchschnittlich hoch ausfallen, wenn vorher beispielsweise die Sichtbarkeit durch ein schlechtes Allgemeinranking im Keller war.

Nichtcrawlen einer Webseite

Für das Nichtcrawlen einer Webseite kann es mannigfaltige Gründe geben. Dies ist nicht nur ein Phänomen, welches Seitenbetreibern mit Microsites widerfährt. Selbst grössere Webportale und Onlineshops sind von diesem Problem betroffen.
Wichtig ist bei dieser Problematik, dass man sich die besagte Webseite sehr genau ansieht, bzw. von einem Experten unter die Lupe nehmen lässt - in erster Linie den Quellcode.
bureau Landegaard ist spezialisiert auf hartnäckige Fälle der Nichtindizierbarkeit. Es gibt immer einen Grund, warum Webseiten nicht von Google und Co. indiziert werden. Diesen zu finden bedarf es einer gründlichen Untersuchung und damit verbunden auch langjähriger Erfahrung in Sachen SEO.