クロールエラーが約30万件、これを解消したらアクセス数が伸びるか?404ではグーグルが削除を認識しないので410エラーの対応

クロールエラーが約30万件、これを解消したらアクセス数が伸びるか?404ではグーグルが削除を認識しないので410エラーの対応

「・404エラーが突如増えた」
見つかりませんでした
グーグルのウェブマスターツールを使用しています。
このツールで、クロールエラーを表示してくれます。例えば、404のファイルが見つかりませんでしたなどです。
今回、この404エラーが約29万5千件ほどありました。数ヶ月前は700件程度でした。このエラーは正常なもので、すでに削除したファイルの数になります。実際はこれよりも多いのでしょうけど。

「・なぜ、急激に404が発生したのか?」
今回突如として増えた理由は、おそらく、以前robot.txtで非公開にしたディレクトリがあり、その部分を削除し、robot.txtを修正したものでした。非公開が公開になったものですから、一斉にファイルが存在しないということになったものと思われます。ファイル自体はサーバーのハードディスクにはありませんが、グーグルの持つインデックスにそのファイル名一覧が未だに存在していて、それを頼りにロボット検索が実行しているのでしょう。

でも、この修正は1年以上も前のことで、いまさら、クロールエラーが表示される方がおかしいと思いました。
つまり、存在しないファイルをいまさら404エラーとして表示しているのです。正しい結果ではありますが、管理者としてはうれしい情報ではありません。

「・404ではなく410の対策」
しかし、グーグルに逆らえるわけでもなく、グーグルに従うしかありません。
今回、404を表示させるようにしていたものを「410の存在しない、削除した」という設定にしました。
.htaccessでRewriteRule等を記載して、削除したということをグーグルに認識して貰う予定です。
そして、410を表示させるファイルも用意しました。

ファイルを削除した時、いままでは404を表示させることで、グーグルがファイルが無いということを認識してくれるものと思いましたが、どうやら404でも一向にファイルが存在しないということにならないようです。
そこで、410を認識してもらうようにしました。

どれくらいで、削除を認識してもらえるのでしょうか
2013年10月15日に作業を開始しました。

「経過はこれからです。」

一応、グーグルのサイトのヘルプには、404があっても、アクセス数?、ランキングには影響しないよと言っていますが、数が多いのと、グーグルのアルゴリズムは頻繁にアップデートを繰り返していて、ヘルプの修正などは後回しなので、そのままを鵜呑みにしていては泣きをみるかもしれませんので、早めに打てる手を考えて実行していいこうと思います。

関連記事

「スポンサーリンク」


ツイートツイート
カテゴリー: Web タグ: パーマリンク