間違えて検索エンジンのクローラーのアクセスを拒否してしまいました

どうも検索エンジン経由のアクセスがなく、調べてみると、検索エンジンにインデックスされていないのが分かりました。

何か悪いことでもやって、検索エンジンからペナルティーでも受けたかと思ったのですが、心当たりがありません。ローカルを調べると、検索エンジンのクローラーのアクセスを拒否する.htaccessファイルが見つかりました。

サーバーの中を見ると、この.htaccessファイルがルートに設置されていました。日付を見ると、2018年6月30日。この日は確か病気で頭痛がひどかった日です。

どうやら病気で頭の調子が悪く、ぼけて検索エンジンのクローラーのアクセスを拒否する.htaccessを作って、それをドメイン直下に設置してしまったため、検索エンジンのインデックスからきれいさっぱり消されてしまったらしいです。(^ ^;

気がついたのは、8月19日の夜ですが、もはや何をやってもすぐには元に戻りません。取りあえず検索エンジンのクローラーのアクセスを許可するrobots.txtを作って、ドメイン直下に設置しました。

これほどの失敗は過去にあまりやったことがありません。しかし、確か、はっぴ~トーク掲示板で、海外からのアクセスを遮断したら、一緒に検索エンジンのクローラーのアクセスも拒否してしまい、検索エンジンのインデックスから消えてしまったことがありました。どうにもしようがないので、そのまま放置していたら、いつの間にか回復していました。

あのときは、検索エンジンのクローラーが海外のIPアドレスから巡回していることをすっかり忘れていたのですが、まあ、よくあるアフィリエイトサイトの記述を参考にしたのが間違いの元でした。

ちゃんとした人が書いたサイトを参考にしていたら、そこに検索エンジンのクローラーについて何か書かれていたはずです。まあ、そんなサイトを参考にした私が間抜けなんですけどね。そんなサイトを上位表示するGoogleも悪いのです。

広告の貼ってあるサイトなんて、当てにしてはいけません。Googleの検索上位サイトも当てにしてはいけません。

前回どれぐらいの期間でインデックスが戻ったのかあまり記憶にないのですが、今回はどれぐらいの期間で元に戻るでしょうか?やはり1か月はかかるかなぁ。つらいところです。

追伸:
その後、2018年8月23日7:50(JST)現在、Googleのインデックスには復活できました。復活に三日とちょっとかかった様です。速いですね。robots.txtが効いたのかもしれません。Bingはまだです。