こんちには、遊佐です。
今年の7月ぐらいから一部のブログに起こっていた「最新記事がインデックスされない」問題について触れたいと思います。
この問題は、普段通りに書いて投稿した記事がいつまでたってもインデックスされない。そして投稿を続けても同じ状況のままという、ブロガーのモチベーションを根こそぎ奪っていく鬼畜なもの。
例えば夏に向けて書いたかき氷の記事が夏になってもインデックスされなかったら、またはインデックスされてもその時夏が終わってたら、どれだけ残念な気分になるか想像に難くないでしょう。
実は当ブログもその問題にぶち当たっていました。
ある日から急に記事がインデックスされなくなったんですよね。
異変に気付いてから1カ月経っても状況は変わらず、例に漏れずモチベーションが下がりかけていました。
しかしその後ようやく改善されていき、2021年12月26日現在、無事復旧しています。
そこで今回は備忘録として、問題の振り返りと実際に行った対策を書き残しておきたいと思います。
内容は以下のような構成になっています。
- 現在の状況
- 問題を時系列で振り返る
- 実際に行った対策
- 対策の検証
- 記事が急にインデックスされなくなった
- クロールされにくいと感じる
【解決しました】最新記事がインデックスされない問題について(はてなブログ使用)
現在の状況
解決した
冒頭でお話しした通り、当ブログにおいて今回の「最新記事インデックスされない問題」は解決しています。
直近の9記事はすでにインデックスされており、ひとまず長いトンネルから抜け出した模様。
googleにインデックスされるまでの時間も、投稿して数分後～遅くても２日後と良好です。
ですがそれ以前の記事(10月～11月前半頃)でいまだにインデックスされていないものがあるので、引き続き対策を講じているところです。
2カ月以上経ってもインデックスされないなんてやばいですよね。
中には特に鮮度が命の記事もあるので、この遅さは大問題。
とはいえ、その頃の記事も少しずつインデックスされ始めており、ゆっくりですが完全解決に向けて前進中です。
11月初旬までは新着記事が一つもインデックスされないというかなり悲惨な状態だったので、大分マシになったもんですよ。
検出-インデックス未登録
インデックスされていない記事のステータスは「検出-インデックス未登録」となっています。
サーチコンソールのカバレッジで確認できるのですが、もう見るのも嫌な一文です。
これがどういう状態なのかというと、URLは検出されているけれども、まだクロールがされていないということです。
ちなみにどんな記事でも投稿直後はこの状態で、その後クローラーがやってきてはじめてインデックスされます。
つまりいつまでたってもインデックスされないのは、クローラーがやってこないからです。
問題を振り返る
急にインデックスされなくなった
振り返ると、7月24日に書いた記事からインデックスされなくなりました。
その後2カ月ブログを放置して、再開後に投稿した日が10月2日。
そして11月初めに入っても、この時点までに投稿した11記事のうち９記事がインデックスされませんでした。
実は去年の9月ぐらいにも最新記事が全くインデックスされなくなったことがあったのですが、その後投稿を続けていると2週間後には問題なく全てインデックスされていったんですよね。
なので今回も同じだろうとたかをくくっていたのですが、いつまで経ってもインデックスされず、去年とは明らかに違う状況を呈していました。
何かやらかした？
もしかして自分が何かしたのか？
そう思い、インデックスされなくなった前後で、自分が何かやらかしていないか自問自答します。
やらかしたと言えるとすれば、ブログ更新を2カ月放置したこと。
放置してクローラーがやってこなくなったのかなーと思ったのですが、同じ問題で困っている他のブロガーさん達はそういう状況ではないし、放置気味だけどクロールされているブログもあります。
何より同じ時期に一定数のブログに問題が発生しているので、ブログ放置とかではなく他に何か共通している原因があるはずなんです。
他にやらかしたことは・・・いくら考えてもない！！
コアアップデートが原因？
ブログを運営していく上で、何もかわったことはしてはいない。
また僕だけでなく他のブロガーの方々にも同じ現象が同じタイミングで起こっているということは、外部からなにかしらの影響をうけたと考えるのが妥当です。
そこでもしかしてと噂されているのが、グーグルのコアアップデート。
グーグルは検索アルゴリズムを定期的にアップデートしており、その都度挙動が変化します。
あえなく被弾してしまうとPV数が激減することもあり、ブロガーによっては悲喜こもごものイベントです。
実は今回インデックスされなくなった同じ時期7月にコアアップデートが行われており、インデックスになにか影響を与えているのかもしれないと噂されたんですよね。
ただアップデートが行われても何も影響がなかったというブロガーさんの方が断然多いですし、また過去にそういった事例もないので、恐らくコアアップデートは関係ないと思われます。
はてなブログだから？
ちなみにこのインデックスされない問題は、はてなブログだからだという意見も飛び交っていましたが、ワードプレスを使っている人で同じ状況の人もいましたので、因果関係はなさそうです。
対策について
対策の指針
多数のブログに同じタイミングで襲い掛かった問題を引き起こした原因が何かということは結局分からなかったので、基本に立ち返るコトにしてみました。
つまり記事ステータスが「検出-インデックス未登録」になる原因を探るというものです。
「検出-インデックス未登録」となる原因として、グーグルは以下の4つを公表しています。
- サイトへの過負荷を懸念し、クロールを中止した
- 内部リンクがなく、独立した記事だと判断されている
- コンテンツのクオリティが低いと判断されている
- コンテンツの重複があると判断されている
このガイドラインに沿って、インデックスされている記事とそうでない記事との間で、何か違いがあるのかを探っていくことにします。
正直これらのポイントに関しては今までも意識しており、結果きちんとインデックスされてきたので、当初は今回の問題の原因になっているとは考えにくいと思っていました。
でももしかすると、これら、特に2〜4の審査基準が上がって新着記事の評価が下がっているのかもしれないとも考えられたので、改めてこのガイドラインに沿って未インデックス記事を見なおしていくことにしました。
1に関しては、サーチコンソールでインデックスのリクエスト登録をしてクローラーを呼び込むようにしていますが効果なし。
3に関しては特にそれらしい箇所が見当たらなかった。
ということで、2と4に着目してみました。
内部リンクを確認する
まずはおさらい。
サイト内にやってくるクローラーは、サイト内に設置されたリンクを辿ってページ間を移動します。
グローバルナビゲーションやフッター、記事内の関連コンテンツなどが内部リンクにあたりますね。
つまり新着記事にいきなりクローラーがやってくるのではなく、内部リンクを辿ってやってくるので、内部リンクがどこかにないと新着記事がインデックスされにくいということです。
また内部リンクを適切に設置することでクローラーがサイト内の構造を把握しやすくなり、クローラビリティが向上します。
実はインデックスされていない記事全てに、内部リンクが存在していないことを確認しました。
厳密にはちゃんとリンクを設置しているのですが、検索エンジンに検知されていなかったんです。
内部リンクが認識されているかどうかは、サーチコンソールのリンク項目にある「内部リンク一覧」で確認できます。
この内部リンク一覧にインデックスしてほしい記事のURLがなかったので、記事がどこからもリンクされずにサイト内で孤立している状態となっていました。
せっかく内部リンクを設置しても、検知されていなければ内部リンクはないのと同じ。
これはグーグルが公表するインデックスされない要因２と合致するので、ここの改善をしていかなければいけません。
実際に修正した内部リンクは、記事内に設置した関連コンテンツへのリンクです。
関連している記事コンテンツだからといって適当にリンクを貼っていいわけではなく、貼り方にも作法というものがあるんですよね。
文字や文脈、場所などに着目して修正したので、後は検知されるのを待ってみます。
この作業後に検知されたURLは現時点ではまだないのですが、検知されたのを確認した後に、改めてインデックス登録のリクエストをしてみようと思います。
コンテンツの重複
コンテンツの重複とは、URLは違うのにコンテンツが同じだと認識されることです。
外部で記事がコピーされているのもこれにあたります。
その他にも重複と呼ばれる事象はいくつかあるのですが、今回注目したのは以下の点。
「自動生成による重複」
これはどういうことがいうと、一つの記事を投稿すると、その記事はトップページ、月間ページ、アーカイブページ、カテゴリーなど色々な場所で表示されることになるので、URLは違うのに中身が同じという記事が複数個自動的に生成されてしまうということです。
僕は以前からこの点が妙に気になっていたので、月間アーカイブをブログから消していました。
おそらく多くの方は月間アーカイブを設置しているはずです。
月間アーカイブを設置していると、ブログに興味を持ってくれたユーザーが過去記事を読み漁ってくれるので、PV数のアップにもつながります。
僕の場合はカテゴリーページがあるから大丈夫やろということで、UIとの兼ね合いもありましたが、あえて月間アーカイブは外したんですよね。
ただ結果的にはインデックスされないという状態に陥っているので、自動生成による重複対策は今回の問題に対して効果がないと思われます。
その他の対策
サイトマップの見直し
今回の問題が起きる前までは、以下のサイトマップを登録していました。
- sitemap_page.xml
- sitemap.xml
- sitemap_index.xml
- sitemap_periodical.xml?year=年&month=月
この内容を見直しました。
まずsitemap_index.xmlと内容が同じ「sitemap.xml」を削除しました。
削除する必要はないのかもしれませんが、いらないものなので。
次に、RSSとAtomを追加登録しました。
これらは新着記事や更新を検索エンジンに伝える役割があります。
追加する際は、ドメインの後ろにそれぞれ/feed、/rssを付け足すだけです。
これにて今現在のサイトマップは以下のようになりました。
- sitemap_page.xml
- sitemap_index.xml
- sitemap_periodical.xml?year=年&month=月
- feed
- rss
追加後にインデックスが始まっているので、どの程度かは分からないのですが何らかの効果があった可能性があります。
また場合によっては、一部内容がかぶっている「sitemap_periodical.xml?year=年&month=月」も今後消すかもしれません。
記事URLの変更
URLを変更するとインデックスされたとの事例が多数上がっているので僕も数記事で試してみました。
しかし結果はどれも効果なし。
結果が出ず、個人的に嫌な予感がする対策だけに、今後はURL変更を試すのはやめようと思います。
投稿頻度
クローラーを呼び込むために、投稿頻度を高めに意識しました。
高めにと言っても、週１ペース。
時には意識して中１日で投稿し、高頻度をアピールすることもありました。
下記は投稿月とそれぞれに投稿した記事数です。
- 2021年7月 1
- 2021年8月 0
- 2021年9月 0
- 2021年10月 6
- 2021年11月 7
- 2021年12月 7
月の投稿記事数0～1が6～7となり、分かりやすいくらい投稿頻度が上がっています。
すると11月初旬くらいから記事がインデックスされ始め、サーチコンソールのクロール統計情報で確認できるクロールリクエスト数も２倍から３倍に跳ね上がっていたので、もしかしたら効果が出たのかもしれません。
階層化
記事のカテゴリーが階層化されていないことが分かりました。
サイトの見た目はコードで階層化されているのですが、内部リンクと同じようにグーグルに認識されていませんでした。
カテゴリーの階層とは僕のブログを例にすると、ファッションのカテゴリーがあったら、その下の階層に服や靴、時計といったサブカテゴリーを設置するといった感じです。
つまりTOP–ファッション–靴–記事という風に階層化されることになります。
ところがグーグルの検索表示を確認すると、TOP–ファッション–記事という風に書かれており、「靴」の階層が抜けてるんですよね。
サーチコンソールで確認しても階層化が確認できませんでした。
上手く階層化されていないサイトはクローラーにとって構造が把握しにくく、結果クローラビリティが低下して記事がインデックスされにくくなるので、改善する必要があります。
とはいえ・・・修正作業が面倒くさいので、全く手をつけずにいます(オイ)。
それでも新着記事が無事にインデックスされ始めているので、階層化が問題の直接的な原因にはなっていなさそうです・・・今のところ。
ただサイト構造の整理はブログの運営において不可欠なので、今後必ず修正していきます。
待つ
最後の対策は、ただひたすら「待つ」。
何もしてないけど、いつのまにか解決していたという事例もあるので、じたばたせずに神頼みです。
対策の検証
実際に行った対策とその検証結果をまとめます。
- 内部リンクを適切に設置→検証中
- サイトマップにfeedを追加→効果あり？
- 記事URLの変更→効果なし
- 投稿頻度を上げた→効果あり？
- とりあえず待つ→効果あり？
正直何の対策が効果的だったのかは分かりません。
全てが効果的だったのかもしれないし、もしかしたら5のように、ただ時間が解決してくれただけかもしれない。
ただ対策1，2、4は、そもそもクローラーを呼び込むための基本的な対策であり、また因果関係ははっきりしないにしろ同時に行っていたら今回の問題が改善されたという事実があるので、やってみてよかったなと思っています。
基本的対策を行って問題は解決したものの、なぜ同時期に一定数のブログに問題が発生したのかは分からずじまいです。
まとめ
- 適切に内部リンクを設置して、検索エンジンに検知されるようにする
- サイトマップを見直す
- 投稿頻度を最低週１キープ
改めて、全ての対策は以下の点に沿った内容です。
- クローラーがサイト内を巡回しやすいように、サイト内の道筋、構造を整える。
- クローラーがサイトを巡回しにくる頻度を高める。
この問題は正直かなりうざかったですが、色々勉強になって知識も増えたので結果オーライとしておきます。
