このことは、Yahoo!も明言しています。
検索エンジン用ロボットがページを探すときにたどるのは、主に静的リンクです。 ASP、shtml、PHPなど自動的に生成されるURLは登録されない可能性があります。データベースに登録されるためには、動的に生成されたリンクを利用しないことをおすすめします。
Yahoo!サイト管理者向けヘルプ 「ASP、shtml、PHPなど、自動的に生成されるURLは登録されますか？」
googleでは以下のように明言されています。
Google は .asp ページ、.php ページ、URL に疑問符を含むページなど、動的なページも登録します。ただし、クロールの際に、問題が生じ登録されない場合があります。動的に作成されたページが登録されていないと考えられる場合は、これらのページの静的なバージョンも作成することをお勧めします。動的なページを作成する場合は、重複したコンテンツと判断されないように、robots.txt ファイルに動的なページを含めてください。
Google ウェブマスター向けヘルプ センター 「Google は動的なページを登録しますか。」
動的なページ (URL に "?" が含まれているページなど) を使用する場合、検索エンジンのスパイダーによっては、静的なページと同じようにはクロールされない場合があることを考慮する。パラメータを短くしたり、数を少なくすると、クローラで見つけやすくなります。
Googleウェブマスター向けガイドライン 「デザインおよびコンテンツに関するガイドライン」
Yahoo!よりもGoogleの方がたくさんインデックスしています。GoogleのほうがYahoo!よりも動的なページをインデックスしやすいといえるかもしれません。
もちろん、このサイトでは検索エンジン用のサイトマップを作成しています。やはり動的なページを対象とする場合は、サイトマップは作成したほうが良いでしょう。
動的にページが増えるゆえ、サイトマップも動的に更新しています。
ページが増えるたびにサイトマップのxmlを更新する仕組みにしてます（１日１回）。
また、動的にページを生成する場合は、titleタグ、metaタグ、h1タグをページごとに変える仕様にしたり、できるだけ引数を減らすようにしたり、といった対応で、よりインデックスされやすくなる可能性もあります。
静的なページに比べて、動的なページがインデックスされずらいのは確かですが、動的にページを生成しているアマゾンがSEO効果の高いサイトとして知られているように、必ずしも動的なページがSEOに不利とはいえないと思います。
検索エンジンの精度が上がっているので、一昔前ほどは悲観的になる必要は無いでしょう。
コメント