というわけで、その1:robots.txtでモバイルクローラ以外を排除。
クローラのアクセス元IPで弾けば良いという話もありますが、それを始めると管理が大変になりそうなので。
どこかに一覧で落ちてないですかね。
とりあえず、robots.txtの記述としては、
・PC向けブログではモバイルクローラを排除
・携帯向けブログではモバイルクローラ以外を排除
できれば良いですね。
ユーザエージェントについては、ココ(Google)とココ(Yahoo!)を参考に。
あ、IPも書いてあるですね。こちらも別途設定しましょう。
robots.txtの方は、ユーザエージェント毎に空白行を入れるということで、これでどうでしょう。
書式の検証とURLを指定してのテストは、Googleウェブマスターツールでできます。
User-Agent: *
Allow: /User-Agent: Googlebot-Mobile
Allow: /MOBILE/
Disallow: /User-agent: Y!J-SRD/1.0
Allow: /MOBILE/
Disallow: /Y!J-MBS/1.0
Allow: /MOBILE/
Disallow: /
少し置いてみてからSERP(Search Engine Results Page)見て検証します。
最近のコメント