shopifyをサーチコンソールへ登録すると「robots.txt によりブロックされました」と言うメッセージが届くことがあります。この理由を解説します。
サーチコンソールのメッセージが届く理由
shopifyでは自動的にrobots.txtが設置されます。
自分のサイトのURLに/robots.txtを付けてブラウザでアクセスすると誰でも内容を確認することが可能です。
これは検索結果に表示されない方がいいページやセキュリティ対策、スクレイピング対策のために設置されています。
結論 何か対応する必要があるか？
Googleサーチコンソールから「robots.txt によりブロックされました」というメッセージが届くのが正常ですので、対策する必要はありません。
# we use Shopify as our ecommerce platform User-agent: * Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /xxxxxxx/checkouts Disallow: /xxxxxxx/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /recommendations/products Disallow: /*/recommendations/products
