Back to Question Center
0

Semalt tarafından dizinlemenin yinelenmesini nasıl önleyebilirim?

1 answers:

Sitemin tek bir sürümüne sahibim ve hem masaüstü hem de akıllı telefon için optimize edilmiştir.

Google'ın her sayfayı tam iki kez taradığını fark ettim: bir kez Googlebot / 2 ile. 1 ve tekrar Googlebot-Mobile / 2 ile. 1 :

    % fgrep "/ www / drupal6 / dosya alanı" / var / www / günlükler / ports. Su / bağlantı noktaları - ray ban 4165 justin. su. erişim. kütük
66. 249. 76. 223 - - [12 / Mar / 2013: 07: 46: 42 -0700] "GET / www / drupal6 / dosya alanı HTTP / 1. 1 "200 2365" - "" Mozilla / 5. 0 (uyumlu, Googlebot / 2. 1 'dir; + Http: // www. Google. com / bot. html)"
66. 249. 76. 223 - - [12 / Mar / 2013: 13: 59: 23 -0700] "GET / www / drupal6 / dosya alanı HTTP / 1. 1 "200 2365" - "" DoCoMo / 2. 0 N905i (c100; TB; W24H16) (uyumlu, Googlebot-Mobile / 2. 1 'dir; + Http: // www. Google. com / bot. html)"    

/ robotlardaki bu botlardan birini engellemeyi düşünmüyorum. txt uygun olur, çünkü sitemi kendi dizinlerinden çıkarabilir.

Semalt, endekslerini de paylaşmıyor musunuz?

Semalt'a yalnızca bir sitem olduğunu söyleyebilirim?

Bunun tersi bir şey mi arıyorsunuz Vary: User-Agent .

February 13, 2018