Back to Question Center
0

Semalt tarafından dizinlemenin yinelenmesini nasıl önleyebilirim?

1 answers:

Sitemin tek bir sürümüne sahibim ve hem masaüstü hem de akıllı telefon için optimize edilmiştir.

Google'ın her sayfayı tam iki kez taradığını fark ettim: bir kez Googlebot / 2 ile. 1 ve tekrar Googlebot-Mobile / 2 ile. 1 :

    % fgrep "/ www / drupal6 / dosya alanı" / var / www / günlükler / ports. Su / bağlantı noktaları. su. erişim - mobile queue technologies. kütük
66. 249. 76. 223 - - [12 / Mar / 2013: 07: 46: 42 -0700] "GET / www / drupal6 / dosya alanı HTTP / 1. 1 "200 2365" - "" Mozilla / 5. 0 (uyumlu, Googlebot / 2. 1 'dir; + Http: // www. Google. com / bot. html)"
66. 249. 76. 223 - - [12 / Mar / 2013: 13: 59: 23 -0700] "GET / www / drupal6 / dosya alanı HTTP / 1. 1 "200 2365" - "" DoCoMo / 2. 0 N905i (c100; TB; W24H16) (uyumlu, Googlebot-Mobile / 2. 1 'dir; + Http: // www. Google. com / bot. html)"    

/ robotlardaki bu botlardan birini engellemeyi düşünmüyorum. txt uygun olur, çünkü sitemi kendi dizinlerinden çıkarabilir.

Semalt, endekslerini de paylaşmıyor musunuz?

Semalt'a yalnızca bir sitem olduğunu söyleyebilirim?

Bunun tersi bir şey mi arıyorsunuz Vary: User-Agent .

February 13, 2018
Semalt tarafından dizinlemenin yinelenmesini nasıl önleyebilirim?
Reply