Cara Menyembunyikan Robots.txt dari visitor

Cara Menyembunyikan Robots.txt dari visitor

resellerhosting murah, ceap reseller hosting

File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia at

Cara Upgrade PHP 5 ke PHP7 di Ubuntu 14.04
SEO SERP – Chrome Tools untuk Check Google Rank
Auto Scroll Carousel pada Opencart

File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia atau private disembunyikan dengan menggunakan robots.txt. namun apalah artinya semua itu jika isi file robots.txt masih bisa dilihat dengan cara mengetik www.domain.com/robots.txt

Dalam tutorial kali ini akan kita bahas bagaimana cara menyembunyikan file robots.txt dari visitor dan hanya valid untuk bots search engine. Berikut adalah langkah-langkah untuk menyembunyikan file robots.txt dari visitor:

1. Edit file .htaccess dan sisipkan baris berikut:

[pastacode lang=”bash” message=”” highlight=”” provider=”manual”]

RewriteEngine On
RewriteCond %{http_user_agent} !(googlebot|Msnbot|Slurp) [NC]
RewriteRule ^robots\.txt$ http://www.domain-anda.com/  [R,NE,L]
AddHandler application/x-httpd-php .txt

[/pastacode]

Script tersebut berfungsi untuk redirect jika ada yang berusaha membuka file robots.txt dengan cara membuka halaman www.domain-anda.com/robots.txt

2. Untuk pengamanan selanjutnya jika langkah 1 masih bisa ditembus hacker

Buat file dengan nama reversedns.php sebagai berikut:

[pastacode lang=”php” message=”” highlight=”” provider=”manual”]

<?php
$ua = $_SERVER['HTTP_USER_AGENT'];
if(stristr($ua, 'msnbot') || stristr($ua, 'Googlebot') || stristr($ua, 'Yahoo Slurp')){
$ip = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ip);
if(!preg_match("/\.googlebot\.com$/", $hostname) &&!preg_match("/search\.live\.com$/", $hostname) &&!preg_match("/crawl\.yahoo\.net$/", $hostname)) {
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$real_ip = gethostbyname($hostname);
if($ip!= $real_ip){
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$block = FALSE;
}
}
}
?>

[/pastacode]

script ini berfungsi untuk memvalidasi apakah yang mengunjungi web Anda bots search engine atau bukan. Sampai saat ini belum ada cara untuk membohongi script tersebut agar visitor terlihat sebagai search engine bots.

Langkah selanjutnya yaitu dengan menambahkan baris perintah berikut di awal file robots.txt:

[pastacode lang=”php” message=”” highlight=”” provider=”manual”]

<?php include("reversedns.php"); ?>

[/pastacode]

Sampai disini semua langkah telah selesai dan siap anda uji coba. Humayraa telah menguji cara ini di www.bestariweb.com, sehingga Anda tidak akan bisa melihat isi robots.txt hanya dengan mengakses http://www.bestariweb.com/robots.txt karena akan di redirect ke http://www.bestariweb.com

Semoga bermanfaat

Loading...
loading...

COMMENTS

WORDPRESS: 0
DISQUS: 0