[row][col span=”1/1″][wp_ad_camp_1][/col][/row]
[row][col span=”1/2″][wp_ad_camp_2][/col][col span=”1/2″]
File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia atau private disembunyikan dengan menggunakan robots.txt. namun apalah artinya semua itu jika isi file robots.txt masih bisa dilihat dengan cara mengetik www.domain.com/robots.txt
[/col][/row]
Dalam tutorial kali ini akan kita bahas bagaimana cara menyembunyikan file robots.txt dari visitor dan hanya valid untuk bots search engine. Berikut adalah langkah-langkah untuk menyembunyikan file robots.txt dari visitor:

1. Edit file .htaccess dan sisipkan baris berikut:

RewriteEngine On
RewriteCond %{http_user_agent} !(googlebot|Msnbot|Slurp) [NC]
RewriteRule ^robots\.txt$ http://www.domain-anda.com/  [R,NE,L]
AddHandler application/x-httpd-php .txt

Script tersebut berfungsi untuk redirect jika ada yang berusaha membuka file robots.txt dengan cara membuka halaman www.domain-anda.com/robots.txt

2. Untuk pengamanan selanjutnya jika langkah 1 masih bisa ditembus hacker

Buat file dengan nama reversedns.php sebagai berikut:

<?php
$ua = $_SERVER['HTTP_USER_AGENT'];
if(stristr($ua, 'msnbot') || stristr($ua, 'Googlebot') || stristr($ua, 'Yahoo Slurp')){
$ip = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ip);
if(!preg_match("/\.googlebot\.com$/", $hostname) &&!preg_match("/search\.live\.com$/", $hostname) &&!preg_match("/crawl\.yahoo\.net$/", $hostname)) {
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$real_ip = gethostbyname($hostname);
if($ip!= $real_ip){
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$block = FALSE;
}
}
}
?>

script ini berfungsi untuk memvalidasi apakah yang mengunjungi web Anda bots search engine atau bukan. Sampai saat ini belum ada cara untuk membohongi script tersebut agar visitor terlihat sebagai search engine bots.

Langkah selanjutnya yaitu dengan menambahkan baris perintah berikut di awal file robots.txt:

<?php include("reversedns.php"); ?>

Sampai disini semua langkah telah selesai dan siap anda uji coba. Humayraa telah menguji cara ini di www.bestariweb.com, sehingga Anda tidak akan bisa melihat isi robots.txt hanya dengan mengakses http://www.bestariweb.com/robots.txt karena akan di redirect ke http://www.bestariweb.com
[row][col span=”1/1″][wp_ad_camp_2][/col][/row]
Semoga bermanfaat

Incoming search terms:

(Visited 141 times, 1 visits today)