Coding How to Indonesia PHP

Cara Menyembunyikan Robots.txt dari visitor

Cara Menyembunyikan Robots.txt dari visitor April 24, 2015Leave a comment

HUMAYRAA merupakan salah satu bagian dari web Bestariweb Studio. HUMAYRAA.COM kami khususkan untuk berbagi pengalaman dan tutorial kepada seluruh pembaca yang berminat menggeluti dunia IT dan desain. Kunjungi pula web kami yang lainnya: Bestariweb Studio | BestariwebHost

tutorial desain web, belajar desain web

[row][col span=”1/1″][wp_ad_camp_1][/col][/row]
[row][col span=”1/2″][wp_ad_camp_2][/col][col span=”1/2″]
File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia atau private disembunyikan dengan menggunakan robots.txt. namun apalah artinya semua itu jika isi file robots.txt masih bisa dilihat dengan cara mengetik www.domain.com/robots.txt
[/col][/row]
Dalam tutorial kali ini akan kita bahas bagaimana cara menyembunyikan file robots.txt dari visitor dan hanya valid untuk bots search engine. Berikut adalah langkah-langkah untuk menyembunyikan file robots.txt dari visitor:

1. Edit file .htaccess dan sisipkan baris berikut:

RewriteEngine On
RewriteCond %{http_user_agent} !(googlebot|Msnbot|Slurp) [NC]
RewriteRule ^robots\.txt$ http://www.domain-anda.com/  [R,NE,L]
AddHandler application/x-httpd-php .txt

Script tersebut berfungsi untuk redirect jika ada yang berusaha membuka file robots.txt dengan cara membuka halaman www.domain-anda.com/robots.txt

2. Untuk pengamanan selanjutnya jika langkah 1 masih bisa ditembus hacker

Buat file dengan nama reversedns.php sebagai berikut:

<?php
$ua = $_SERVER['HTTP_USER_AGENT'];
if(stristr($ua, 'msnbot') || stristr($ua, 'Googlebot') || stristr($ua, 'Yahoo Slurp')){
$ip = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ip);
if(!preg_match("/\.googlebot\.com$/", $hostname) &&!preg_match("/search\.live\.com$/", $hostname) &&!preg_match("/crawl\.yahoo\.net$/", $hostname)) {
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$real_ip = gethostbyname($hostname);
if($ip!= $real_ip){
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$block = FALSE;
}
}
}
?>

script ini berfungsi untuk memvalidasi apakah yang mengunjungi web Anda bots search engine atau bukan. Sampai saat ini belum ada cara untuk membohongi script tersebut agar visitor terlihat sebagai search engine bots.

Langkah selanjutnya yaitu dengan menambahkan baris perintah berikut di awal file robots.txt:

<?php include("reversedns.php"); ?>

Sampai disini semua langkah telah selesai dan siap anda uji coba. Humayraa telah menguji cara ini di www.bestariweb.com, sehingga Anda tidak akan bisa melihat isi robots.txt hanya dengan mengakses http://www.bestariweb.com/robots.txt karena akan di redirect ke http://www.bestariweb.com
[row][col span=”1/1″][wp_ad_camp_2][/col][/row]
Semoga bermanfaat

Incoming search terms:

HUMAYRAA merupakan salah satu bagian dari web Bestariweb Studio. HUMAYRAA.COM kami khususkan untuk berbagi pengalaman dan tutorial kepada seluruh pembaca yang berminat menggeluti dunia IT dan desain. Kunjungi pula web kami yang lainnya: Bestariweb Studio | BestariwebHost

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *