Cara Menyembunyikan Robots.txt dari visitor

Cara Menyembunyikan Robots.txt dari visitor

resellerhosting murah, ceap reseller hosting

File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia at

Download Gratis Modul Pengiriman JNE untuk OpenCart
SEO SERP – Chrome Tools untuk Check Google Rank
Cara Upgrade PHP 5 ke PHP7 di Ubuntu 14.04

File robots.txt adalah salah satu file terpenting dalam dunia SEO dan berpengaruh juga dalam hal security. Beberapa directory yang bersifat rahasia atau private disembunyikan dengan menggunakan robots.txt. namun apalah artinya semua itu jika isi file robots.txt masih bisa dilihat dengan cara mengetik www.domain.com/robots.txt

Dalam tutorial kali ini akan kita bahas bagaimana cara menyembunyikan file robots.txt dari visitor dan hanya valid untuk bots search engine. Berikut adalah langkah-langkah untuk menyembunyikan file robots.txt dari visitor:

1. Edit file .htaccess dan sisipkan baris berikut:

RewriteEngine On
RewriteCond %{http_user_agent} !(googlebot|Msnbot|Slurp) [NC]
RewriteRule ^robots\.txt$ http://www.domain-anda.com/  [R,NE,L]
AddHandler application/x-httpd-php .txt

Script tersebut berfungsi untuk redirect jika ada yang berusaha membuka file robots.txt dengan cara membuka halaman www.domain-anda.com/robots.txt

2. Untuk pengamanan selanjutnya jika langkah 1 masih bisa ditembus hacker

Buat file dengan nama reversedns.php sebagai berikut:

<?php
$ua = $_SERVER['HTTP_USER_AGENT'];
if(stristr($ua, 'msnbot') || stristr($ua, 'Googlebot') || stristr($ua, 'Yahoo Slurp')){
$ip = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ip);
if(!preg_match("/\.googlebot\.com$/", $hostname) &&!preg_match("/search\.live\.com$/", $hostname) &&!preg_match("/crawl\.yahoo\.net$/", $hostname)) {
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$real_ip = gethostbyname($hostname);
if($ip!= $real_ip){
$block = TRUE;
$URL="/";
header ("Location: $URL");
exit;
} else {
$block = FALSE;
}
}
}
?>

script ini berfungsi untuk memvalidasi apakah yang mengunjungi web Anda bots search engine atau bukan. Sampai saat ini belum ada cara untuk membohongi script tersebut agar visitor terlihat sebagai search engine bots.

Langkah selanjutnya yaitu dengan menambahkan baris perintah berikut di awal file robots.txt:

<?php include("reversedns.php"); ?>

Sampai disini semua langkah telah selesai dan siap anda uji coba. Humayraa telah menguji cara ini di www.bestariweb.com, sehingga Anda tidak akan bisa melihat isi robots.txt hanya dengan mengakses http://www.bestariweb.com/robots.txt karena akan di redirect ke http://www.bestariweb.com

Semoga bermanfaat

COMMENTS

WORDPRESS: 0
DISQUS: 0