IndeksFAQPendaftaranLoginbtaman bacaanForum TdBlog Semut Nungging

Pengunjung
page counter
Latest topics
» Download software organ tunggal gratis
by Nana80 Wed 29 May 2013, 16:40

» Membuat Background foto sendiri pada Facebook anda
by Tamu Mon 18 Mar 2013, 14:48

» Hosting Download/Upload File mudah, cepat, efisien dan gratis
by Om Jin Sun 17 Mar 2013, 12:57

» Popup Facebook Like Box Dengan Timer CountDown Untuk Blogger
by Om Jin Sat 16 Mar 2013, 17:29

» activator Sim Aquarium 3
by Om Jin Sat 16 Mar 2013, 13:09

» solfware
by sryvika Tue 05 Mar 2013, 08:08

» organ di computer
by nur idris Fri 25 Jan 2013, 17:24

» organ game tunggal
by awex bae Sat 19 Jan 2013, 12:44

Web / Blog Teman
User Yang Sedang Online
Total 1 user online :: 0 Terdaftar, 0 Tersembunyi dan 1 Tamu

Tidak ada

User online terbanyak adalah 309 pada Wed 07 Dec 2011, 13:06
Info Forum

Page Ranking Tool





Share | 
 

 Membuat robots txt Berdasarakan Google webmaster tool

Topik sebelumnya Topik selanjutnya Go down 
PengirimMessage
Om Jin
Owner
Owner


Jumlah posting : 4120
Points : 8492
Join date : 21.09.09
Age : 35
Lokasi : muara tebo / Jambi

PostSubyek: Membuat robots txt Berdasarakan Google webmaster tool   Mon 08 Aug 2011, 11:43




file robots.txt adalah file yang buat untuk menginstruksikan web robots, crawlers, atau spider yang masuk kedalam web atau blog kamu. File robots.txt mengontrol masuknya web robots yang biasanya datang dari situs search engine. Dengan adanya robots.txt, kamu bisa memberikan restriksi (semacam filter) terhadap file atau direktori tertentu dalam web, agar web robot tidak begitu saja mengcrawl semua isi dari web kamu, begitu juga sebaliknya.

Saya sendiri menggunakan robots.txt dengan tujuan melakukan restriksi web robot dari search engine terhadap konten yang ter-generate dalam blog ini, sehingga saya bisa menentukan konten-konten apa saja yang bisa di filter dan tidak, untuk dimasukkan dalam search engine. File robots.txt ini bisa juga digunakan sebagai cara menghindari duplicate content yang bisa saja ada dalam blog kamu, dalam hal ini duplicate title dan duplicate description seperti yang tercatat dalam Google Webmasters Tools.

Cobalah untuk mempelajari tentang robots.txt dalam tutorial ini, bagaimana file robots.txt ini digunakan untuk mengontrol search engine/web robots terhadap suatu situs.

Dalam tutorial robots.txt ini, saya menjelaskan pembuatan file robots.txt berdasarkan tool yang ada dalam Google Webmasters.

Berikut langkah-langkah cara membuat robots.txt menggunakan Google Webmasters Tools:

1. Signup/sign in Google Webmasters Tools. Masuk di akun Google Webmasters dengan username dan password akun Google kamu.

2. Masuk di situs yang mau dibuatkan file robots.txt. (Tentu saja situs kamu harus diverifikasi terlebih dahulu, baca di sini: cara verifikasi situs lewat Google Webmasters Tools)

3. Crawler access. Pada navigasi dashboard sebelah kiri masuk di Site configuration >> Crawler access (lihat gambar 1, klik gambar untuk memperbesar)


ini tampilan dhasboard lama

4. Tool robots.txt. Kamu akan melihat tool yang digunakan untuk mengetes robots.txt yang berisi 2 kotak form lengkap dengan tombol test untuk memeriksa robots.txt bikinan kamu. Saya tidak menggunakan tool generate robots.txt karena masih terbatas penggunaannya. (lihat gambar 2 dan 3)


Gambar 2. Form ini menunjukkan tempat dimana kamu harus mengisi protokol robots.txt


Gambar 3. Form ini menunjukkan tempat pengisian url file/direktori yang akan kamu test berdasarkan protokol robots.txt yang sudah kamu buat pada gambar 2.

5. User-agent: * artinya semua jenis robots yang diperintahkan menuruti protokol robots.txt, kamu bisa mengganti tan (*) dengan user agent yang lain. Contoh user-agent:

Code:
User-agent: ia_archiver
User-agent: Scooter
User-agent: ArchitextSpider
User-agent: fast
User-agent: Googlebot
User-agent: Googlebot-Images
User-agent: Mediapartners-Google
User-agent: Sidewinder
User-agent: Slurp
User-agent: Lycos_Spider_(T-Rex)
User-agent: Gulliver
User-agent: WebCrawler
6. Disallow: / dan Allow: / adalah protokol per-izinan apakah suatu file/direktori mau direstriksi atau tidak.

7. Cara pengisian form protokol robots.txt
Kamu cukup mengetikkan form protokol secara line by line. Berikut beberapa contoh kasus file atau direktori yang akan di isi dalam form protokol robots.txt:

A. Jika kamu tidak ingin semua user-agent/robots masuk ke dalam direktori blog kamu cukup mengisi form sbb:

Code:
User-agent: *
Disallow: /
B. Blok direktori dalam url.
Contoh: [You must be registered and logged in to see this link.]

Direktori “/search/” akan direstriksi, beserta direktori/file setelahnya.


Code:
User-agent: *
Disallow: /search/
C. Blok file dalam url.
Contoh: [You must be registered and logged in to see this link.]

File poster-artis.jpg akan kita direstriksi.

Code:
User-agent: *
Disallow: /foo/poster-artis.jpg
D. Blok kata dalam url.
Contoh [You must be registered and logged in to see this link.]

Kata “blog” dalam direktori “search” akan direstriksi.


User-agent: *
Disallow: /search/*blog

E. Blok semua url yang mengandung suatu spesial karakter.
Contoh [You must be registered and logged in to see this link.]

Setiap url yang mengandung spesial karakter (+) akan direstriksi

Code:
User-agent: *
Disallow: /search/*+
F. Blok semua url yang diakhiri suatu spesial karakter.
Contoh [You must be registered and logged in to see this link.]

Setiap url yang berakhiran spesial karakter (+) akan direstriksi.

Code:
User-agent: *
Disallow: /search/*+$
G. Blok setiap awal suatu kata.
Contoh [You must be registered and logged in to see this link.]

Setiap url yag ada kata “cara” dalam direktori “search” akan diblok.

Code:
User-agent: *
Disallow: /search/cara

H. Blok setiap file dengan suatu ekstension
Contoh [You must be registered and logged in to see this link.]

Setiap url dalam direktori “search” yang mengandung ekstension “.html” akan di blok.

Code:
User-agent: *
Disallow: /search/*.html$
I. Mengizinkan kata tertentu yang direstriksi
Contoh
[You must be registered and logged in to see this link.]
[You must be registered and logged in to see this link.]

Url dalam direktori “search” yang mengandung kata “blog” akan disallow tapi kata “blogs” tetap allow.

Code:
User-agent: *
Disallow: /search/*blog
Allow: /search/*blogs
J. Mengizinkan iklan Google Ads dalam web dapat dipantau oleh user-agent Google Ads.

Code:
User-Agent: MediaPartners-Google
Allow: /
K. Blok multiple url dan mengizinkan Google Ads user agent
Contoh
[You must be registered and logged in to see this link.]
[You must be registered and logged in to see this link.]
[You must be registered and logged in to see this link.]
[You must be registered and logged in to see this link.]

Setiap url dalam direktori “search” yang mengandung kata “blog”,”duit”,dan “web” akan disallow, tapi kata “weblog” akan allow, dan Google Ads tetap bisa dipantau oleh user agent Google Ads.

Code:
User-agent: *
Disallow: /search/*blog
Disallow: /search/*blog
Disallow: /search/*blog
Allow: /search/*weblog

User-Agent: MediaPartners-Google
Allow: /
8. Tombol test. setelah kamu mengisi form protokol robots.txt dan menentukan url yang akan di test, silahkan klik tombol test untuk menilai apakah url tersebut disallow atau tidak.

9. Jika sudah yakin dengan semua protokol robots.txt yang kamu buat, kamu bisa kopas di notepad dan disimpan dengan nama robots.txt (semua lowercase) bukan Robots.txt.

10. Masukkan file tersebut ke direktori utama domain kamu dan cek dengan melihat alamat url [You must be registered and logged in to see this link.]

Good luck kedip


Baca Juga :
- CARA HACK AKUN FACEBOOK TERUPDATE
- CARA CEPAT DI ADD BANYAK CEWEK FB DALAM WAKTU SINGKAT
- MAU PENGHASILAN 100 RIBU/JAM ?
- DI ADD RIBUAN TEMAN FB DALAM WAKTU SINGKAT


Kembali Ke Atas Go down
http://www.facebook.com/indrabastian.omjin
 

Membuat robots txt Berdasarakan Google webmaster tool

Topik sebelumnya Topik selanjutnya Kembali Ke Atas 

 Similar topics

-
» Hal-Hal yang dapat membuat kaum lelaki menangis
» [Tutorial] Cara membuat forum forumotion
» Cara membuat pendataan&list list barang menjadi seperti di sini?
» Lampu "Hemat energi"untuk semua motor By : Tech88
» (bagaimana) cara membuat peringatan di chatbox?
Halaman 1 dari 1

Permissions in this forum:Anda tidak dapat menjawab topik
Forum Berbagi Om Jin :: INTERNET :: WEB BLOG CHAT-