wiblogger

Apa itu duplikat konten ? Cara mengatasi duplikat konten di blogger

Bagi anda yang masih baru dalam blogging, anda mungkin sering kali membaca artikel yang menyinggung tentang duplikat konten, terlebih jika itu merupakan artikel yang membahas seputar teknik SEO.


Apa itu duplikat konten ?

Duplikat konten adalah keadaan dimana suatu situs memiliki dua atau lebih halaman yang sama atau sangat mirip.

Duplikat konten itu ketika terdapat postingan yang sama pada blog kita ya ?

Tepat !

Ketika postingan blog kita sama dengan postingan blog lain (copas artikel orang), apakah itu juga duplikat konten ?

Bukan !
Duplikat konten hanya sebatas pada blog yang sama. Untuk kasus copas artikel orang, ini disebut plagiat konten. Plagiat konten sendiri kasusnya jauh lebih "berat" dibandingkan duplikat konten. Ya, hal ini jelas karena plagiat konten adalah pelanggaran hak cipta. Mesin pencari google sangat-sangat care dengan ini. Blog yang terdeteksi sebagai plagiat konten akan dihapus dari mesin pencari (deindex).

Kalau duplikat konten gimana ?

Kita bahas diluar dialog.


Penyebab duplikat konten

Sebelum membahas tentang seberapa besar dampak duplikat konten terhadap SEO blog, akan kita bahas mengenai hal yang menyebabkan duplikat konten.

POIN:
Pada kasus normal, setiap blog umumnya akan memproduksi duplikat konten.

Ya, duplikat konten tergolong kasus yang wajar. Hal ini karena sistem dari blog itu sendiri yang umumnya akan menampilkan suatu konten pada beberapa halaman (URL) yang berbeda. Kita misalkan untuk blog dengan platform blogging blogger.com, ketika anda menerbitkan postingan, postingan ini akan ditampilkan pada beberapa halaman, yaitu halaman item (halaman postingan itu sendiri), label, arsip dan search. Sistem inilah yang menyebabkan terdeteksinya duplikat konten oleh mesin pencari, terlebih lagi jika anda menampilkan post secara penuh pada halaman index (homepage, label, search). Hal ini akan memproduksi banyak halaman yang memiliki konten serupa.


Dampak duplikat konten terhadap SEO blog

Mengenai dampak duplikat konten terhadap ranking blog di mesin pencari, pada kasus umum, mesin pencari akan memilih mana halaman yang lebih diprioritaskan dan hanya menampilkan satu dari halaman-halaman yang serupa pada hasil pencarian. Untuk kasus seperti ini, google tidak akan menjatuhkan penalty (hukuman) untuk blog yang bersangkutan. Namun, ada kasus dimana mesin pencari google menganggap bahkan duplikat konten yang terdeteksi merupakan hasil dari tindakan manipulasi yang bertujuan menjaring trafik dengan banyak keyword dan konten yang tidak relevan. Untuk kasus seperti ini, google mungkin akan menghapus index blog yang bersangkutan (deindex). Informasi google tentang duplikat konten bisa anda baca di: https://support.google.com/webmasters/answer/66359?hl=id.


Mengatasi / mencegah duplikat konten

Meskipun belum tentu duplikat konten akan berdampak pada ranking blog di mesin pencari, melakukan tindakan pencegahan merupakah salah satu praktek SEO yang umumnya diterapkan oleh para webmaster. Dengan mencegah dan meminimalisir produksi duplikat konten, mesin pencari setidaknya tidak perlu serangkaian proses untuk menentukan prioritas konten.

Berikut adalah beberapa halaman yang dapat menyebabkan duplikat konten, halaman-halaman ini (umumnya) memang tidak perlu diindex oleh mesin pencari.

Halaman Format URL
Label www.example.com/search/label/nama%20label
Search by query www.example.com/search?q=guery
Search by published www.example.com/search?update-max=date
Arsip
www.example.com/tahun/bulan
www.example.com/tahun_bulan_archive.html

Info: Beberapa waktu yang lalu, konfigurasi robots.txt untuk mencegah duplikat konten juga memblock index untuk halaman mobile. Untuk update algoritma google saat ini, konfigurasi yang memblock halaman mobile sudah tidak relevan. Hal ini karena google telah mulai menerapkan Mobile-first index. Jadi, jangan block index untuk halaman mobile.


Langkah 1: Setting robots.txt
  1. Login ke dashboard blog dan menuju menu Setelan > Preferensi penelusuran. Pada bagian Perayapan dan pengindeksan, klik edit pada robots.txt.
  2. Masukkan konfigurasi robots.txt berikut pada textarea dan simpan perubahan.

    User-agent: Mediapartners-google
    Disallow :

    User-agent : Googlebot
    Disallow : /search/
    Disallow : /search?q=
    Disallow : /search?update-max=

    Sitemap : https://www.example.com/atom.xml

    Petunjuk: Ganti URL pada sitemap sesuai dengan domain blog anda.

    Konfigurasi robots.txt diatas akan memblock index mesin pencari untuk semua halaman bertipe search (by label, by query dan by published). Pada konfigurasi robots.txt diatas, intruksi untuk memblok index halaman arsip belum disertakan. Untuk memblok index halaman arsip, akan jauh lebih efektif jika dilakukan melalui meta robots.


Langkah 2: Tambahkan meta robots pada tema blog
  1. Login ke dashboard blog dan menuju menu Tema > Klik Edit HTML
  2. Pada antarmuka HTML editor yang terbuka, cari kode </head>
  3. Tambahkan meta robots berikut tepat sebelum kode </head>

    Meta robots
    <b:if cond='data:view.isSearch or data:view.isArchive'>
    <meta content='noindex, follow' name='robots'/>
    </b:if>

Info: Semua tema yang berasal dari wiblogger.com telah menyertakan tag robots untuk mencegah duplikat konten. Jadi, jika anda menggunakan tema yang berasal dari wiblogger.com, langkah 2 ini tidak perlu anda lakukan. Untuk pengguna tema yang berasal dari pengembang lainnya, ada kemungkinan tag robots ini juga telah disertakan. Oleh karena itu, sebelum melakukan langkah ini, disarankan untuk menghubungi pengembang tema yang anda gunakan.


Format (sintak) penulisan Robots.txt Blog / Website

Format (sintak) penulisan Robots.txt Blog / Website

Materi pendukung:

Pengertian beberapa istilah
Crawler Adalah Mesin / software / program penjelajah web yang digunakan oleh pihak tertentu untuk keperluan tertentu. Dalam konteks ini, crawler yang dimaksud lebih ditujukan pada crawler mesin pencari, yaitu program yang dibuat untuk mengindex konten web (Halaman, file atau aset lainnya). Istilah lain dari crawler yang juga sering digunakan adalah Spider dan Bot.
User Agent Adalah Identitas / nama / token untuk menyebutkan satu atau sekelompok crawlers. Satu user agent dapat mewakili satu atau lebih crawlers.
Index (me-ngindex) Proses atau keadaan dimana konten web diambil oleh mesin pencari dan diletakkan dalam database mereka. Konten yang telah diindex oleh mesin pencari dapat ditemukan pada hasil penelusuran mesin pencari yang besangkutan.


Contoh konfigurasi robots.txt

User-agent : *
Disallow : /search
Allow : /search/label/

User-agent : Mediapartners-google
Disallow :

Sitemap : http://www.wiblogger.com/atom.xml


Bagian-bagian konfigurasi robots.txt:

Diatas adalah contoh konfigurasi robots.txt. Adapun beberapa bagian konfigurasi robots.txt diatas dapat dilihat pada gambar berikut:

konfigurasi robots.txt blog


Format (sintak)

Format penulisan konfigurasi pada robots.txt adalah sebagai berikut:

User-agent : Nama user agent 1
Intruksi : Path URL
Intruksi : Path URL

User-agent : Nama user agent 2
Intruksi : Path URL
Intruksi : Path URL

User-agent : Nama user agent n
Intruksi : Path URL
Intruksi : Path URL

Sitemap : URL sitemap xml

Informasi tentang bagaimana cara mendefinisikan user agent, intruksi serta aturan-aturan didalamnya akan dijelaskan pada poin-poin selanjutnya.


Grup Intruksi

Grup Intruksi (selanjutnya disebut grup) adalah bagian utama dari konfigurasi robots.txt. Grup merupakan kumpulan intruksi yang akan diterapkan untuk satu atau sekelompok crawlers. Sebuah grup selalu dimulai dengan mendefinisikan target user agent yang akan terpengaruh oleh intruksi-intruksi yang didefinisikan setelahnya (didalamnya). Dengan kata lain, semua intruksi yang didefinisikan dalam grup tertentu hanya akan berlaku untuk target user agent yang didefinisikan pada grup yang bersangkutan. Kita misalkan format konfigurasi robots.txt adalah sebagai berikut:

User-agent : Nama target user agent grup 1
Intruksi-intruksi grup 1..................

User-agent : Nama target user agent grup 2
Intruksi-intruksi grup 2..................

Pada konfigurasi robots.txt diatas, intruksi-intruksi grup 1 hanya akan digunakan oleh user agent grup 1. Begitupula dengan intruksi-intruksi grup 2, ini hanya akan digunakan oleh user agent grup 2.

PENTING:
Setiap crawler (user agent) hanya akan menjalankan 1 (satu) grup intruksi.


Intruksi (directives)

Setiap intruksi didefinisikan setelah target user agent (pembuka grup) didefinisikan. Setiap grup setidaknya memiliki satu intruksi. Terdapat 2 intruksi yang umumnya digunakan, yaitu: Disallow dan Allow.

User-agent : Nama target user agent grup
Disallow : Path URL
Allow : Path URL

Keterangan:
  • Disallow : Path URL
    Tidak mengizinkan target user agent grup yang bersangkutan untuk dapat mengindex konten dengan path URL yang bersangkutan.
  • Allow : Path URL
    Mengizinkan target user agent grup yang bersangkutan untuk dapat mengindex konten dengan path URL yang bersangkutan.

POIN
Intruksi default robots.txt adalah Allow. Ketika tidak terdapat intruksi Disallow untuk URL yang bersangkutan, konten dengan url tersebut akan diindex. Dengan kata lain, intruksi Allow digunakan sebagai pengecualian untuk intruksi Disallow.

Untuk mendapatkan pemahaman yang lebih baik, sedikit akan kita tinjau mengenai contoh konfigurasi yang telah anda jumpai diawal.

User-agent : *
Disallow : /search
Allow : /search/label/

User-agent : Mediapartners-google
Disallow :

Sitemap : http://www.wiblogger.com/atom.xml

Keterangan:
  • User-agent : * Mulai grup 1. Nama user agent diisi dengan simbol *. Hal ini berarti pengaturan yang terdapat pada grup 1 diperuntukkan untuk semua crawlers. Lebih jauh tentang simbol * akan kita bahas nanti.
  • Disallow : /search Intruksi yang diterapkan untuk grup 1. Tidak mengizinkan target crawlers grup 1 untuk dapat mengindex konten dengan path URL yang dimulai dengan query /search
  • Allow : /search/label/ Intruksi lainnya yang juga diterapkan untuk grup 1. Mengizinkan target crawlers grup 1 untuk dapat mengindex konten dengan path URL yang dimulai dengan query /search/label/
  • User-agent: Mediapartners-google Mulai grup 2. Nama user agent ditentukan secara spesifik (Mediapartners-google). Hal ini berarti intruksi yang terdapat pada grup 2 hanya diperuntukkan untuk crawler dengan nama Mediapartners-google. Dalam hal ini, Mediapartners-google adalah nama user agent untuk crawler Google adsense.
  • Disallow: Intruksi yang diterapkan untuk grup 2. Pada intruksi ini, Path URL tidak didefinisikan. Fungsi dari pengaturan ini adalah mengizinkan crawler yang disebutkan pada grup 2 untuk dapat mengindex semua konten web.
  • Sitemap : http://www.wiblogger.com/atom.xml Menginformasikan URL sitemap xml kepada semua crawlers. Ini bertujuan untuk mempermudah crawler dalam mengindex setiap konten yang dikehendaki (untuk diindex).



Sampai pada paragraf ini, anda telah memiliki pemahaman dasar terkait format penulisan serta bagian-bagian yang terdapat didalam konfigurasi robots.txt. Sekarang, akan kita bahas mengenai setiap bagian ini secara lebih dalam.


Mendefinisikan Target User Agent (Pembuka grup)

Setiap crawler mesin pencari memiliki user agent yang berbeda. Pada konfigurasi robots.txt, pendefinisian user agent dilakukan dengan 2 cara, yaitu:

  1. Mengisi target user agent dengan * (simbol bintang).
  2. Menyebutkan target user agent secara spesifik


1. Mengisi target user agent dengan simbol bintang
User-agent : *
Intruksi-intruksi grup...........

Ini adalah cara untuk menyebutkan semua user agent. Dengan kata lain, semua intruksi yang terdapat pada grup bersangkutan diperuntukkan untuk semua crawlers.

2. Menyebutkan target user agent secara spesifik
User-agent : Googlebot
Intruksi-intruksi grup...........

Intruksi yang terdapat pada grup yang bersangkutan hanya diperuntukkan untuk user agent Googlebot. Googlebot sendiri merupakan user agent untuk crawler google yang bertugas mengindex konten web. Informasi mengenai user agent google dan daftar user agent untuk pihak lainnya akan anda jumpai nanti.


Prioritas Grup

Seperti yang telah disampaikan sebelumnya, setiap crawler (user agent) hanya akan menjalankan (mengeksekusi) 1 grup saja. Pada konfigurasi robots.txt, terdapat kasus dimana suatu crawler memiliki kecocokan terhadap beberapa grup (lebih dari satu grup). Dalam kasus ini, crawler akan memilih 1 grup yang akan dijalankan.

POIN:
Grup dengan target user agent yang didefinisikan secara spesifik memiliki prioritas lebih tinggi dibandingkan dengan grup dengan target user agent yang didefinisikan menggunakan simbol bintang

Untuk lebih mudahnya, kita ambil contoh penulisan konfigurasi robots.txt dilakukan seperti berikut:

User-agent : *
Intruksi-intruksi grup 1...........

User-agent : Googlebot
Intruksi-intruksi grup 2...........

Pada konfigurasi diatas, terdapat grup yang menyebutkan semua crawlers (grup 1). Selain itu, terdapat juga grup yang menyebutkan crawler dengan user agent Googlebot (grup 2). Pada kasus ini, crawler dengan user agent Googlebot juga memiliki kecocokan terhadap grup 1. Hal ini karena grup 1 diperuntukkan untuk semua crawler.

Berdasarkan prioritas grup, pada konfigurasi diatas, semua crawlers selain Googlebot akan mengeksekusi grup 1. Untuk crawler Googlebot, grup yang akan dieksekusi adalah grup 2.


POIN:
Urutan grup akan diabaikan. Dengan kata lain, prioritas grup tidak dipengaruhi oleh urutan grup.

Konfigurasi dibawah ini memiliki peranan yang sama dengan konfigurasi sebelumnya.

User-agent : Googlebot
Intruksi-intruksi grup 1...........

User-agent : *
Intruksi-intruksi grup 2...........

Semua crawlers selain Googlebot akan mengeksekusi grup 2. Untuk crawler Googlebot, grup yang akan dieksekusi adalah grup 1.


Mendefinisikan Path URL pada intruksi

Path URL merupakan lokasi file di dalam sebuah situs relative terhadap domain utama (hostname). Lebih jauh tentang Path URL telah dijelaskan pada post: Pengertian dan bagian-bagian URL. Pada konfigurasi robtos.txt, penulisan path url tidak harus dilakukan secara lengkap. Perhatikan contoh penulisan path url berikut:

User-agent : *
Disallow : /search

Keterangan Tidak mengizinkan semua crawlers untuk mengindex halaman dengan path URL yang dimulai dengan /search. Beberapa contoh halaman berikut tidak akan diindex (Semua path URL dimulai dengan /search).

http://www.wiblogger.com/search
http://www.wiblogger.com/search/label/SEO
http://www.wiblogger.com/search?q=Belajar+blogger
http://www.wiblogger.com/searchwhateverhere



User-agent : *
Disallow : /p/

Keterangan Tidak mengizinkan semua crawlers untuk mengindex halaman dengan path URL yang dimulai dengan /p/. Beberapa contoh halaman berikut tidak akan diindex.

http://www.wiblogger.com/p/tentang-kami.html
http://www.wiblogger.com/p/sanggahan.html
http://www.wiblogger.com/p/apapun-disini-ya-boleh


POIN:
Penulisan path url yang dilakukan secara standar (tanpa menggunakan simbol spesial) berarti berlaku untuk semua url yang memiliki kecocokan di awal (path url).


Prioritas Intruksi

Seperti halnya prioritas grup, Intruksi dengan path yang didefinisikan lebih spesifik memilik prioritas yang lebih tinggi.

User-agent : *
Disallow : /p/
Allow : /p/tentang-kami.html

Keterangan: Tidak menginzinkan semua crawlers untuk mengindex halaman statis blog kecuali untuk halaman tentang kami.

URL Izin pengindeksan
http://www.wiblogger.com/p/hubungi-kami.html Tidak diizinkan
http://www.wiblogger.com/p/sanggahan.html Tidak diizinkan
http://www.wiblogger.com/p/kebijakan-privasi.html Tidak diizinkan
http://www.wiblogger.com/p/tentang-kami.html Diizinkan


Penggunaan simbol * (bintang) dan $ (dollar) pada Path URL

Pada konfigurasi robots.txt, terdapat 2 simbol spesial yang bisa digunakan, yaitu simbol * dan simbol $.

Simbol * Menerima karakter apapun yang terletak pada posisi yang bersangkutan.

Simbol $ Menentukan akhiran URL.


Penggunaan simbol *

Penggunaan simbol * pada Path URL umumnya dikombinasikan dengan karakter sebelum atau setelahnya. Perhatikan beberapa contoh penggunaan simbol * pada Path URL berikut:

Contoh penulisan Keterangan
/abc* Berlaku untuk:
http://www.wiblogger.com/abc
http://www.wiblogger.com/abcdef
http://www.wiblogger.com/abc/def
http://www.wiblogger.com/abcapapun-disini-ya-boleh

Tidak berlaku untuk:
http://www.wiblogger.com/
http://www.wiblogger.com/def/abc
http://www.wiblogger.com/defabc
http://www.wiblogger.com/ghi-abc
/abc*ghi Berlaku untuk:
http://www.wiblogger.com/abcdefghi
http://www.wiblogger.com/abc-def-ghi
http://www.wiblogger.com/abc/def/ghi
http://www.wiblogger.com/abc/def/ghi/hij

Tidak berlaku untuk:
http://www.wiblogger.com/defabc
http://www.wiblogger.com/ghi-abc


PENTING:
Penggunaan simbol * seperti diatas hanya berlaku untuk Path URL, untuk penggunaan pada nama user agent (untuk menyebutkan semua crawler), penulisan dilakukan tanpa karakter lainnya.


Penggunaan simbol $

Simbol $ digunakan untuk menentukan akhiran URL. Karena fungsinya ini, simbol $ selalu diletakkan diakhir path url. Untuk lebih mudahnya, perhatikan beberapa contoh penggunaan simbol $ berikut:

Contoh penulisan Keterangan
abc$ Berlaku untuk:
http://www.wiblogger.com/abc
http://www.wiblogger.com/search/abc
http://www.wiblogger.com/whatever/abc
http://www.wiblogger.com/whatever-abc

Tidak berlaku untuk:
http://www.wiblogger.com/
http://www.wiblogger.com/abc.html
http://www.wiblogger.com/whatever-abc.html
/abc$ Berlaku untuk:
http://www.wiblogger.com/abc
http://www.wiblogger.com/search/abc
http://www.wiblogger.com/whatever/abc

Tidak berlaku untuk:
http://www.wiblogger.com/
http://www.wiblogger.com/whateverabc
http://www.wiblogger.com/whatever-abc
http://www.wiblogger.com/whatever-abc.html

POIN:
Simbol $ umumnya digunakan untuk mengatur perizinan akses untuk konten berupa file. Sebut saja misalnya file gambar, pdf, dan lain sebagainya.



Mengenai URL Sitemap

Seperti yang telah anda jumpai diawal, sebuah file robots.txt dapat menyertakan URL sitemap. Sitemap pada robots.txt bersifat global. Dengan kata lain, URL sitemap tersedia untuk semua crawlers. Ini akan memudahkan crawler menjelajahi setiap konten yang dikehendaki (untuk diindex).

User-agent : Nama user agent
Intruksi : Patch URL .........
Sitemap : Absolute URL


Tidak seperti pada intruksi yang menuliskan URL hanya berupa Path, pada sitemap, URL harus didefinisikan secara lengkap (Absolute URL).

User-agent : *
Disallow : /search/
Sitemap : http://www.wiblogger.com/atom.xml



Mengenai User Agent Crawlers Google

Berbagai contoh yang akan anda jumpai selanjutnya akan menggunakan crawler milik google sebagai target user agent. Perlu diketahui bahwa user agent Googlebot yang telah anda jumpai pada contoh-contoh sebelumnya adalah user agent untuk menyebutkan semua crawler google yang bertugas mengindex konten (semua jenis konten).

Berdasarkan halaman daftar user agent google, hingga saat ini, terdapat beberapa crawler yang bertugas mengindex konten. Diantaranya adalah:

User agent Kebutuhan
Googlebot Mengindex konten web (Crawler utama)
Googlebot
Googlebot-Image
Mengindex konten berupa gambar (images.google.com)
Googlebot
Googlebot-News
Mengindex konten untuk google news (news.google.com)
Googlebot
Googlebot-Video
Mengindex konten berupa video

Ketika kita mendefinisikan user agent dengan Googlebot, hal ini berarti grup tersebut berlaku untuk semua crawler yang disebutkan pada tabel diatas. Jika anda menginginkan konfigurasi grup yang hanya diperuntukkan untuk user agent google tertentu saja. Hal ini bisa dilakukan dengan menuliskan nama user agent dengan lebih spesifik. Perhatikan beberapa contoh konfigurasi berikut:

Konfigurasi:
User-agent : *
Intruksi-intruksi grup 1...........

User-agent : Googlebot-Image
Intruksi-intruksi grup 2...........

Keterangan:
User agent Grup yang dijalankan
Bingbot (crawler mesin pencari Bing.com) Grup 1
Googlebot Grup 1
Googlebot-Video Grup 1
Googlebot-Image Grup 2


Konfigurasi:
User-agent : *
Intruksi-intruksi grup 1...........

User-agent : Googlebot
Intruksi-intruksi grup 2...........

User-agent : Googlebot-Image
Intruksi-intruksi grup 3...........

Keterangan:
User agent Grup yang dijalankan
Bingbot Grup 1
Googlebot Grup 2
Googlebot-Video Grup 2
Googlebot-Image Grup 3


Informasi user agent untuk berbagai crawler

Diatas merupakan daftar sebagian crawler miliki google. Ada beberapa lagi lainnya dengan fungsi yang berbeda-beda, secara lengkap daftar crawler ini bisa anda lihat di: https://support.google.com/webmasters/answer/1061943?hl=en.

Untuk crawlers dari pihak lainnya, informasi user agent ini bisa anda dapatkan di: http://www.robotstxt.org/db.html.


Contoh-contoh

Berikut adalah beberapa contoh konfigurasi robots.txt beserta fungsinya. Semua contoh ini menggunakan format URL blogger.com.

Contoh 1:
User-agent : *
Disallow : /search/

Keterangan: Tidak mengizinkan semua crawlers untuk mengindex konten yang terdapat pada halaman bertipe search.


Contoh 2:
User-agent : *
Disallow : /search/

User-agent : Mediaparners-google
Disallow :

Keterangan: Berfungsi seperti halnya pada contoh 1 sebelumnya, namun, terdapat pengecualian yang didefinisikan melalui grup 2 yaitu tetap menginzinkan crawler google adsense untuk dapat mengindex semua konten.


Contoh 3:
User-agent : *
Disallow : *noindex

Keterangan: Tidak mengizinkan semua crawlers untuk mengindex konten dengan URL yang terdapat query noindex.

URL Izin pengindeksan
http://www.wiblogger.com/p/noindex.html Tidak diizinkan
http://www.wiblogger.com/2018/06/noindex-post.html Tidak diizinkan
http://www.wiblogger.com/search/label/noindex Tidak diizinkan
http://www.wiblogger.com/search?q=noindex Tidak diizinkan


Contoh 4:
User-agent : *
Disallow : .jpeg$
Disallow : .png$

Keterangan: Tidak menginzinkan semua crawlers untuk mengindex file gambar dengan format .jpeg dan .png

Apa itu Robots.txt ? Fungsi Robots.txt pada Website dan Blog

Apa itu Robots.txt ? Fungsi Robots.txt pada Website dan Blog

pengertian, fungsi, peranan robots.txt

Daftar isi:
  1. Apa itu robots.txt ?
  2. Fungsi robots.txt
  3. Cara kerja robots.txt
  4. Beberapa informasi lainnya terkait robots.txt
  5. Kapan webmaster membutuhkan robots.txt ?
  6. Apakah setiap website harus memiliki robots.txt ?


Apa itu robots.txt ?

Robots.txt adalah sebuah file text yang dibuat untuk mengatur bagaimana cara web crawlers dalam menjelajahi halaman website / blog. Ini merupakan robots exclusion protocol (REP), yaitu bagian dari standar web yang mengatur bagaimana web crawlers seharusnya bekerja. Adapun web crawlers yang dimaksud disini umumnya lebih ditujukan untuk crawlers mesin pencari.

Fungsi robots.txt

Melalui robots.txt, webmaster (pemiliki situs) dapat membatasi akses crawler mesin pencari. Ya, pada kasus tertentu, webmaster mungkin menginginkan untuk tidak mengizinkan crawler mesin pencari untuk dapat mengindek halaman / file tertentu. Hal ini dapat dilakukan melalui konfigurasi robots.txt.

Cara kerja robots.txt

Seperti yang telah diuraikan pada halaman Belajar SEO blog, cara mesin pencari menemukan halaman-halaman baru adalah dengan mengikuti link yang terdapat pada suatu halaman dan membawa mereka pada halaman lainnya. Berhubungan dengan ini, terdapat 2 prosedur utama yang dilakukan oleh crawler mesin pencari.

  1. Menjelajahi konten halaman
  2. Mengindek halaman (meletakkan halaman pada database mereka) untuk akhirnya akan ditampilkan pada hasil penelusuran.

Masih mengenai prosedur diatas, ketika crawler mesin pencari tiba di sebuah halaman, tahap awal yang mereka lakukan adalah menemukan file robots.txt. Crawler akan membaca konfigurasi robots.txt ini sebelum melanjutkan untuk menjelajahi halaman. Jika ditemukan konfigurasi khusus, crawler akan patuh pada konfigurasi ini.


Beberapa informasi lainnya terkait robots.txt

  • Untuk dapat ditemukan oleh web crawler, file robots.txt harus berada pada direktori akar website. File robots.txt adalah file publik. Dengan kata lain, semua orang dapat melihat file robots.txt ini dengan mengetikkan "robots.txt" setelah domain utama (misal http://www.wiblogger.com/robots.txt).
  • Penamaan file robots.txt bersifat case sensitive, nama file harus berupa "robots.txt" (huruf kecil semua).
  • Setiap subdomain memiliki file robots.txt yang berbeda dari domain utama. Dengan kata lain, crawler tidak menggunakan file robots.txt yang terdapat pada domain example.com untuk subdomain blog.example.com.
  • Semua mesin pencari pupoler akan patuh pada konfigurasi robots.txt. Namun, perlu anda ketahui bahwa tidak semua crawlers akan mengikuti intruksi yang terdapat dalam file robots.txt. Ada banyak pihak yang menjalankan crawler untuk tujuan tertentu di internet, sebut saja misalnya program email scrapers. Crawlers jenis ini tentu akan mengabaikan robots.txt. Jadi, penerapan robots.txt ini tidak menjamin halaman / data anda tertutup untuk semua pihak.


Kapan webmaster membutuhkan robots.txt ?

Berikut adalah beberapa kasus umum yang menjadi alasan pemilik situs untuk menggunakan robots.txt.

  • Mencegah duplikat konten pada mesin pencari
  • Mencegah mesin pencari untuk mengindek file tertentu pada website (Misal: file gambar, PDF atau lainnya)
  • Memberikan informasi lokasi sitemap


Apakah setiap website harus memiliki (mengaktifkan) robots.txt ?

File robots.txt digunakan untuk mengontrol akses crawler mesin pencari. Dalam hal ini, jika anda tidak memiliki konfigurasi khusus yang diinginkan, anda tidak harus mengaktifkan robots.txt.


Selanjutnya:
Cara membuat halaman sitemap (daftar isi) blog otomatis

Cara membuat halaman sitemap (daftar isi) blog otomatis

Apa sih fungsi Halaman Sitemap ? Apakah halaman sitemap memang merupakan halaman (anggaplah) wajib untuk sebuah situs / blog ? Sebelum membahas tentang bagaimana cara membuat sitemap blog secara otomatis, sedikit akan kita tinjau mengenai apa itu Sitemap blog.

Dalam blogging, kata sitemap digunakan untuk mewakili 2 jenis konten. Pertama, Sitemap XML, yaitu sebuah file XML yang berisi URL-URL postingan blog. Lebih jauh tentang Sitemap XML telah dibahas pada modul SEO: Cara submit sitemap blog di google search console.

Selain untuk Sitemap XML, kata ini juga sering kali digunakan untuk mewakili Halaman daftar isi blog. Dengan kata lain, kata sitemap juga bisa mengarah pada halaman html yang berisi link menuju ke semua postingan blog. Halaman daftar isi blog ini bisa kita sebut sebagai Halaman Sitemap.

Antara Sitemap XML dan Halaman Sitemap jelas berbeda. Sementara Sitemap XML merupakan sebuah file XML, Halaman Sitemap tidak ubahnya seperti halaman web pada umumnya.

Dilihat dari fungsinya, sitemap xml dan halaman sitemap memiliki fungsi yang sama yaitu untuk memudahkan crawler mesin pencari dalam menjelajahi / mengindeks halaman blog.

Jika saya sudah melakukan submit sitemap xml di google search console, apakah saya juga perlu membuat halaman sitemap ?

Seperti yang telah disampaikan pada postingan cara submit sitemap di google search console, proses penambahan sitemap XML tidak akan banyak membantu untuk keperluan indeks halaman yang akan diterbitkan selanjutnya. Dengan kata lain, crawler google tidak melakukan scan ulang terhadap file sitemap XML yang ditambahkan secara berkala.

Untuk lebih jelasnya, saya misalkan blog anda memiliki 20 postingan yang belum terindeks oleh google. Ketika anda menambahkan URL sitemap XML di google search console, crawler google hanya akan membaca file sitemap ini satu kali. Postingan yang akan anda terbitkan selanjutnya tidak akan secara otomatis ditambahkan pada daftar konten yang tersubmit.


Fungsi Halaman Sitemap

Untuk keluar dari keterbatasan diatas, pembuatan halaman sitemap menjadi langkah yang sangat tepat. Sedikit mengulang apa yang telah disampaikan pada halaman utama belajar SEO, cara crawler mesin pencari dalam menemukan halaman-halaman baru adalah dengan mengikuti link-link pada suatu halaman yang akan membawa mereka pada halaman lainnya. Disinilah kekuatan Halaman sitemap bekerja. Dengan membuat halaman sitemap, kita “memberikan jalan” kepada crawler mesin pencari untuk dapat meng-crawl semua postingan / konten blog dengan lebih mudah.


Cara membuat halaman sitemap

  • Pertama, buat halaman statis baru.

    Cara membuat halaman blog
  • Beri judul "Daftar isi" atau "Sitemap" (atau apapun yang anda kehendaki). Copy dan paste semua kode dibawah ini kedalam Editor Laman dengan mode HTML.

    Kode (CSS & Javascript)
    <!-- Sitemap by wiBlogger.com -->
    <style>
    #w-sitemap-wrapper {font-size:13px}
    #w-sitemap-wrapper li {position:relative;padding:.385em 0 .385em 6.923em;border-top:none;border-bottom:1px solid #f6f6f6}
    #w-sitemap-wrapper span {position:absolute;left:0;color:#bd8b56}
    #w-sitemap-wrapper a {font-weight:bold}
    #w-sitemap-loading-msg {height:100px;line-height:100px;text-align:center;font-weight:bold;letter-spacing:1px;font-size:18px;color:#bbbbbb}
    </style>

    <script>
    (function(c,m){var h=window;var l=document;var e="w-sitemap-wrapper";var g="w-sitemap-loading-msg";var b=h.location;var n=b.protocol;var f=b.hostname;var k=0;l.write("<div id='"+e+"'><ol></ol><div id='"+g+"'>"+m+"</div></div>");var a=l.getElementById(e);var d=l.getElementById(g);var j=l.getElementById(e).getElementsByTagName("ol")[0];function i(o){var p=l.createElement("script");p.src=n+"//"+f+"/feeds/posts/summary?alt=json-in-script&callback=wijs_get_sitemap&start-index="+o+"&max-results=150";a.appendChild(p)}h.wijs_get_sitemap=function(E){var A=E.feed.entry;var u=parseInt(E.feed.openSearch$totalResults.$t);var x=A.length;var w="";for(var s=0;s<x;s++){var o=A[s];var C=o.title.$t;var p;var D=o.link;var y=D.length;for(var r=0;r<y;r++){if(D[r].rel==="alternate"){p=D[r].href;break}}var z=o.published.$t;var q=z.substring(0,4);var t=z.substring(5,7);var v=z.substring(8,10);var B=c.replace("dd",v).replace("mm",t).replace("yyyy",q);w+="<li><span>"+B+"</span><a href='"+p+"'>"+C+"</a></li>"}j.innerHTML+=w;k+=x;if(k<u){i(k+1)}else{d.parentNode.removeChild(d)}};i(1)})("dd/mm/yyyy","Loading......");
    </script>
  • Publikasikan laman.

    cara membuat halaman daftar isi secara otomatis


Hasil

Hasil pembuatan sitemap dengan kode diatas kurang lebih seperti gambar dibawah (Warna link akan mengikuti style / CSS blog). Anda juga bisa menambahkan paragraf awal atau akhir pada konten sitemap seperti yang diterapkan pada halaman daftar isi wiBlogger.com.

membuat halaman sitemap simpel


Info:
Pada script diatas, label setiap postingan sengaja tidak saya sertakan. Hal ini untuk menghindari resiko terdeteksi spam oleh crawler mesin pencari (terlalu banyak duplikat link).


Tambahan

Pada kode diatas, beberapa bagian yang ditandai dengan warna merah bisa anda sesuaikan.

  • 13px
    Ukuran font
  • 18px
    Ukuran font text loading
  • #f6f6f6
    Kode warna HTML untuk border
  • #bd8b56
    Kode warna HTML untuk waktu publikasi
  • #bbbbbb
    Kode warna HTML untuk text loading
  • Loading......
    text yang ditampilkan pada proses loading
  • dd/mm/yyyy
    Format waktu publikasi. dd adalah tanggal, mm adalah bulan, yyyy adalah tahun. Misal, jika format ini anda ganti menjadi dd-mm-yyyy, hasil akan berupa 28-01-2018. Selain pembatas, anda juga bisa menyesuaikan urutan data.


Menambahkan sitemap pada menu navigasi blog

Agar halaman sitemap ini dapat dengan mudah ditemukan oleh crawler mesin pencari, langkah selanjutnya yang sangat penting adalah menambahkan link halaman yang telah dibuat ke navigasi blog. Sebagai contoh, link sitemap blog wiBlogger.com ini saya letakkan pada navigasi halaman dibagian bawah blog (footer).

menambahkan link sitemap ke navigasi blog

Setiap tema (template) memiliki struktur dan dukungan widget yang berbeda, ikuti panduan tema yang anda gunakan untuk menambahkan link sitemap ke navigasi blog.


Tips:
  • Untuk mempercepat proses indeks postingan, selalu luangkan waktu untuk melakukan fetch as google setiap kali anda menerbitkan postingan baru.
  • Terkait fitur Fetch as google di google search console, anda bisa melakukan fetch halaman sitemap ini dengan memilih opsi mode pengindeksan "Rayapi URL ini dan link langsungnya".

    Cara mengindeks postingan blog sekaligus

    Direkomendasikan untuk melakukan hal ini setidaknya satu bulan sekali untuk menjaga agar setiap postingan anda tetap terindek oleh google.


Rekomendasi postingan:
Apa itu Blogwalking ? Manfaat dan Fakta Tentang Blogwaking

Apa itu Blogwalking ? Manfaat dan Fakta Tentang Blogwaking

Bagi anda yang baru mulai kegiatan blogging, anda mungkin sering mendengar istilah blogwalking. Istilah ini akan sering anda jumpai pada artikel tips blogging yang banyak tersedia diluar sana. Terlebih lagi jika anda bergabung di grup facebook misalnya, kebanyakan blogger baru sangat antusias dengan kegiatan yang satu ini.

Apa itu blogwalking dalam artian yang sebenarnya ?

Dalam artian yang sebenarnya, blogwalking adalah kegiatan mengunjungi blog / situs orang lain untuk tujuan tertentu. Sebut saja misalnya untuk mencari bahan referensi topik postingan blog yang anda kelolah. Dengan melakukan blogwalking, anda akan mendapatkan referensi topik postingan dengan milihat-lihat konten yang terdapat pada blog lain. Terlebih lagi jika blog yang anda kunjungi memiliki kesamaan topik dengan blog anda. Ini akan sangat membantu.

Dalam artian yang sebenarnya, blogwalking tidak ubahnya dengan kegiatan pencarian referensi postingan yang dapat anda jumpai pada post: Cara membuat postingan yang SEO Friendly


Fakta dilapangan tentang blogwalking

Seperti yang telah diuraikan diatas, blogwalking merupakan bentuk kegiatan yang sangat bermanfaat. Namun, fakta dilapangan tidak mutlak seperti itu. Blogwalking sering kali dijadikan sebagai kegiatan saling kunjung mengunjungi blog yang dilakukan oleh blogger satu dengan blogger lainnya. Dalam kasus ini, antara blogger satu dengan blogger lainnya memiliki kesepakatan untuk saling mengunjungi blog masing-masing.

apa itu blogwalking blogger

Berdasarkan fakta diatas, jenis blogwalking ini dapat dikelompokkan menjadi 2 tipe. Yaitu blogwalking sehat dan blogwalking yang tidak sehat.


Blogwalking sehat

Ini adalah kelompok blogger yang menjalankan blogwalking dalam artian yang sebenarnya. Mereka mencari referensi konten postingan melalui kegiatan blogwalking.

Tidak hanya untuk kepentingan pencarian referensi, blogwalking sehat ini juga sering kali dilakukan oleh blogger untuk mencari backlink dengan cara berkomentar pada blog lain yang memiliki topik serupa. Jelas, blogwalking tipe ini sangat memberikan manfaat. Selain itu, tipe blogwalking ini dilakukan dengan tanpa melalui kesepakatan antara blogger satu dengan blogger lainnya. Blogwalking tipe ini biasanya dilakukan dengan mencari blog-blog dengan topik tertentu melalui mesin pencari.


Blogwalking tidak sehat

Blogwalking tipe ini umumnya dilakukan dengan adanya kesepakatan antara blogger satu dengan blogger lainnya. Blogwalking jenis ini memiliki banyak sekali tujuan, sebagian besar tujuan blogwalking tipe ini umumnya kurang bermanfaat atau bahkan menjerumus ke arah yang tidak sehat. Apa saja tujuannya ?


Meningkatkan trafik / pengunjung

Untuk faktor ini, benar memang pengunjung blog akan meningkat, ini jelas karena mereka memiliki kesepakatan untuk saling mengunjungi blog masing-masing. Namun, berbicara tentang manfaat yang diberikan, peningkatan pengunjung yang bersumber dari kegiatan ini hampir tidak memberikan manfaat sama sekali. Pada kebanyakan kasus, blogwalking jenis ini cendrung akan berdampak buruk terhadap SEO blog. Kenapa ? Hal ini karena pada umumnya, mereka akan saling mengunjungi blog dalam durasi yang sebentar (mungkin kurang dari 2 menit).

manfaat blogwalking bagi blogger

Hal ini tentu akan buruk untuk SEO blog. Walaupun secara resmi hingga saat ini pihak google tidak menyatakan bahwa durasi kunjungan adalah salah satu parameter yang mereka gunakan dalam menentukan pringkat halaman. Berdasarkan opini dan pengamatan pribadi (dan masuk akal), lamanya durasi kunjungan akan memberikan efek positif pada mesin pencari. Ini membuktikan bahwa halaman anda dapat memenuhi kebutuhan pembaca. Sebaliknya, jika rata-rata durasi kunjungan ini berlangsung cepat, sangat masuk akal jika google memponis halaman yang bersangkutan sebagai halaman dengan low-quality content.


Mendapatkan banyak komentar

Salah satu kegiatan lainnya yang dilakukan saat blogwalking adalah saling berkomentar. Tujuan seperti ini umumnya dilakukan agar blog terlihat populer dan memiliki banyak respon dari blogger lainnya. Atau, sebagian dari mereka mungkin akan menjawab bahwa kegiatan seperti ini sebagai salah satu bentuk dari menjalin silaturahmi. Tentu tidak ada salahnya jika tujuannya memang untuk menjalin silaturahmi, namun, sebagian besar saya yakin tidak (benar-benar) melakukan blogwalking untuk tujuan silaturahmi. Lagipula, jika memang untuk silaturahmi, kenapa tidak dilakukan melalui media komunikasi yang mereka gunakan saat membuat kesepakatan ?


Saling klik Iklan

Saling klik iklan merupakan kegiatan baru dalam blogwalking. Seingat saya, belum ada kegiatan seperti ini pada saat saya memulai kegiatan blogging (2009 - 2011). Ada mungkin, namun sangat jarang sekali. Ini jelas merupakan kegiatan yang tidak sehat sama sekali. Mereka melakukan kegiatan manipulasi klik iklan untuk mendapatkan penghasilan. Hal ini jelas melanggar kebijakan media periklanan (khususnya media periklanan berbasis pay per click seperti Google AdSense misalnya).



Mengenai pengunjung dan popularitas yang didapat dari kegiatan Blogwalking (anggaplah) tidak sehat

Blogwalking bukan metode yang bisa anda gunakan untuk meningkatkan pengunjung blog. Sekali lagi, pengunjung yang berasal dari kegiatan ini umumnya kurang bermanfaat atau bahkan berdampak buruk terhadap SEO blog. Terlepas dari itu semua, ini kembali lagi pada misi anda. Hal yang tentunya telah anda ketahui disini adalah semua partner blogwalking anda adalah seorang blogger. Jadi, jika blog anda tidak membahas topik seputar blogging, melakukan kegiatan blogwalking seperti ini hanya akan membuang-buang waktu anda. Dengan kata lain, satu-satunya nice blog yang cocok untuk melakukan blogwalking seperti ini adalah seputar blogging (tidak termasuk untuk kegiatan saling klik iklan tentunya).

Bagi anda yang memiliki blog seputar blogging, tidak ada salahnya melakukan blogwalking untuk meningkatkan popularitas blog anda. Ya, dalam kasus ini, target blog anda jelas adalah untuk mereka para blogger. Terlebih lagi jika anda memiliki produk sendiri yang dikhususkan untuk para blogger, melakukan kegiatan blogwalking seperti ini merupakan metode yang sangat efektif untuk memperkenalkan produk anda.


Mengenai backlink komentar

Terlepas dari kegiatan blogwalking dengan kesepakatan atau tidak, kegiatan penanaman backlink melalui komentar juga salah satu praktek yang diterapkan oleh para pelaku SEO. Namun, perlu anda ketahui bahwa backlink komentar tidak termasuk pada jenis backlink yang memiliki pengaruh besar. Backlink ini umumnya hanya untuk menambah variasi sumber backlink. Lagipula, penanaman backlink komentar lebih efektif jika dilakukan dengan mencari blog-blog dengan nice tertentu melalui mesin pencari, bukan melalui kesepakatan blogwalking.
Cara Membuat Daftar Isi di dalam Postingan / Artikel Blog

Cara Membuat Daftar Isi di dalam Postingan / Artikel Blog

Daftar isi:
  1. Apa itu daftar isi postingan ?
  2. Proses pembuatan daftar isi
  3. Pemasangan pada postingan
  4. Tips dan Informasi tambahan


1. Apa itu daftar isi postingan ?

Daftar isi postingan adalah daftar link yang (umumnya) ditempatkan di bagian awal postingan / artikel yang mengarah ke bagian-bagian / poin pembahasan tertentu. Untuk contoh, lihat daftar isi dibagian atas postingan ini.

Selain akan memudahkan pembaca dalam menjelajahi dan memahami poin-poin dalam postingan, pembuatan daftar isi pada postingan juga akan meningkatkan daya tarik awal kepada pembaca. Ya, dengan menampilkan poin-poin penting pada daftar isi, pembaca dapat dengan mudah mengetahui hal apa saja yang akan dibahas di dalam postingan tersebut. Hal ini tentunya juga akan meningkatkan daya tarik awal yang baik, terlebih lagi jika apa yang anda sampaikan pada daftar isi merupakan poin-poin yang memang dicari oleh pembaca.

Selain manfaat diatas, pembuatan daftar isi ini juga akan memungkinkan postingan tampil lebih menarik di hasil penelusuran mesin pencari. Untuk beberapa kasus, mesin pencari google akan menampilkan daftar isi ini pada hasil pencarian. Hal ini secara bersamaan akan membuat postingan anda terlihat lebih menarik dan profesional.



Pesan:
Pada halaman ini, anda akan menjumpai beberapa hal terkait coding HTML. Untuk sekarang, blog wiBlogger.com ini masih belum menerbitkan materi seputar coding. Beberapa hal mungkin tidak dijelaskan secara mendalam. Untuk itu, manfaatkan pencarian google terkait hal apapun yang anda butuhkan. Anda juga bisa bertanya melalui kolom komentar dibawah terkait hal apapun seputar pembuatan daftar isi.


2. Cara membuat daftar isi di dalam postingan

Kembali pada pengertian daftar isi postingan diatas, ini adalah link yang mengarah ke bagian-bagian tertentu (pada halaman yang sama). Dalam hal ini, poin penting yang harus anda ketahui adalah bagaimana cara membuat sebuah link yang mengarah pada bagian tertentu. Adapun secara garis besar, proses pembuatan link ini adalah sebagai berikut:

  1. Langkah 1:
    Berikan ID unik pada tag pembungkus untuk elemen yang hendak disertakan pada daftar isi.
  2. Langkah 2:
    Buat link dengan URL tujuan yang mengandung Anchor dengan nama ID elemen yang telah didefinisikan pada langkah 1.

Untuk lebih mudahnya, disini saya misalkan format postingan yang akan dibuat adalah sebagai berikut:

cara membuat daftar isi postingan blog

Pada contoh diatas, link pada daftar isi diarahkan pada setiap elemen dengan tag heading h2.


Langkah 1: memberikan ID unik pada elemen

Pada antarmuka pembuatan postingan, beralih ke mode HTML dan berikan ID unik pada elemen yang hendak dijadikan target pada link daftar isi (dalam contoh ini adalah setiap elemen heading h2). Berikut adalah contoh tag HTML sebelum dan setelah diberikan atribut ID.

Tag H2 tanpa ID
<h2>Text</h2>

proses pembuatan daftar isi di dalam artikel blog


Tag H2 dengan ID
<h2 id='daftarisi-1'>Text</h2>



Hal penting yang harus anda ketahui adalah ID harus bersifat unik. Dengan kata lain, setiap ID harus berbeda dengan ID lainnya (dalam satu halaman). Anda bisa membuat ID untuk kebutuhan daftar isi ini dengan format yang konsisten, seperti misalnya daftarisi-1, daftarisi-2, dan seterusnya.

Pemberian ID tidak hanya terbatas pada tag h2 saja, anda bisa memberikan ID pada semua tag HTML, baik itu div, img, dan lain sebagainya.


Langkah 2: Membuat link yang mengarah pada elemen dengan ID tertentu

Selanjutnya, setelah setiap elemen yang dikehendaki telah memiliki ID unik, buat link dengan URL tujuan yang mengarah pada elemen tersebut. Adapun pembuatan link jenis ini dilakukan dengan cara mengisi URL tujuan dengan anchor berupa ID elemen yang dikehendaki.

Link dengan anchor
<a href='#daftarisi-1'>Text</a>

Lebih jauh tentang URL dan bagian-bagian URL bisa anda baca pada halaman: Pengertian dan bagian-bagian URL.


3. Pemasangan daftar isi pada postingan

Sampai paragraf ini, anda telah mengetahui bagaimana cara membuat link yang mengarah ke bagian tertentu. Selanjutnya, anda tinggal meletakkan daftar link yang anda buat dibagian atas postingan (atau dimanapun sesuai keinginan). Agar tampilan link adalah berupa daftar, Anda bisa mendefinisikan daftar isi ini dengan menggunakan elemen ol atau ul.

Contoh format penulisan daftar isi
<ol>
<li><a href='#daftarisi-1'>Text</a></li>
<li><a href='#daftarisi-2'>Text</a></li>
<li><a href='#daftarisi-3'>Text</a></li>
</ol>

Pada antarmuka pembuatan postingan, beralih ke mode HTML. Letakkan kode yang telah diformat seperti diatas pada bagian manapun yang anda kehendaki, dalam hal ini, saya meletakkan daftar isi ini dibagian paling atas postingan. Tampilan daftar isi dengan HTML diatas akan mengikuti style CSS pada tema anda.



Penting ...!

Ketika HTML daftar isi telah dibuat seperti gambar diatas (melalui mode HTML), jika anda beralih ke mode Compose, sistem blogger akan secara otomatis menambahkan path URL dengan URL dashboard blog anda. Dalam kasus ini, URL link yang tadinya hanya berupa #namaid akan berubah menjadi url-dashboard#namaid. Kurang lebih seperti berikut:

Contoh:
<a href='https://www.blogger.com/blogger.g?blogID=123123123123123#namaid'>Text</a>

Karena perubahan ini, sudah pasti daftar isi tidak akan bekerja. Oleh karena itu, proses pembuatan daftar isi ini sebaiknya dilakukan pada tahap akhir dan pastikan anda menerbitkan postingan anda pada saat anda dalam antarmuka mode HTML.

Berikut adalah beberapa informasi dan tips lainnya terkait pembuatan daftar isi:
  • Tip:
    Definisikan ID dengan format yang konsisten untuk setiap bagian yang hendak disertakan pada daftar isi. Misal daftarisi-1, daftarisi-2, daftarisi-3 dan seterusnya.
  • Info:
    Terkait pendefinisian ID, untuk anda yang masih belum begitu mengenal bahasa HTML, anda mungkin bingung tentang apa yang dimaksud dengan ID Unik. Dalam hal ini, sautu ID harus berbeda dengan ID lainnya pada halaman atau postingan yang sama. Dengan kata lain, anda hanya bisa menggunakan nama ID tertentu sebanyak satu kali dalam satu postingan. Hal yang perlu diketahui disini adalah ruang lingkup unik ini hanya berlaku per-halaman. Saya misalkan jika pada suatu postingan anda mendefinisikan ID dengan nama daftarisi-1 dan daftarisi-2, untuk postingan yang akan anda terbitkan selanjutnya, anda tetap bisa menggunakan ID daftarisi-1 dan daftarisi-2. Ya, sifat unik ini hanya berlaku per-halaman (bukan semua halaman).
  • Tip:
    Untuk lebih mudahnya, anda bisa menyertakan format penulisan HTML daftar isi diatas pada Template Entri.
Fetch as Google: Cara indeks postingan blog kurang dari 10 menit

Fetch as Google: Cara indeks postingan blog kurang dari 10 menit

Salah satu fitur yang sangat penting (atau bahkan mungkin paling penting) yang terdapat pada google search console adalah Fetch as Google (Ambil sebagai google). Fitur ini dapat kita gunakan untuk mengindeks halaman web / blog dengan sangat cepat.

Seperti yang telah anda jumpai pada materi SEO cara submit sitemap ke google search console sebelumnya. Terutama untuk blog baru, dibutuhkan waktu yang cukup lama hingga google dapat mengindeks halaman (postingan) blog. Bahkan dengan melakukan prosedur submit sitemap ini sekalipun, waktu yang dibutukan sampai halaman terindeks oleh google tetap saja lama, umumnya bisa sampai 1 hari.


Apa itu Fetch as Google ?

Sederhananya, ini adalah fitur google search console yang memungkinkan kita untuk dapat "memanggil" crawler google untuk segera merayapi halaman blog. Pada kasus normal, dengan memanfaatkan fitur ini, google akan mengindeks halaman dengan sangat cepat (hanya memerlukan waktu beberapa menit saja).


Cara menggunakan Fetch as Google

  1. Login ke Dashboard Google search console untuk blog yang bersangkutan, pada menu Perayapan (Crawl) pilih Fetch as Google.

    cara agar postingan cepat berada di google
  2. Selanjutnya, masukkan Patch URL Postingan pada text box yang tersedia. Disini, cukup masukkan patch URL tanpa domain utama (hostname). Saya ambil contoh untuk URL postingan ini, bagian yang berwarna merah adalah Patch URL.

    URL
    http://www.wiblogger.com/2018/01/fetch-as-google.html


    cara indeks postingan blog ke google
  3. Selanjutnya, klik Ambil (Fetch). Seperti yang anda lihat, selain Ambil, terdapat juga opsi Ambil dan Render (Fetch and render). Lebih jauh tentang ini akan anda jumpai pada poin berikutnya. Setelah anda mengklik ambil, Pada daftar link, klik Minta pengindeksan.

    cara menggunakan fitur fetch as google
  4. Terdapat 2 opsi perayapan yaitu Rayapi URL ini saja dan Rayapi URL ini dan link langsungnya.

    cara agar postingan blog masuk google cepat


    Rayapi URL ini saja

    Mengintruksikan robot google untuk hanya merayapi halaman dengan URL yang telah diberikan.

    fitur fetch as google search console


    Rayapi URL ini dan link langsungnya

    Mengintruksikan robot google untuk juga merayapi halaman-halaman yang tertaut secara langsung. Dengan kata lain, tidak hanya halaman dengan URL yang telah diberikan yang akan dirayapi, setiap link yang terdapat pada halaman tersebut juga akan dirayapi.

    tentang fitur ambil sebagai google di google search console

    Fitur ini digunakan untuk mengindeks banyak halaman sekaligus, sebut saja misalnya halaman daftar isi blog (Halaman yang berisi semua link postingan blog. Lebih jauh pembuatan daftar isi blog bisa anda baca pada post: Cara membuat halaman daftar isi blog secara otomatis. Jumlah permintaan dengan fitur ini dibatasi hanya 10 kali perbulan.

    Kembali pada prosedur selanjutnya, pilih opsi yang anda kehendaki. Untuk sekarang, cukup pilih opsi pertama (Rayapi halaman ini saja). Verifikasi captcha dan kirim.

    cara menemukan postingan blog di google
  5. Selesai !

    cara agar blog dapat ditemukan di google

    Pada kasus normal, proses pengindeksan postingan dengan fetch as google ini umumnya hanya membutuhkan waktu beberapa menit (kurang dari 10 menit).

    cara agar postingan blog berada digoogle

    Fetch as Google merupakan salah satu kegiatan rutin yang dilakukan oleh sebagian besar blogger. Usahakan untuk selalu melakukan Fetch as Google setiap kali anda menerbitkan postingan baru. Sebagai informasi tambahan, jika postingan anda tetap tidak terindeks setelah lebih dari 20 menit, lakukan fetch ulang.


Tentang fitur Ambil dan Render

Fitur Ambil dan Render kurang lebih sama saja dengan opsi Ambil sebelumnya yaitu sama-sama akan mengindeks halaman. Untuk opsi ambil dan render, selain untuk tujuan indeks halaman, google juga akan memperlihatkan bagaimana halaman tersebut di render (diterjemahkan) oleh crawler google. Intinya, fitur ambil dan render ini memungkinkan kita untuk dapat melihat bagaimana crawler google membaca halaman yang bersangkutan.

Sedikit meninjau mengenai fungsi ambil dan render. Pada kasus tertentu, pemilik blog mungkin saja memberikan konfigurasi khusus untuk crawler google, sebut saja misalnya mengatur agar elemen tertentu untuk tidak diindeks oleh google. Fitur ambil dan render ini berguna untuk kebutuhan checking berbagai konfigurasi khusus berkaitan dengan crawler google. Intinya, versi render ini hanya akan memproses / menampilkan aset-aset yang memang diperbolehkan oleh pemilik situs untuk diindeks oleh google. Bingung ? Just skip it ^_^




Ketersediaan materi pada modul ini akan diupadate secara berkala. Anda bisa berlangganan feed blog ini untuk mendapatkan update seputar blogging yang akan diterbitkan selanjutnya melalui formulir subscription yang terdapat pada footer blog ini.
Cara Submit Sitemap (Peta Situs) Blog di Google Search Console

Cara Submit Sitemap (Peta Situs) Blog di Google Search Console

Salah satu praktek awal yang dilakukan oleh sebagian besar blogger pada google search console adalah menambahkan sitemap (peta situs). Tujuan dari kegiatan ini adalah untuk membantu crawler google dalam menjelajahi isi / konten blog.

Apa itu sitemap ?

  • Sitemap adalah sebuah file (umumnya berformat XML) yang berisi URL halaman-halaman sebuah situs
  • Didalam sitemap, terdapat URL halaman dan beberapa informasi terkait lainnya yang dalam hal ini telah diizinkan oleh pemilik situs untuk di-index oleh mesin pencari
  • Menambahkan sitemap di Google Search Console bertujuan untuk membantu mesin pencari google dalam menjelajahi isi / postingan blog yang kita kelolah.
  • Untuk blog dengan platform blogging blogger.com, file sitemap ini dapat diakses dengan URL: domain-utama/atom.xml


Seperti yang telah diuraikan pada halaman Belajar SEO. Cara kerja crawler google dalam menemukan halaman-halaman di internet adalah dengan memanfaatkan (menelusuri) tautan-tautan yang terdapat pada suatu halaman (menuju halaman-halaman lainnya). Melalui sitemap, mesin pencari dapat dengan mudah menemukan halaman-halaman yang terdapat didalam sebuah situs.

Tanpa melakukan submit sitemap di google search console, apakah blog tidak akan terindex oleh google ?

Tidak juga, terlebih lagi untuk blog dengan platform blogging blogger.com, tanpa melakukan submit sitemap sekalipun, blog tetap akan di-index oleh google.

Lah, terus ngapain susah-susah submit kalau gitu ?

Gak susah, prosesnya singkat. Lagipula, khususnya untuk blog yang masih baru, melakukan submit sitemap akan mempercepat proses indek postingan yang telah dipublikasikan sebelumnya (jika belum terindek).

Ooh, berarti ini hanya untuk postingan yang telah diterbitkan ya ? Untuk postingan selanjutnya gimana ?

Berdasarkan pengamatan pribadi, menambahkan sitemap pada google search console tidak akan banyak membantu untuk proses pengindex-an postingan-postingan yang akan diterbitkan selanjutnya. Dengan kata lain, meskipun sitemap telah dikirim, proses pengindex-an postingan tetap membutuhkan waktu yang lumayan lama (untuk blog baru). Umumnya 2-3 hari.

Solusinya ?

Akan anda jumpai pada materi selanjutnya. Untuk sekarang, jangan terlalu banyak tanya dulu, Just do it ! ^_^.


Cara Submit Sitemap Postingan Blogger di Google search console

  • Buka dashboard search console untuk blog yang bersangkutan, pada menu sidebar, klik Perayapan (Crawl) dan pilih Peta situs (Sitemaps).

    cara mengirim peta situs blogger
  • Klik Tambahkan/Uji Peta situs.

    cara submit sitemap di google search console
  • Masukkan path dan parameter URL dibawah ini pada form yang tersedia.

    Sitemap postingan
    atom.xml?redirect=false&start-index=1&max-results=150

    Postingan Terkait:
    Mengenal pengertian dan bagian-bagian URL
  • Terakhir, klik Kirim.

    cara agar postingan terdapat di google
  • Sampai pada tahap ini, sitemap telah berhasil ditambahkan. Klik Segarkan halaman (Refresh).

    cara menambahakan peta situs blog
  • Anda akan melihat antamuka menu sitemap yang menginformasikan status index untuk sitemap yang bersangkutan. Disini, status index masih tertunda. Ya, google membutuhkan waktu untuk memproses sitemap anda. Proses ini biasanya akan belangsung selama beberapa jam (atau mungkin bisa sampai 1 hari).

    cara menambahkan sitemap (peta situs) blogger

Catatan: Path URL diatas hanya mengandung 150 postingan terbaru. Jika postingan anda telah lebih dari 150, lakukan prosedur diatas untuk menambahkan sitemap postingan selanjutnya dengan mengganti parameter start-index dan max-results dengan kelipatan 150.

Sitemap postingan lainnya
<!-- Postingan 151 hingga 300 -->
atom.xml?redirect=false&start-index=151&max-results=300

<!-- Postingan 301 hingga 450 -->
atom.xml?redirect=false&start-index=301&max-results=450

<!-- dan seterusnya -->


Apakah tidak bisa hanya dengan mengganti max-results ke nilai yang lebih besar ? misal start-index=1, max-results=1000 ?


Tidak bisa !
Sistem blogger membatasi jumlah postingan maksimal per sitemap sebanyak 150. Jadi, jika jarak antara start-index dan max-results yang anda berikan lebih besar dari 150, jumlah post pada sitemap tetap 150.


Sitemap Laman Statis

Path URL diatas adalah untuk sitemap postingan. Jika anda hendak men-submit sitemap untuk laman statis, gunakan path berikut:

Sitemap laman statis
sitemap-pages.xml


Berlangganan Artikel
Dengan berlangganan artikel kami, anda akan mendapatkan setiap update yang diterbitkan pada situs wiBlogger.com langsung melalui akun email anda. Pastikan juga anda mengkonfirmasi alamat email anda untuk dapat mengaktifkan layanan.
×
Jangan tampilkan lagi