Cách tạo tệp robot.txt chuẩn cho blog

Như bạn đã biết tệp robot.txt là một dạng tệp đơn giản được tạo ra bằng công cụ notepad nó cho phép Google có thể thu thập dữ liệu website Blog của bạn. Vậy làm thế nào để tạo tệp robot.txt, hãy xem hướng dẫn ở bài viết này nhé.

- Đầu tiên các bạn cần phải mở chức năng Robots tùy chỉnh trên Blogspot bằng cách truy cập vào trang quản trị và vào phần Cài đặt ⇒ Tùy chọn tìm kiếm và kéo xuống phía dưới có phần tùy chỉnh file robots hãy click vào và mở chức năng của nó lên.
Cấu trúc của một file robots.txt chuẩn:
User-agent: *
Allow: /
Disallow: /search
Trong đó:
  • User-agent: ( cho phép con bọ của các công cụ tìm kiếm có thể vào blogspot của mình. Nếu bạn cho phép tất cả thì nên để dấu *)
  • Allow: / (cho phép các công cụ tìm kiếm index toàn bộ nội dung của trang)
  • Disallow: /search ( báo với bộ máy tìm kiếm là không nên tò mò về nội dung của trang này và không được index chúng )
Tệp robot.txt cho blog dưới 500 bài
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label/
Disallow: *max-results=*
Disallow: *archive.html
Disallow: *?m=0
Disallow: /search?*
Disallow: *?showComment=*
Disallow: *?spref=fb
Disallow: *?spref=tw
Disallow: *?spref=gp
Disallow: *?utm_source=*
Sitemap: website Blog của bạn/feeds/posts/default?orderby=UPDATED
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1&max-results=500

Với những blog trên 500 bài

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label/
Disallow: *max-results=*
Disallow: *archive.html
Disallow: *?m=0
Disallow: /search?*
Disallow: *?showComment=*
Disallow: *?spref=fb
Disallow: *?spref=tw
Disallow: *?spref=gp
Disallow: *?utm_source=*
Sitemap: website Blog của bạn/feeds/posts/default?orderby=UPDATED
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1501&max-results=500

Mã code

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label/
Disallow: *max-results=*
Disallow: *archive.html
Disallow: *?m=0
Disallow: /search?*
Disallow: *?showComment=*
Disallow: *?spref=fb
Disallow: *?spref=tw
Disallow: *?spref=gp
Disallow: *?utm_source=*
Sitemap: website Blog của bạn/feeds/posts/default?orderby=UPDATED
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: website Blog của bạnatom.xml?redirect=false&start-index=501&max-results=500
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: website Blog của bạn/atom.xml?redirect=false&start-index=1501&max-results=500
- Những đoạn mã trên khi bạn tạo xong thì hãy chèn chúng vào trong hộp thoại Robots tùy chỉnh và lưu lại. Như vậy là đã hoàn thành một file robots.txt hoàn chỉnh cho Blogspot