Tạo file robots.txt trên blogspot tối ưu cho SEO

Chào mọi người! Bài viết hôm trước mình đã hướng dẫn mọi người cách để thêm sitemap.xml trên Blogspot. Hôm nay mình sẻ tiếp tục hướng dẩn các bạn tạo file robots.txt trên blogspot để cải thiệt chất lượng tìm kiếm trên Google.

Vậy File Robots.txt là gì? Vì sao phải cần đến nó?

Robots.txt là một dạng text, có thể tạo bởi công cụ Notepad và đặc biệt nó không phải là dạng HTML. Nó là một file có thể giúp chúng ta tương tác với bọ của các công cụ tìm kiếm và nó khai báo với các công cụ tìm kiếm cho biết website chúng ta muốn làm gì và không muốn làm gì. Hay nói cách khác nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho hiển thị một số link không mong muốn trên kết quả tìm kiếm.

VD : User-agent: *                                      Cho tất các các loại bot truy cập vào website
         Disallow: /administrator/                  Chặn không cho bot truy cập vào thư mục administrator
         Disallow: /                                          Chặn không cho bot truy cập vào toàn bộ website
         Disallow: /images/hinh-dep.jpg       Chặn không cho bot index file hinh-dep.jpg

P/s: Ở bài viết này mình chỉ viết ngắn gọn để các bạn có thể để hình dung và tránh viết dài dòng để làm mọi người khó hiểu về file Robots.txt.

Trên Blogspot đã hỗ trợ file robots.txt giờ chúng ta chỉ việt bật nó lên và thêm các dòng lệnh vào thôi.
+ Cách thêm robots.txt cho blogspot như sau:
Sau khi đã đăng nhập vào Blogspot  mọi người vào phần Cài đặt => Tùy chọn tìm kiếm

Nhìn phía bên tay phải có mục “Robots.txt tùy chỉnh” chọn vào Chỉnh sửa => Có. Sẻ ra được hình bên dưới

Sau khi đã chọn Có và hiển thị như hình trên thì mọi người coppy dòng code chuẩn file robots.txt cho blogspot bên dưới bỏ vào và lưu lại

               User-agent: Mediapartners-Google
               User-agent: *
               Allow: /
               Disallow: /search
               Disallow: /*?updated-max=*
               Disallow: *archive.html