Meta robots tag là gì? Tầm quan trọng của Meta robots tag trong SEO ra sao? Chắc chắn không phải ai làm SEO cũng biết rõ điều này. Bài viết này sẽ giúp các bạn hiểu và áp dụng Meta robots tag một cách chính xác và hiệu quả nhất.
1. Meta robots tag là gì?
Có khá nhiều định nghĩa về meta robots tag, nhưng cơ bản nó là một trong số các yếu tố SEO onpage giúp quản lý cách mà Google sẽ lập chỉ mục và hiển thị từng trang đối với người dùng trong kết quả tìm kiếm của Google thông qua một đoạn mã HTML.
Đoạn mã này cần được đặt trong phần <head> của trang cụ thể.
Meta robots tag có dạng:
<meta name=”robots” content=”noindex” />
2. Tầm quan trọng của Meta Robots trong SEO
Meta robots tag thường được áp dụng khi thực hiện SEO cho website với nhiều mục tiêu khác nhau. Tuy nhiên, nó chủ yếu được sử dụng để ngăn chặn những trang mà bạn không muốn Google lập chỉ mục và xuất hiện trong các kết quả tìm kiếm của Google.
Tại sao trong SEO lại không mong muốn Google hiển thị chúng trong kết quả tìm kiếm?
Nghe có vẻ vô lý nhưng trong quá trình làm SEO sẽ có những trang mà bạn cần thiết phải có, nhưng nội dung của chúng không thực sự hữu ích cho người dùng.
Cụ thể, những trang này thường là:
- Các trang có nội dung mỏng, ít giá trị thông tin cho người dùng
- Các trang quản trị
- Các trang tài liệu nội bộ
- Các chương trình khuyến mãi
- Các nội dung trùng lặp
3. Các thuộc tính của meta robots tag
Meta robots tag bao gồm 2 thuộc tính, đó là “name” và “content”. Cách bạn chỉ định giá trị cho hai thuộc tính này sẽ quyết định cách mà các crawler tuân theo.
| TÊN THẺ | CẤU TRÚC THẺ | TÁC DỤNG | ỨNG DỤNG |
| All | “`html <meta name=”robots” content=”all” /> |
||
| Noindex | <meta name=”robots” content=”noindex” /> | Cấm công cụ tìm kiếm lập chỉ mục trang | Khi bạn không muốn trang nào đó xuất hiện trong kết quả tìm kiếm |
| Nofollow | <meta name=”robots” content=”nofollow” /> | Ngăn chặn robots thu thập liên kết trên trang. Tuy nhiên, chúng vẫn có thể được lập chỉ mục | |
| None | <meta name=”robots” content=”none” /> | Đây là sự kết hợp của hai thẻ Noindex và Nofollow | Sử dụng khi bạn không muốn công cụ tìm kiếm lập chỉ mục cũng như không cho phép robots thu thập liên kết trên trang |
| Noarchive | <meta name=”robots” content=”noarchive” /> | Ngăn Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang trong SERP. | |
| Notranslate | <meta name=”robots” content=”notranslate” /> | Ngăn Google cung cấp bản dịch cho trang trong SERP. | |
| Noimageindex | <meta name=”robots” content=”noimageindex” /> | Ngăn Google lập chỉ mục những hình ảnh nhúng trên trang. | |
| Unavailable_after | <meta name=”robots” content=”unavailable_after: Monday, 02-Sep-20 13:31:13 GMT” /> | Yêu cầu Google không hiển thị một trang trong kết quả tìm kiếm sau một thời điểm cụ thể. | Khi bạn không muốn một trang xuất hiện trong kết quả tìm kiếm sau một khoảng thời gian nhất địnhChú ý: Thời gian phải theo định dạng chính xác
Ví dụ: Monday, 02-Sep-20 13:31:13 GMT |
| Nosnippet | <meta name=”robots” content=”nosnippet” /> | Ngăn không cho hiển thị các đoạn trích (như văn bản, hình ảnh, video,…) trong kết quả tìm kiếm | Nếu bạn muốn hiển thị chúng, hãy thêm đoạn mã HTML sau<meta name=”robots” content=”max-snippet:-1, “““html max-image-preview:large, max-video-preview:-1″ />trên trang web của bạn |
| Tối đa đoạn trích | <meta name=”robots” content=”max-snippet:X” /> | Xác định số ký tự tối đa mà Google có thể trình bày trong các đoạn văn của mình. Việc thay thế X bằng 0 sẽ khiến các đoạn văn không được bao gồm, trong khi -1 cho phép không giới hạn về bản xem trước văn bản. | Thay X bằng số lượng ký tự tối đa mà Google có thể trình bày. |
| Tối đa hình ảnh xem trước | <meta name=”robots” content=”max-image-preview:X” /> | Thông báo cho Google biết kích thước hình ảnh nào sẽ được sử dụng cho bản mã hình ảnh | Thay X bằng giá trị mà bạn muốn Google hiển thịkhông – sẽ không có bản mã hình ảnh nào được hiển thị
chuẩn – hình ảnh xem trước mặc định có thể được trình bày lớn – hình ảnh xem trước lớn nhất có khả năng hiển thị |
| Tối đa video xem trước | <meta name=”robots” content=”max-video-preview:X” /> | Thiết lập thời gian tối đa cho một đoạn video được tính bằng giây. | Thay X bằng số giây mà bạn lựa chọn0 sẽ chọn không có hoàn toàn
‑1 không giới hạn. |
Lưu ý: Bạn có thể tạo ra nhiều chỉ thị bằng cách sử dụng dấu phẩy trong câu lệnh
Ví dụ:
<meta name=”robots” content=”max-snippet:20, max-image-preview:large”>
Thẻ này áp đặt giới hạn 20 ký tự cho đoạn trích văn bản và cho phép hiển thị hình ảnh xem trước với kích thước lớn nhất có thể.
<meta name=”robots” content=”noindex, nofollow”>
Thẻ này yêu cầu trang này không được lập chỉ mục và không thu thập bất kỳ liên kết nào trên trang
Chỉ thị Meta Robots nofollow
- Đối với backlink, các SEOer luôn rất chú ý mỗi khi quản lý các backlink dẫn đến Website. Tuy nhiên, nếu sử dụng chỉ thị này không chính xác, điều này có thể gây hại nghiêm trọng cho thứ hạng website của bạn. Để biết khi nào nên hoặc không nên sử dụng thẻ Meta Robots nofollow, bạn có thể tham khảo bài viết Backlink là gì của bmw để áp dụng backlink một cách hiệu quả nhất cho SEO website.
- Đối với liên kết nội bộ, vì đây là đường dẫn liên kết sử dụng trong nội bộ website của bạn, nên không cần phải lo lắng về chất lượng thông tin. Do đó, bạn chắc chắn không nên áp dụng lệnh Meta Robot nofollow đối với Liên kết Nội Bộ.
4. Cách kiểm tra và điều chỉnh thuộc tính của thẻ Meta robots
4.1. Phương pháp kiểm tra thẻ Meta robots
Để xác thực một trang bất kỳ có đang áp dụng thuộc tính thẻ Meta robots hay không? và thay đổi những thuộc tính này, bạn hãy thực hiện theo các bước sau đây.
Bước 1: Tại trang mong muốn kiểm tra, nhấn “xem nguồn trang” hoặc sử dụng phím tắt Ctrl + U (trên máy Windows); Option + Command + U (trên máy Mac)
Bước 2: Nhấn Ctrl + F hoặc Command + F để thực hiện tìm kiếm
Bước 3: Nhập vào thanh tìm kiếm meta name=”robots” hoặc meta content để xác minh
Tại đây, bạn sẽ thấy các thuộc tính mà trang hiện đang sử dụng
Lưu ý: Nếu không tìm thấy, thì mặc định thuộc tính là Index
4.2. Điều chỉnh trong HTML/CSS
Bạn có khả năng thay đổi thuộc tính cho Meta Robots theo các phương pháp sau:
- Cách 1: Sửa đổi file robots.txt
- Cách 2: Chỉnh sửa thẻ meta robots
4.3. Sử dụng Plugin Yoast SEO (Áp dụng cho Website sử dụng WordPress)
Đối với những người có website trên nền tảng WordPress, bạn có thể nhanh chóng sửa thuộc tính cho thẻ Meta robots bằng các thao tác dưới đây.
- Bước 1: Truy cập vào trang cần thiết lập với quyền quản trị
- Bước 2: Kéo xuống phần cài đặt nâng cao
Tại đây, bạn có khả năng điều chỉnh các thuộc tính “noindex” và “nofollow”
Trong tab “robots meta nâng cao”, bạn có thể thiết lập các thẻ meta khác nhau
4.4. Sử dụng Plugin Rank Math
Nếu bạn đang sử dụng Plugin Rank Math, vui lòng thực hiện các bước sau
Bước 1: Truy cập vào phần chỉnh sửa của bài đăng
Bước 2: Chọn “Advanced”
Bước 3: Chọn các thẻ mà bạn muốn thiết lập
5. So sánh thẻ Meta Robots với thẻ X-Robots-Tag?
Tương tự như Meta robots, nhưng X-Robots-Tag mang đến cho bạn sự đặc quyền nhiều hơn bằng cách cho phép bạn điều khiển cách (các loại) tệp nhất định được lập chỉ mục.
5.1. Ví dụ cách sử dụng X-Robots-Tag
Nếu bạn muốn ngăn cản các công cụ tìm kiếm hiển thị các tệp mà bạn đã tạo bằng PHP, bạn có thể thêm đoạn mã sau vào đầu tệp header.php:
header(“X-Robots-Tag: noindex”, true);
Điều này sẽ không ngăn cản các công cụ tìm kiếm theo dõi các liên kết trên những trang đó. Nếu bạn muốn thực hiện điều đó, hãy điều chỉnh ví dụ trước như sau:
header(“X-Robots-Tag: noindex, nofollow”, true);
Mặc dù việc áp dụng phương pháp này trong PHP mang lại những lợi ích của nó, nhiều khả năng bạn sẽ muốn ngăn chặn hoàn toàn một số loại tệp cụ thể. Cách tiếp cận hợp lý hơn là thêm X-Robots-Tag vào cấu hình máy chủ Apache của bạn hoặc tệp .htaccess.
Hãy tưởng tượng bạn đang vận hành một trang web có chứa một số tệp .doc, nhưng bạn không muốn công cụ tìm kiếm lập chỉ mục loại tệp đó vì một lý do nhất định. Trên máy chủ Apache, bạn nên thêm dòng sau vào tệp cấu hình .htaccess:
<FilesMatch “.doc$”>
Header set X-Robots-Tag “noindex, noarchive, nosnippet”
</FilesMatch>
Hoặc, nếu bạn muốn thực hiện điều này cho cả tệp .doc và .pdf:
<FilesMatch “.(doc|pdf)$”>
Header set X-Robots-Tag “noindex, noarchive, nosnippet”
</FilesMatch>
Nếu bạn đang sử dụng Nginx thay cho Apache, bạn có thể đạt được kết quả tương tự bằng cách thêm đoạn sau vào cấu hình máy chủ:
location ~* .(doc|pdf)$ {
add_header X-Robots-Tag “noindex, noarchive, nosnippet”;
}
Có thể có những tình huống mà tệp robots.txt tự hiển thị trong kết quả tìm kiếm. Bằng cách áp dụng một biến thể của phương pháp trước đó, bạn có thể ngăn chặn điều này xảy ra với trang web của mình:
<FilesMatch “robots.txt”>
Header set X-Robots-Tag “noindex”
</FilesMatch>
Và trong Nginx:
location = robots.txt {
add_header X-Robots-Tag “noindex”;
}
5.2. Khi nào nên áp dụng thẻ X Robots thay thế cho Meta Robots
Khi bạn không thể sử dụng HTML để thiết lập thẻ Meta robots, đó chính là thời điểm cần phải áp dụng X-robots-tag.
Các trường hợp yêu cầu sử dụng thẻ X-Robots-tag
- Khi cần noindex cho toàn bộ miền, thư mục con…
- Khi bạn muốn chèn mã HTML
Các tệp không phải là HTML như PDF, hình ảnh… bạn sẽ không thể can thiệp bằng HTML,
Kết Luận
Hiểu rõ và quản lý quá trình thu thập dữ liệu,
Việc lập chỉ mục cho trang web sẽ giúp cho website trở nên “gọn gàng” hơn và đạt thứ hạng cao hơn trong trang SERPs của các công cụ tìm kiếm.
Gợi ý: Nếu trang web của bạn chứa các URL có thông tin cá nhân mà không muốn công khai trên tìm kiếm, hãy cân nhắc đến một phương pháp an toàn hơn, như là bảo vệ bằng mật khẩu, để ngăn chặn người dùng truy cập vào các trang riêng tư thay vì chỉ sử dụng thẻ meta robots hoặc X-robots-tag.
Nếu bạn vẫn còn bối rối và chưa tường tận về “Meta robots”, hãy kết nối với bmw hoặc tham gia trực tiếp vào các khóa học SEO mà chúng tôi cung cấp để có thể áp dụng một cách hiệu quả cho trang web của bạn.
Có thể bạn sẽ thấy thú vị:
- Thời gian cần thiết để SEO hiệu quả là bao lâu?
- Tại sao việc nghiên cứu từ khóa lại có tầm quan trọng đối với SEO?
- Search Intent là gì? Vai trò của nó trong SEO
- Viết bài chuẩn SEO là gì? 35 danh sách kiểm tra dành riêng cho bạn
Nếu bạn đang cần sự hỗ trợ về dịch vụ SEO, hãy xem xét qua liên kết và điền vào biểu mẫu trong bài viết để nhận được sự hỗ trợ tốt nhất từ bmw.