Meta robots tag là gì?

Thẻ Meta Robots (hay còn gọi Meta Robots Tag), ta có thể hiểu nó giống như một tấm biển chỉ đường dành riêng cho bot Google hay Bing, Baidu Spider, Yandex…khi chúng ghé thăm website của bạn. Nó sẽ dẫn các bạn bot này đến với từng gian phòng trong nhà, đi qua mọi ngõ ngách và xuyên suốt ngôi nhà của bạn, những khối kiến trúc và căn phòng được liên kết với nhau đều sẽ được ghi nhận (Follow), còn những khu đã được khóa kín (Nofollow) sẽ bị bỏ qua.

Trong lập trình, nó không được hiển thị như bảng hiệu thật, mà nó tồn tại dưới một đoạn mã ngắn, đoạn mã này được đặt ẩn trong phần mã nguồn của trang web để ra lệnh cho bot biết:

• Trang này có được phép lưu vào cơ sở dữ liệu để hiển thị lên kết quả tìm kiếm hay không?
• Bot có được phép nhấp vào các đường dẫn bên trong trang đó để đi tiếp sang trang khác hay không?

Hình dáng của thẻ Meta robots

Đoạn mã này cần được đặt trong phần <head> của website như sau:

Một số thẻ Meta robots phổ biến

Tác dụng	Đoạn Mã HTML
Mặc định (Cho phép index và follow)	<meta name=”robots” content=”index, follow”>
Chỉ giấu trang, vẫn cho đi theo link	<meta name=”robots” content=”noindex, follow”>
Cho index trang, nhưng chặn link	<meta name=”robots” content=”index, nofollow”>
Chặn toàn bộ (Không index, không follow)	<meta name=”robots” content=”noindex, nofollow”>
Chặn riêng Googlebot	<meta name=”googlebot” content=”noindex”>
Chặn riêng Bingbot	<meta name=”bingbot” content=”noindex”>

Ý nghĩa của 2 dòng lệnh trong thẻ Meta Robots

Index / Noindex:

• Index: Cho phép Google lưu trữ và hiển thị trang web lên kết quả tìm kiếm.
• Noindex: Ẩn giấu trang web đó đi, không cho xuất hiện trên SERP (thường dùng cho các trang nội bộ, giỏ hàng…).

Follow / Nofollow:

• Follow: Cho phép các bot đi theo các đường link nằm trong trang để khám phá các nội dung khác.
• Nofollow: Ngăn bot đi theo các link đó, giúp giữ lại sức mạnh uy tín cho trang web của bạn.

Tầm quan trọng của thẻ Meta Robots

Thẻ Meta Robots đóng vai trò là “người điều hướng” tối quan trọng, định hình cách mà các công cụ tìm kiếm thu thập dữ liệu, lập chỉ mục và hiển thị trang web của bạn trên trang kết quả tìm kiếm (SERP). Nó đóng vai trò là công cụ kỹ thuật cốt lõi giúp quản trị viên website kiểm soát hoàn toàn cách các công cụ tìm kiếm thu thập dữ liệu và hiển thị trang web trên Google search.

Các lợi ích cốt lõi của thẻ Meta Robots

• Kiểm soát ngân sách thu thập dữ liệu (Crawl Budget): Giúp bot của các công cụ tìm kiếm tập trung vào các trang quan trọng, tránh lãng phí tài nguyên vào các trang rác hoặc không có giá trị chuyển đổi.
• Ngăn chặn lỗi trùng lặp nội dung (Duplicate Content): Chặn index các trang có nội dung tương tự nhau (như trang bộ lọc, trang tìm kiếm nội bộ) để tránh làm loãng sức mạnh SEO của website.
• Bảo mật thông tin nội bộ: Giấu đi các trang quản trị admin, trang thanh toán hoặc tài liệu nội bộ khỏi mắt người dùng và công cụ tìm kiếm công khai.
• Tối ưu hóa hiển thị trực quan: Cho phép bạn tùy chỉnh cách hiển thị đoạn trích (snippet), video hoặc kích thước hình ảnh đại diện lớn trên kết quả tìm kiếm để tối ưu tỷ lệ nhấp chuột (CTR).

Chặn không lập chỉ mục trang cụ thể

Tại sao khi làm SEO lại không mong muốn Google hiển thị trang A hay B, C, D nào đó trên kết quả tìm kiếm?  Thật ra trong quá trình làm SEO sẽ có những trang mà bạn nhất định không đưa nó cho bot “cào”, không phải vì nó không có giá trị mà đôi khi nó còn yếu và tạo ra nguy cơ nhiều hơn tác dụng. Những loại trang này có thể là:

• Các trang có nội dung mỏng, ít giá trị thông tin cho người dùng, làm giảm chất lượng website, tuột điểm SEO và trải nghiệm người dùng kém.
• Các trang quản trị (admin)
• Trang giỏ hàng (card, check out)
• Trang tác giả (/author), thường gom nội dung gây trùng lặp (Duplicate content).
• Các trang tài liệu nội bộ
• Các chương trình khuyến mãi (Google adwords, Facebook Ads, Tiktok Ads), tạo riêng để đo lường hiệu quả.
• Các nội dung trùng lặp (2 hoặc nhiều bài viết có nội dung tương tự nhau)

Các thuộc tính của meta robots tag

Meta robots tag bao gồm 2 thuộc tính, đó là “name” và “content”. Cách bạn chỉ định giá trị cho hai thuộc tính này sẽ quyết định cách mà các crawler tuân theo.

TÊN THẺ	CẤU TRÚC THẺ	TÁC DỤNG	ỨNG DỤNG / LƯU Ý
All	<meta name=”robots” content=”all” />	Cho phép bot thu thập và lập chỉ mục bình thường.	Là mặc định của trình duyệt, không bắt buộc phải khai báo.
Noindex	<meta name=”robots” content=”noindex” />	Cấm công cụ tìm kiếm lập chỉ mục trang.	Dùng khi không muốn trang xuất hiện trong kết quả tìm kiếm.
Nofollow	<meta name=”robots” content=”nofollow” />	Ngăn chặn robots thu thập liên kết trên trang.	Trang vẫn có thể được lập chỉ mục nhưng bot không đi theo link.
None	<meta name=”robots” content=”none” />	Kết hợp giữa noindex và nofollow.	Dùng khi vừa không muốn lập chỉ mục vừa không muốn bot thu thập liên kết.
Noarchive	<meta name=”robots” content=”noarchive” />	Ngăn Google hiển thị bản sao (cache) trong SERP.	Dùng để bảo mật thông tin thay đổi liên tục.
Notranslate	<meta name=”robots” content=”notranslate” />	Ngăn Google cung cấp bản dịch cho trang.	Giữ nguyên ngôn ngữ gốc, không cho tự động dịch.
Noimageindex	<meta name=”robots” content=”noimageindex” />	Ngăn Google lập chỉ mục hình ảnh nhúng trên trang.	Bảo vệ bản quyền hình ảnh.
Unavailable_after	<meta name=”robots” content=”unavailable_after: [Thời gian]” />	Gỡ trang khỏi kết quả tìm kiếm sau thời điểm cố định.	Định dạng chuẩn: Monday, 02-Sep-20 13:31:13 GMT.
Nosnippet	<meta name=”robots” content=”nosnippet” />	Ngăn không hiển thị đoạn trích (văn bản, hình ảnh, video).	Không cho hiển thị mô tả ngắn dưới tiêu đề tìm kiếm.
Tối đa đoạn trích	<meta name=”robots” content=”max-snippet:X” />	Giới hạn số ký tự tối đa của đoạn mô tả.	Thay X bằng số ký tự, dùng -1 để không giới hạn.
Tối đa hình ảnh xem trước	<meta name=”robots” content=”max-image-preview:X” />	Thiết lập kích thước hình ảnh hiển thị trên SERP.	Thay X bằng: none, standard, hoặc large.
Tối đa video xem trước	<meta name=”robots” content=”max-video-preview:X” />	Thiết lập thời lượng tối đa cho đoạn video xem trước.	Thay X bằng số giây (dùng -1 để không giới hạn).

 

Ví dụ:

<meta name=”robots” content=”max-snippet:20, max-image-preview:large”>

Thẻ này áp đặt giới hạn 20 ký tự cho đoạn trích văn bản và cho phép hiển thị hình ảnh xem trước với kích thước lớn nhất có thể.

<meta name=”robots” content=”noindex, nofollow”>

Thẻ này yêu cầu trang này không được lập chỉ mục và không thu thập bất kỳ liên kết nào trên trang

Chỉ thị Meta Robots nofollow

• Đối với backlink, các SEOer luôn rất chú ý mỗi khi quản lý các backlink dẫn đến Website. Tuy nhiên, nếu sử dụng chỉ thị này không chính xác, điều này có thể gây hại nghiêm trọng cho thứ hạng website của bạn. Để biết khi nào nên hoặc không nên sử dụng thẻ Meta Robots nofollow, bạn có thể tham khảo bài viết Backlink là gì của bmw để áp dụng backlink một cách hiệu quả nhất cho SEO website.
• Đối với liên kết nội bộ, vì đây là đường dẫn liên kết sử dụng trong nội bộ website của bạn, nên không cần phải lo lắng về chất lượng thông tin. Do đó, bạn chắc chắn không nên áp dụng lệnh Meta Robot nofollow đối với Liên kết Nội Bộ.

4. Cách kiểm tra và điều chỉnh thuộc tính của thẻ Meta robots

4.1. Phương pháp kiểm tra thẻ Meta robots

Để xác thực một trang bất kỳ có đang áp dụng thuộc tính thẻ Meta robots hay không? và thay đổi những thuộc tính này, bạn hãy thực hiện theo các bước sau đây.

Bước 1: Tại trang mong muốn kiểm tra, nhấn “xem nguồn trang” hoặc sử dụng phím tắt Ctrl + U (trên máy Windows); Option + Command + U (trên máy Mac)

Bước 2: Nhấn Ctrl + F hoặc Command + F để thực hiện tìm kiếm

Bước 3: Nhập vào thanh tìm kiếm meta name=”robots” hoặc meta content để xác minh

Tại đây, bạn sẽ thấy các thuộc tính mà trang hiện đang sử dụng

Lưu ý: Nếu không tìm thấy, thì mặc định thuộc tính là Index

4.2. Điều chỉnh trong HTML/CSS

Bạn có khả năng thay đổi thuộc tính cho Meta Robots theo các phương pháp sau:

• Cách 1: Sửa đổi file robots.txt
• Cách 2: Chỉnh sửa thẻ meta robots

4.3. Sử dụng Plugin Yoast SEO (Áp dụng cho Website sử dụng WordPress)

Đối với những người có website trên nền tảng WordPress, bạn có thể nhanh chóng sửa thuộc tính cho thẻ Meta robots bằng các thao tác dưới đây.

• Bước 1: Truy cập vào trang cần thiết lập với quyền quản trị
• Bước 2: Kéo xuống phần cài đặt nâng cao

Tại đây, bạn có khả năng điều chỉnh các thuộc tính “noindex” và “nofollow”

Trong tab “robots meta nâng cao”, bạn có thể thiết lập các thẻ meta khác nhau

4.4. Sử dụng Plugin Rank Math

Nếu bạn đang sử dụng Plugin Rank Math, vui lòng thực hiện các bước sau

Bước 1: Truy cập vào phần chỉnh sửa của bài đăng

Bước 2: Chọn “Advanced”

Bước 3: Chọn các thẻ mà bạn muốn thiết lập

5. So sánh thẻ Meta Robots với thẻ X-Robots-Tag?

Tương tự như Meta robots, nhưng X-Robots-Tag mang đến cho bạn sự đặc quyền nhiều hơn bằng cách cho phép bạn điều khiển cách (các loại) tệp nhất định được lập chỉ mục.

5.1. Ví dụ cách sử dụng X-Robots-Tag

Nếu bạn muốn ngăn cản các công cụ tìm kiếm hiển thị các tệp mà bạn đã tạo bằng PHP, bạn có thể thêm đoạn mã sau vào đầu tệp header.php:

header(“X-Robots-Tag: noindex”, true);

Điều này sẽ không ngăn cản các công cụ tìm kiếm theo dõi các liên kết trên những trang đó. Nếu bạn muốn thực hiện điều đó, hãy điều chỉnh ví dụ trước như sau:

header(“X-Robots-Tag: noindex, nofollow”, true);

Mặc dù việc áp dụng phương pháp này trong PHP mang lại những lợi ích của nó, nhiều khả năng bạn sẽ muốn ngăn chặn hoàn toàn một số loại tệp cụ thể. Cách tiếp cận hợp lý hơn là thêm X-Robots-Tag vào cấu hình máy chủ Apache của bạn hoặc tệp .htaccess.

Hãy tưởng tượng bạn đang vận hành một trang web có chứa một số tệp .doc, nhưng bạn không muốn công cụ tìm kiếm lập chỉ mục loại tệp đó vì một lý do nhất định. Trên máy chủ Apache, bạn nên thêm dòng sau vào tệp cấu hình .htaccess:

<FilesMatch “.doc$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

Hoặc, nếu bạn muốn thực hiện điều này cho cả tệp .doc và .pdf:

<FilesMatch “.(doc|pdf)$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

Nếu bạn đang sử dụng Nginx thay cho Apache, bạn có thể đạt được kết quả tương tự bằng cách thêm đoạn sau vào cấu hình máy chủ:

location ~* .(doc|pdf)$ {

    add_header  X-Robots-Tag “noindex, noarchive, nosnippet”;

}

Có thể có những tình huống mà tệp robots.txt tự hiển thị trong kết quả tìm kiếm. Bằng cách áp dụng một biến thể của phương pháp trước đó, bạn có thể ngăn chặn điều này xảy ra với trang web của mình:

<FilesMatch “robots.txt”>

Header set X-Robots-Tag “noindex”

</FilesMatch>

Và trong Nginx:

location = robots.txt {

add_header  X-Robots-Tag “noindex”;

}

5.2. Khi nào nên áp dụng thẻ X Robots thay thế cho Meta Robots

Khi bạn không thể sử dụng HTML để thiết lập thẻ Meta robots, đó chính là thời điểm cần phải áp dụng X-robots-tag.

Các trường hợp yêu cầu sử dụng thẻ X-Robots-tag

• Khi cần noindex cho toàn bộ miền, thư mục con…
• Khi bạn muốn chèn mã HTML

Các tệp không phải là HTML như PDF, hình ảnh… bạn sẽ không thể can thiệp bằng HTML,

Kết Luận

Hiểu rõ và quản lý quá trình thu thập dữ liệu,

Việc lập chỉ mục cho trang web sẽ giúp cho website trở nên “gọn gàng” hơn và đạt thứ hạng cao hơn trong trang SERPs của các công cụ tìm kiếm.

Gợi ý: Nếu trang web của bạn chứa các URL có thông tin cá nhân mà không muốn công khai trên tìm kiếm, hãy cân nhắc đến một phương pháp an toàn hơn, như là bảo vệ bằng mật khẩu, để ngăn chặn người dùng truy cập vào các trang riêng tư thay vì chỉ sử dụng thẻ meta robots hoặc X-robots-tag.

Nếu bạn vẫn còn bối rối và chưa tường tận về “Meta robots”, hãy kết nối với bmw hoặc tham gia trực tiếp vào các khóa học SEO mà chúng tôi cung cấp để có thể áp dụng một cách hiệu quả cho trang web của bạn.

Có thể bạn sẽ thấy thú vị:

• Thời gian cần thiết để SEO hiệu quả là bao lâu?
• Tại sao việc nghiên cứu từ khóa lại có tầm quan trọng đối với SEO?
• Search Intent là gì? Vai trò của nó trong SEO
• Viết bài chuẩn SEO là gì? 35 danh sách kiểm tra dành riêng cho bạn

Nếu bạn đang cần sự hỗ trợ về dịch vụ SEO, hãy xem xét qua liên kết và điền vào biểu mẫu trong bài viết để nhận được sự hỗ trợ tốt nhất từ bmw.