Cách ngăn Google lập chỉ mục các URL nhất định
Trong tối ưu hóa công cụ tìm kiếm, mục tiêu là có được càng nhiều trang trong trang web được các công cụ tìm kiếm như Google lập chỉ mục và thu thập thông tin. Tuy nhiên, điều đó có thể không phải lúc nào cũng đúng như vậy. Thông thường, cần phải cố tình ngăn chặn các công cụ tìm kiếm lập chỉ mục các trang nhất định từ trang web để thúc đẩy SEO như các trang web trùng lặp, trang có giá trị thấp,...
Trước khi hủy/xóa lập chỉ mục, điều quan trọng là phải tiến hành kiểm tra nội dung kỹ lưỡng trên trang web để đảm bảo việc tiếp cận có hệ thống trong xác định trang nào nên hủy và loại trừ. Dưới đây, các cách ngăn Google lập chỉ mục các trang web nhất định, như sau:
Cách ngăn Google lập chỉ mục các URL nhất định
1. Sử dụng tệp ROBOTS.TXT
Tệp robots.txt chủ yếu được sử dụng để quản lý lưu lượng truy cập của trình thu thập thông tin của công cụ tìm kiếm khỏi việc trang web của bạn bị quá tải với các yêu cầu. Tuy nhiên, cần phải lưu ý rằng loại tệp này không dùng để ẩn các trang web khỏi Google; thay vào đó, nó được sử dụng để ngăn hình ảnh, video và các tệp phương tiện khác xuất hiện trong kết quả tìm kiếm.
Cách sử dụng tệp robots.txt để ẩn tệp phương tiện khỏi Google: Về cơ bản, bạn cần sử dụng trình soạn thảo văn bản để tạo tệp văn bản ASCII hoặc UTF-8 tiêu chuẩn, sau đó thêm tệp đó vào thư mục gốc của trang web của bạn.
2. Sử dụng thẻ Meta “NOINDEX”
Thẻ meta “noindex” là công cụ hiệu quả và dễ dàng nhất để ngăn Google lập chỉ mục các URL nhất định. Đó là một chỉ thị yêu cầu trình thu thập thông tin của công cụ tìm kiếm không lập chỉ mục một trang web và do đó sau đó sẽ không được hiển thị trong kết quả của công cụ tìm kiếm.
Cách thêm thẻ meta “noindex”: Chèn thẻ sau vào phần <head> của đánh dấu HTML của trang:
<meta name = ”robots” content = ”noindex”>
Ngoài ra, nếu muốn các công cụ tìm kiếm vừa hủy lập chỉ mục trang web của mình vừa không theo các liên kết trên trang đó, hãy sử dụng “noindex” với metatag “nofollow”:
<meta name = ”robots” content = ”noindex, nofollow”>
3. Sử dụng tiêu đề "X-ROBOTS-TAG HTTP"
Sử dụng X-Robots-Tag thêm vào tiêu đề phản hồi HTTP của một URL nhất định. Nó có tác dụng tương tự như thẻ “noindex”, nhưng với các tùy chọn bổ sung để chỉ định điều kiện cho các công cụ tìm kiếm khác nhau.
X-Robots-Tag cho các chức năng cụ thể:
- Để khử chỉ mục một trang web - X-Robots-Tag: noindex
- Để đặt các quy tắc hủy lập chỉ mục khác nhau cho các công cụ tìm kiếm khác nhau:
- X-Robots-Tag - googlebot: nofollow
- X-Robots-Tag - otherbot: noindex, nofollow
4. Sử dụng công cụ quản trị trang web của Google
Có thể chọn tạm thời chặn các trang khỏi kết quả tìm kiếm của Google bằng Công cụ Xóa URL của Quản trị Trang web của Google.
Cách sử dụng công cụ Xóa URL của Google để tạm thời loại trừ các trang:
Mở Công cụ Xóa URL và chọn một sản phẩm trong Google Search Console. Chọn "Yêu cầu mới" và nhập URL của trang.
Xoa url tai google search console
Sau đó, chọn "Tiếp" để Xóa URL khỏi bộ nhớ và tạm thời xóa khỏi Tìm kiếm. Thao tác này sẽ ẩn trang khỏi kết quả tìm kiếm của Google trong 90 ngày và cũng xóa bản sao được lưu trong bộ nhớ cache của trang và các đoạn trích khỏi chỉ mục của Google.
Kết luận: Có thể mất thời gian để Google nhận được yêu cầu hủy lập chỉ mục. Thường mất vài tuần để thay đổi có hiệu lực. Nếu nhận thấy các URL đó vẫn xuất hiện trong kết quả tìm kiếm của Google, rất có thể là do Google chưa thu thập dữ liệu trang web kể từ khi giử yêu cầu. Chúng ta có thể yêu cầu Google thu thập lại dữ liệu trang bằng công cụ Tìm nạp như Google.