Sử dụng thẻ meta Noindex, Nofollow HTML: Cách thông báo cho Google không lập chỉ mục trang trong tìm kiếm

Lập chỉ mục càng nhiều trang trên trang web của bạn càng tốt có thể rất hấp dẫn đối với các nhà tiếp thị đang cố gắngtăng thẩm quyền công cụ tìm kiếm của họ.

Tuy nhiên, mặc dù đúng là việc xuất bản nhiều trang có liên quan đến một từ khóa cụ thể (giả sử chúng cũng có chất lượng cao) sẽ cải thiện thứ hạng của bạn cho từ khóa đó, đôi khi thực sự có nhiều giá trị hơn trong việc giữ một số trang nhất định trên trang web của bạn ra chỉ mục của công cụ tìm kiếm.

… Nói gì cơ?!

Ở lại với chúng tôi, các bạn. Bài đăng này sẽ hướng dẫn bạn lý do tại sao bạn có thể muốn xóa một số trang web nhất định khỏi SERPs (trang kết quả của công cụ tìm kiếm) và chính xác cách thực hiện.

Hủy lập chỉ mục một trang từ Google

Có một số trường hợp bạn có thể muốn loại trừ một trang web — hoặc một phần của trang web — khỏi quá trình thu thập dữ liệu và lập chỉ mục của công cụ tìm kiếm như:

• Đếnngăn chặn nội dung trùng lặp (khi có nhiều phiên bản của một trang được công cụ tìm kiếm lập chỉ mục, chẳng hạn như trong phiên bản nội dung của bạn thân thiện với máy in) khỏi bị lập chỉ mục
• Để coi các trang đăng nhập và quản trị viên là mục đích sử dụng nội bộ trừ khi chúng được cộng đồng sử dụng
• Đối với một trang cảm ơn (nghĩa là trang mà khách truy cập truy cập sauchuyển đổi trên một trong các trang đích của bạn) nơi khách truy cập có quyền truy cập vào bất kỳ ưu đãi nào mà trang đích đã hứa, chẳng hạn như liên kết tới sách điện tử PDF

Đây là nội dung của trang cảm ơnebook thủ thuật SEO của chúng tôi trông giống như, ví dụ:

Bạn muốn bất kỳ ai truy cập trang cảm ơn của bạn đều đến đó vì họ đã điền vào biểu mẫu trên trang đích — không bởi vì họ đã tìm thấy trang cảm ơn của bạn trong tìm kiếm.

Tại sao không? Bởi vì bất kỳ ai tìm thấy trang cảm ơn của bạn trong tìm kiếm đều có thể truy cập trực tiếp vào các ưu đãi tạo khách hàng tiềm năng của bạn — mà không cần phải cung cấp cho bạn thông tin của họ để chuyển qua biểu mẫu thu hút khách hàng tiềm năng của bạn. Bất kỳ nhà tiếp thị nào hiểugiá trị của các trang đích hiểu tầm quan trọng của việc thu hút những khách truy cập đó làm khách hàng tiềm năng trước khi họ có thể truy cập phiếu mua hàng của bạn.

Tóm lại: Nếu các trang cảm ơn của bạn có thể dễ dàng tìm thấy thông qua một tìm kiếm đơn giản trên Google, bạn có thể để lại những khách hàng tiềm năng có giá trị trên bàn.

Tệ hơn nữa, bạn thậm chí có thể thấy rằng một số trang xếp hạng cao nhất cho một số từ khóa dài có thể là trang cảm ơn của bạn - điều đó có nghĩa là bạn có thể mời hàng trăm khách hàng tiềm năng bỏ qua các biểu mẫu thu hút khách hàng tiềm năng của mình. Đó là lý do khá thuyết phục khiến bạn muốn xóa một số trang web của mình khỏi SERP.

Vì vậy, bạn làm cách nào để “hủy lập chỉ mục” một số trang nhất định khỏi công cụ tìm kiếm? Dưới đây là ba cách để làm điều đó.

3 cách để loại bỏ chỉ mục trang web khỏi công cụ tìm kiếm

Robots.txt để De-Index

Sử dụng nếu: Bạn muốn kiểm soát nhiều hơn những gì bạn hủy lập chỉ mục và bạn có các tài nguyên kỹ thuật cần thiết.

Một cách để xóa một trang khỏi kết quả của công cụ tìm kiếm là thêm tệp robots.txt vào trang web của bạn. Ưu điểm của việc sử dụng phương pháp này là bạn có thể kiểm soát nhiều hơn những gì bạn đang cho phép bot lập chỉ mục. Kết quả? Bạn có thể chủ động loại bỏ nội dung không mong muốn khỏi kết quả tìm kiếm.

Trong tệp robots.txt, bạn có thể chỉ định xem bạn muốn chặn bot từ một trang, toàn bộ thư mục hay thậm chí chỉ một hình ảnh hoặc tệp. Ngoài ra còn có một tùy chọn để ngăn trang web của bạn bị thu thập thông tin trong khi vẫn cho phép quảng cáo Google AdSense hoạt động nếu bạn có chúng.

Nói như vậy, trong số hai lựa chọn có sẵn cho bạn, lựa chọn này yêu cầu kung fu kỹ thuật nhất. Để tìm hiểu cách tạo tệp robots.txt, bạn sẽ muốn đọc qua bài báo này giải thích chính xác làm thế nào để làm điều đó..

Khách hàng của HubSpot: Bạn có thể tìm hiểu cách cài đặt tệp robots.txt trên trang web của mình tại đâyvà tìm hiểu cách tùy chỉnh nội dung của tệp Robots.txttại đây.

Nếu bạn không cần toàn quyền kiểm soát tệp robots.txt và đang tìm kiếm một giải pháp dễ dàng hơn, ít kỹ thuật hơn, thì tùy chọn thứ hai này là dành cho bạn.

Htaccess Không có chỉ mục Không Theo dõi để hủy chỉ mục

Sử dụng nếu: Trang web của bạn đang chạy trên Apache và mod_headers được bật, đây là một giải pháp nhanh chóng.

Trong trường hợp này, bạn có thể đính kèm dòng này vào tệp .htaccess của mình:

Bộ tiêu đề X-Robots-Tag “noindex, nofollow”

Để biểu thị rằng trang web của bạn có thể được lập chỉ mục, nhưng không bao giờ được hiển thị trong bất kỳ kết quả tìm kiếm nào của Google.

Meta Không có chỉ mục Không theo dõi để hủy chỉ mục

Sử dụng nếu: Bạn muốn một giải pháp dễ dàng hơn để hủy lập chỉ mục toàn bộ trang web và/hoặc hủy lập chỉ mục các liên kết trên toàn bộ trang web.

Sử dụng thẻ meta để ngăn một trang xuất hiện trong SERPs - và/hoặc các liên kết trên một trang - vừa dễ dàng vừa hiệu quả. Nó chỉ yêu cầu một chút bí quyết kỹ thuật — trên thực tế, đó thực sự chỉ là công việc sao chép/dán nếu bạn sử dụng đúng cách.hệ thống quản lí nội dung.

Các thẻ cho phép bạn thực hiện những điều này được gọi là “noindex” và “nofollow”. Trước khi tìm hiểu cách thêm các thẻ này, hãy dành chút thời gian để xác định và phân biệt giữa hai thẻ này. Xét cho cùng, chúng là hai chỉ thị hoàn toàn khác nhau — và chúng có thể được sử dụng riêng lẻ hoặc cùng với nhau.

Thẻ “noindex” là gì?

Khi bạn thêm thẻ meta “noindex” vào một trang web, nó thông báo cho công cụ tìm kiếm rằng mặc dù nó có thể thu thập dữ liệu trang, nhưng nó không thể thêm trang vào chỉ mục tìm kiếm của nó.

Vì vậy, bất kỳ trang nào có lệnh “noindex” trên đó sẽ không đi vào chỉ mục tìm kiếm của công cụ tìm kiếm và do đó không thể được hiển thị trong các trang kết quả của công cụ tìm kiếm.

Thẻ “nofollow” là gì?

Khi bạn thêm thẻ meta “nofollow” vào trang web, nó không cho phép các công cụ tìm kiếm thu thập thông tin liên kết trên trang đó. Điều này cũng có nghĩa là bất kỳ cơ quan xếp hạng nào mà trang có trên SERPs sẽ không được chuyển đến các trang mà nó liên kết đến.

Vì vậy, bất kỳ trang nào có chỉ thị “nofollow” trên đó sẽ có tất cả các liên kết của nó bị Google và các công cụ tìm kiếm khác bỏ qua.

Như tôi đã nói trước đây, bạn có thể thêm lệnh “noindex” riêng lẻ hoặc cùng với lệnh “nofollow”. Bạn cũng có thể thêm chỉ thị “nofollow”.

Khi nào nên sử dụng “noindex” và “nofollow” riêng biệt

Chỉ thêm thẻ “noindex” khi bạn không muốn một công cụ tìm kiếm lập chỉ mục trang web của bạn trong tìm kiếm, nhưng bạn do muốn nó đi theo các liên kết trên trang đó — do đó trao quyền xếp hạng cho các trang khác mà trang của bạn liên kết đến.

Các trang đích trả phí là một ví dụ tuyệt vời về điều này. Bạn không muốn các công cụ tìm kiếm lập chỉ mục các trang đích mà mọi người phải trả tiền để xem, nhưng bạn có thể muốn các trang mà nó liên kết được hưởng lợi từ quyền hạn của nó.

Chỉ thêm thẻ “nofollow” khi bạn do muốn một công cụ tìm kiếm lập chỉ mục trang web của bạn trong tìm kiếm, nhưng bạn không muốn nó đi theo các liên kết trên trang đó.

Không có quá nhiều ví dụ về trường hợp bạn thêm thẻ “nofollow” vào toàn bộ trang mà không thêm thẻ “noindex”. Khi bạn đang tìm hiểu xem phải làm gì trên một trang nhất định, câu hỏi quan trọng hơn là có nên thêm thẻ “noindex” có hoặc không có thẻ “nofollow”.

Khi nào nên sử dụng “noindex, nofollow” cùng nhau

Thêm cả thẻ “noindex” và “nofollow” khi bạn không muốn công cụ tìm kiếm lập chỉ mục một trang web trong tìm kiếm và bạn không muốn nó đi theo các liên kết trên trang đó.

Các trang cảm ơn là một ví dụ tuyệt vời về tình huống này. Bạn không muốn các công cụ tìm kiếm lập chỉ mục trang cảm ơn của bạn, bạn cũng không muốn chúng đi theo liên kết đến ưu đãi của bạn và bắt đầu lập chỉ mục nội dung của ưu đãi đó.

Cách thêm thẻ Meta “noindex” và/hoặc “nofollow”

Bước 1: Sao chép một trong các thẻ sau.

Đối với “noindex”:

Đối với “nofollow”:

Đối với cả “noindex” và “nofollow”:

Bước 2: Thêm thẻ vào phần HTML của trang của bạn, hay còn gọi là tiêu đề của trang.

Nếu bạn là khách hàng của HubSpot, điều này cực kỳ dễ dàng — hãy nhấp vào đây hoặc cuộn xuống để xem các hướng dẫn dành riêng cho người dùng HubSpot.

Nếu bạn không một khách hàng của HubSpot, thì bạn sẽ phải dán thẻ này vào mã trên trang web của mình theo cách thủ công. Đừng lo lắng - nó khá đơn giản. Đây là cách bạn làm điều đó.

Đầu tiên, hãy mở mã nguồn của trang web mà bạn đang cố gắng hủy lập chỉ mục. Sau đó, dán thẻ đầy đủ vào một dòng mới trong phần HTML của trang của bạn, được gọi là tiêu đề của trang. Các ảnh chụp màn hình bên dưới sẽ hướng dẫn bạn thực hiện điều đó.

Các thẻ biểu thị phần đầu của tiêu đề của bạn:

Đây là thẻ meta cho cả “noindex” và “nofollow” được dán trong tiêu đề:

Và thẻ biểu thị phần cuối của tiêu đề:

Bùm! Đó là nó. Thẻ này yêu cầu công cụ tìm kiếm quay lại và biến mất, khiến trang không xuất hiện trong bất kỳ kết quả tìm kiếm nào.

Không có chỉ mục Không theo dõi trong HubSpot

Việc thêm thẻ meta “noindex” và “nofollow” thậm chí còn dễ dàng hơn. Tất cả những gì bạn phải làm là mở công cụ HubSpot tới trang bạn muốn thêm các thẻ này vào và chọn tab “Cài đặt”.

Tiếp theo, trong Tùy chọn nâng cao và nhấp vào “Head HTML”. Trong cửa sổ bên dưới, dán đoạn mã thích hợp. Trong ví dụ bên dưới, tôi đã thêm cả thẻ “noindex” và thẻ “nofollow” vì đây là trang cảm ơn.

Nhấn “Lưu” và bạn đã thành công.

Thành công Không có Chỉ mục Không Theo dõi Trang

Bạn vừa xóa trang của mình khỏi kết quả của công cụ tìm kiếm một cách kỳ diệu. Giờ đây, bạn có thể bắt đầu nắm bắt lại nhiều khách hàng tiềm năng đã mất.

Bây giờ, hãy nhớ rằng bạn sẽ không thấy kết quả ngay lập tức. Những thay đổi của bạn sẽ không có hiệu lực cho đến lần tiếp theo công cụ tìm kiếm thu thập dữ liệu trang của bạn. Tùy thuộc vào tần suất bạn thường xuất bản các trang mới trên trang web của mình, việc này thực sự có thể mất vài tuần. Bạn xuất bản nội dung càng thường xuyên thì các công cụ tìm kiếm sẽ thu thập dữ liệu trang web của bạn càng thường xuyên. Cách tốt nhất để theo dõi tần suất Google truy cập trang web của bạn là kiểm trathống kê thu thập thông tin in Google Webmaster Tools.

Tóm lại: Nếu bạn nhận thấy trang của mình vẫn xuất hiện trong kết quả tìm kiếm của Google ngay cả với thẻ “noindex”, thì có thể là do Google chưa thu thập dữ liệu trang web của bạn kể từ khi bạn thêm thẻ. Bạn có thể yêu cầu Google thu thập lại dữ liệu trang của bạn bằng cách sử dụng Tìm nạp như công cụ của Google.

Ngoài ra, hãy lưu ý rằng trình thu thập dữ liệu web của một số công cụ tìm kiếm có thể diễn giải những chỉ thị này khác với Google, do đó trang của bạn có thể vẫn xuất hiện trong kết quả từ các công cụ tìm kiếm khác. Nhưng đối với Google, nó sẽ hoạt động tốt — một khi nó bắt đầu thu thập dữ liệu trang web của bạn.

Dù thế nào đi nữa, bạn sẽ có thể ngủ dễ dàng hơn một chút khi biết rằng cuối cùng bạn đã biến trang web của mình thành một nơi tốt hơn cho hoạt động tiếp thị của mình.

Ghi chú của biên tập viên: Bài báo này ban đầu được xuất bản vào tháng 2016 năm XNUMX và đã được cập nhật để có tính toàn diện.

Nguồn: https://blog.hubspot.com/marketing/how-to-unindex-pages-from-search-engines