Mọi quản trị viên web đều biết rằng để mọi người bắt đầu truy cập tài nguyên của anh ấy từ các công cụ tìm kiếm, tài nguyên đó cần được lập chỉ mục. Về việc lập chỉ mục trang web là gì, nó được thực hiện như thế nào và ý nghĩa của nó, chúng tôi sẽ nói trong bài viết này.
Lập chỉ mục là gì?
Vì vậy, từ "lập chỉ mục" tự nó có nghĩa là nhập một cái gì đó vào sổ đăng ký, một cuộc điều tra dân số của các tài liệu có sẵn. Nguyên tắc tương tự cũng áp dụng cho việc lập chỉ mục trang web. Trên thực tế, quá trình này cũng có thể được gọi là nhập thông tin về tài nguyên Internet vào cơ sở dữ liệu của công cụ tìm kiếm.
Do đó, ngay sau khi người dùng nhập một cụm từ khác vào trường tìm kiếm của Google, tập lệnh sẽ trả về một kết quả cho họ, bao gồm tiêu đề trang web của bạn và mô tả ngắn gọn mà chúng tôi thấy bên dưới.
Việc lập chỉ mục được thực hiện như thế nào?
Bản thân việc lập chỉ mục ("Yandex", hoặc Google - không đóng vai trò gì) khá đơn giản. Toàn bộ trang web của Internet, tập trung vào cơ sở dữ liệu địa chỉ ip mà các công cụ tìm kiếm có, được quét bởi các rô bốt mạnh mẽ - "nhện" thu thậpthông tin về trang web của bạn. Mỗi công cụ tìm kiếm đều có một số lượng rất lớn và chúng hoạt động tự động 24 giờ một ngày. Nhiệm vụ của họ là truy cập trang web của bạn và "đọc" tất cả nội dung trên đó, đồng thời nhập dữ liệu vào cơ sở dữ liệu.
Do đó, về lý thuyết, việc lập chỉ mục trang web không phụ thuộc nhiều vào chủ sở hữu của tài nguyên. Yếu tố quyết định ở đây là robot tìm kiếm đến trang web và khám phá nó. Đây là điều ảnh hưởng đến tốc độ trang web của bạn xuất hiện trong kết quả tìm kiếm.
Điều khoản lập chỉ mục?
Tất nhiên, sẽ có lợi cho mọi quản trị viên web nếu tài nguyên của mình xuất hiện trong kết quả tìm kiếm càng nhanh càng tốt. Điều này trước hết sẽ ảnh hưởng đến các điều khoản đưa trang web lên vị trí đầu tiên và thứ hai, khi các giai đoạn kiếm tiền đầu tiên của trang web bắt đầu. Do đó, rô bốt tìm kiếm "ăn" tất cả các trang trong tài nguyên của bạn càng sớm thì càng tốt.
Mỗi công cụ tìm kiếm có thuật toán riêng để nhập dữ liệu trang web vào cơ sở dữ liệu của nó. Ví dụ: việc lập chỉ mục các trang trong Yandex được thực hiện theo từng giai đoạn: rô bốt quét các trang web liên tục, sau đó sắp xếp thông tin, sau đó cái gọi là “cập nhật” sẽ diễn ra, khi tất cả các thay đổi có hiệu lực. Tính thường xuyên của các sự kiện như vậy không được công ty thiết lập: chúng được tổ chức 5-7 ngày một lần (theo quy định), tuy nhiên, chúng có thể diễn ra trước cả 2 và 15 ngày.
Đồng thời, việc lập chỉ mục của trang web trong Google theo một mô hình khác. Trong công cụ tìm kiếm này, các "cập nhật" (cập nhật cơ sở) như vậy diễn ra thường xuyên, do đó, hãy đợi mọi lúc cho đến khi rô-bốt nhập thông tin vào cơ sở dữ liệu, sau đósẽ được đặt hàng vài ngày một lần, không cần.
Dựa trên những điều trên, chúng ta có thể rút ra kết luận sau: các trang ở Yandex được thêm vào sau 1-2 lần "cập nhật" (tức là trung bình trong 7-20 ngày) và trong Google, điều này có thể diễn ra nhanh hơn nhiều - theo đúng nghĩa đen trong ngày.
Đồng thời, tất nhiên, mỗi công cụ tìm kiếm có những đặc thù riêng về cách thức lập chỉ mục được thực hiện. Ví dụ: Yandex có một cái gọi là "bot nhanh" - một robot có thể nhập dữ liệu vào vấn đề trong vài giờ. Đúng là không dễ để khiến anh ấy truy cập tài nguyên của bạn: điều này chủ yếu liên quan đến tin tức và các sự kiện nổi tiếng khác nhau đang phát triển trong thời gian thực.
Làm thế nào để vào chỉ mục?
Câu trả lời cho câu hỏi làm thế nào để lập chỉ mục trang web của bạn trong các công cụ tìm kiếm vừa đơn giản vừa phức tạp. Lập chỉ mục trang là một hiện tượng tự nhiên và nếu bạn thậm chí không nghĩ đến điều đó, nhưng chỉ cần giữ blog của bạn, dần dần lấp đầy nó với thông tin, các công cụ tìm kiếm sẽ "nuốt" nội dung của bạn một cách hoàn hảo theo thời gian.
Một điều nữa là khi bạn cần tăng tốc độ lập chỉ mục trang, chẳng hạn như nếu bạn có một mạng được gọi là "vệ tinh" (các trang web được thiết kế để bán liên kết hoặc đặt quảng cáo, chất lượng của chúng thường kém hơn). Trong trường hợp này, bạn cần thực hiện các biện pháp để rô bốt chú ý đến trang web của bạn. Những điều sau được coi là phổ biến: thêm URL của trang web vào một biểu mẫu đặc biệt (nó được gọi là "AddUrl"); chạy địa chỉ tài nguyên thông qua các thư mục liên kết; thêm địa chỉ vào thư mụcdấu trang và hơn thế nữa. Có rất nhiều cuộc thảo luận trên các diễn đàn SEO về cách hoạt động của từng phương pháp này. Như thực tế cho thấy, mỗi trường hợp là duy nhất và rất khó để tìm chính xác hơn lý do tại sao một trang web được lập chỉ mục trong 10 ngày và trang web còn lại trong 2 tháng.
Làm thế nào để tăng tốc độ vào chỉ mục?
Tuy nhiên, logic đằng sau việc đưa một trang web vào chỉ mục nhanh hơn là dựa trên việc liên kết đến nó. Đặc biệt, chúng ta đang nói về việc đặt URL trên các trang web miễn phí và công cộng (dấu trang, thư mục, blog, diễn đàn); về việc mua các liên kết trên các trang web lớn và phổ biến (ví dụ: sử dụng sàn giao dịch Sape); cũng như thêm sơ đồ trang web vào biểu mẫu addURL. Có lẽ có những phương pháp khác, nhưng những phương pháp đã được liệt kê có thể được gọi là phổ biến nhất một cách an toàn. Nhắc lại, nói chung, mọi thứ phụ thuộc vào trang web và sự may mắn của chủ sở hữu nó.
Những trang nào được lập chỉ mục?
Theo vị trí chính thức của tất cả các công cụ tìm kiếm, các trang web vượt qua một loạt bộ lọc sẽ được đưa vào chỉ mục. Không ai biết sau này có những yêu cầu gì. Người ta chỉ biết rằng theo thời gian, tất cả đều cải tiến theo cách lọc ra các trang giả mạo được tạo ra để kiếm tiền bằng cách bán các liên kết và các tài nguyên khác không mang thông tin hữu ích cho người dùng. Tất nhiên, đối với những người tạo ra các trang web này, nhiệm vụ chính là lập chỉ mục các trang càng nhiều càng tốt (để thu hút khách truy cập, bán liên kết, v.v.).tiếp theo).
Công cụ tìm kiếm cấm tài nguyên nào?
Dựa trên thông tin trước đó, chúng tôi có thể kết luận trang web nào có nhiều khả năng không lọt vào SERPs nhất. Thông tin tương tự được lên tiếng bởi đại diện chính thức của các công cụ tìm kiếm. Trước hết, đây là những trang chứa nội dung không độc đáo, được tạo tự động và không hữu ích cho người truy cập. Tiếp theo là các tài nguyên trong đó có tối thiểu thông tin, được tạo ra để bán các liên kết, v.v.
Đúng, nếu bạn phân tích kết quả của các công cụ tìm kiếm, bạn có thể tìm thấy tất cả các trang web này trong đó. Do đó, nếu chúng ta nói về các trang web sẽ không xuất hiện trong kết quả tìm kiếm, chúng ta cần lưu ý không chỉ nội dung không duy nhất mà còn một số yếu tố khác - nhiều liên kết, cấu trúc được tổ chức không phù hợp, v.v.
Ẩn nội dung. Làm cách nào để tắt lập chỉ mục trang?
Công cụ tìm kiếm thu thập thông tin tất cả nội dung trên trang web. Tuy nhiên, có một kỹ thuật mà bạn có thể hạn chế quyền truy cập của rô bốt tìm kiếm vào một phần cụ thể. Điều này được thực hiện bằng cách sử dụng tệp robots.txt mà "trình thu thập dữ liệu" của công cụ tìm kiếm phản ứng.
Nếu tệp này được đặt trong thư mục gốc của trang web, việc lập chỉ mục các trang sẽ tiến hành theo tập lệnh được viết trong đó. Đặc biệt, bạn có thể vô hiệu hóa lập chỉ mục bằng một lệnh duy nhất - Disallow. Ngoài ra, tệp cũng có thể chỉ định các phần của trang web mà lệnh cấm này sẽ áp dụng. Ví dụ: để cấm chỉ mục của toàn bộ trang web, chỉ cần chỉ địnhmột dấu gạch chéo "/"; và để loại trừ phần “cửa hàng” khỏi kết quả tìm kiếm, bạn chỉ cần chỉ định đặc điểm sau trong tệp của mình là đủ: “/ shop”. Như bạn có thể thấy, mọi thứ đều logic và cực kỳ đơn giản. Việc lập chỉ mục trang đóng lại rất dễ dàng. Đồng thời, rô bốt tìm kiếm truy cập trang của bạn, đọc tệp robots.txt và không nhập dữ liệu vào cơ sở dữ liệu. Vì vậy, bạn có thể dễ dàng thao tác để xem các đặc điểm nhất định của các trang web trong tìm kiếm. Bây giờ chúng ta hãy nói về cách chỉ mục được kiểm tra.
Làm cách nào để kiểm tra lập chỉ mục trang?
Có một số cách để tìm ra số lượng và trang nào có trong cơ sở dữ liệu Yandex hoặc Google. Đầu tiên - đơn giản nhất - là đặt yêu cầu tương ứng trong biểu mẫu tìm kiếm. Nó trông giống như sau: site: domen.ru, trong đó thay vì domen.ru bạn viết, tương ứng, địa chỉ của trang web của bạn. Khi bạn đưa ra yêu cầu như vậy, công cụ tìm kiếm sẽ hiển thị tất cả các kết quả (trang) nằm tại URL được chỉ định. Hơn nữa, ngoài việc chỉ cần liệt kê tất cả các trang, bạn cũng có thể xem tổng số tài liệu được lập chỉ mục (ở bên phải của cụm từ "Số kết quả").
Cách thứ hai là kiểm tra việc lập chỉ mục trang bằng các dịch vụ chuyên biệt. Hiện tại có một số lượng lớn trong số chúng, nói riêng chúng có thể được gọi là xseo.in và cy-pr.com. Trên các tài nguyên như vậy, bạn không chỉ có thể xem tổng số trang mà còn có thể xác định chất lượng của một số trang. Tuy nhiên, bạn chỉ cần điều này nếu bạn hiểu sâu hơn về chủ đề này. Theo quy luật, đây là những công cụ SEO chuyên nghiệp.
Về lập chỉ mục "bắt buộc"
Tôi cũng muốn viết một chút về cái gọi làLập chỉ mục "cưỡng bức", khi một người cố gắng đưa trang web của mình vào chỉ mục bằng nhiều phương pháp "tích cực" khác nhau. Các nhà tối ưu hóa không khuyên bạn nên làm điều này.
Công cụ tìm kiếm, ít nhất, nhận thấy hoạt động quá mức liên quan đến một tài nguyên mới, có thể áp đặt một số loại trừng phạt ảnh hưởng tiêu cực đến trạng thái của trang web. Do đó, tốt hơn hết là bạn nên làm mọi thứ để việc lập chỉ mục các trang trông tự nhiên, dần dần và trôi chảy nhất có thể.
