Now that you know some tactics for ensuring search engine crawlers stay away from your unimportant content, let’s learn about the optimizations that can help Googlebot find your important pages.
Sometimes a search engine will be able to find parts of your site by crawling, but other pages or sections might be obscured for one reason or another. It's important to make sure that search engines are able to discover all the content you want indexed, and not just your homepage.
Ask yourself this: Can the bot crawl through your website, and not just to it?
A boarded-up door, representing a site that can be crawled to but not crawled through.
Is your content hidden behind login forms?
If you require users to log in, fill out forms, or answer surveys before accessing certain content, search engines won't see those protected pages. A crawler is definitely not going to log in.
Are you relying on search forms?
Robots cannot use search forms. Some individuals believe that if they place a search box on their site, search engines will be able to find everything that their visitors search for.
Is text hidden within non-text content?
Non-text media forms (images, video, GIFs, etc.) should not be used to display text that you wish to be indexed. While search engines are getting better at recognizing images, there's no guarantee they will be able to read and understand it just yet. It's always best to add text within the <HTML> markup of your webpage.
Can search engines follow your site navigation?
Just as a crawler needs to discover your site via links from other sites, it needs a path of links on your own site to guide it from page to page. If you’ve got a page you want search engines to find but it isn’t linked to from any other pages, it’s as good as invisible. Many sites make the critical mistake of structuring their navigation in ways that are inaccessible to search engines, hindering their ability to get listed in search results.
A depiction of how pages that are linked to can be found by crawlers, whereas a page not linked to in your site navigation exists as an island, undiscoverable.
Common navigation mistakes that can keep crawlers from seeing all of your site:
Having a mobile navigation that shows different results than your desktop navigation
Any type of navigation where the menu items are not in the HTML, such as JavaScript-enabled navigations. Google has gotten much better at crawling and understanding Javascript, but it’s still not a perfect process. The more surefire way to ensure something gets found, understood, and indexed by Google is by putting it in the HTML.
Personalization, or showing unique navigation to a specific type of visitor versus others, could appear to be cloaking to a search engine crawler
Forgetting to link to a primary page on your website through your navigation — remember, links are the paths crawlers follow to new pages!
This is why it's essential that your website has a clear navigation and helpful URL folder structures.
Do you have clean information architecture?
Information architecture is the practice of organizing and labeling content on a website to improve efficiency and findability for users. The best information architecture is intuitive, meaning that users shouldn't have to think very hard to flow through your website or to find something.
Are you utilizing sitemaps?
A sitemap is just what it sounds like: a list of URLs on your site that crawlers can use to discover and index your content. One of the easiest ways to ensure Google is finding your highest priority pages is to create a file that meets Google's standards and submit it through Google Search Console. While submitting a sitemap doesn’t replace the need for good site navigation, it can certainly help crawlers follow a path to all of your important pages.
Ensure that you’ve only included URLs that you want indexed by search engines, and be sure to give crawlers consistent directions. For example, don’t include a URL in your sitemap if you’ve blocked that URL via robots.txt or include URLs in your sitemap that are duplicates rather than the preferred, canonical version (we’ll provide more information on canonicalization in Chapter 5!).
Learn more about XML sitemaps
If your site doesn't have any other sites linking to it, you still might be able to get it indexed by submitting your XML sitemap in Google Search Console. There's no guarantee they'll include a submitted URL in their index, but it's worth a try!
अब जब आप खोज इंजन क्रॉलर को आपकी महत्वहीन सामग्री से दूर रखना सुनिश्चित करने के लिए कुछ युक्तियों को जानते हैं, तो आइए उन अनुकूलन के बारे में जानें जो Googlebot को आपके महत्वपूर्ण पृष्ठ खोजने में मदद कर सकते हैं।
कभी-कभी कोई खोज इंजन क्रॉल करके आपकी साइट के कुछ हिस्सों को ढूंढ पाएगा, लेकिन अन्य पृष्ठ या अनुभाग किसी न किसी कारण से अस्पष्ट हो सकते हैं। यह सुनिश्चित करना महत्वपूर्ण है कि खोज इंजन वह सभी सामग्री खोजने में सक्षम हैं जिसे आप अनुक्रमित करना चाहते हैं, न कि केवल आपका मुखपृष्ठ।
अपने आप से यह पूछें: क्या बॉट आपकी वेबसाइट के माध्यम से क्रॉल कर सकता है, न कि केवल उस पर?
एक बोर्डेड-अप दरवाजा, एक ऐसी साइट का प्रतिनिधित्व करता है जिसे क्रॉल किया जा सकता है लेकिन क्रॉल नहीं किया जा सकता है।
क्या आपकी सामग्री लॉगिन फ़ॉर्म के पीछे छिपी हुई है?
यदि आप चाहते हैं कि उपयोगकर्ता लॉग इन करें, फ़ॉर्म भरें, या कुछ सामग्री तक पहुँचने से पहले सर्वेक्षणों का उत्तर दें, तो खोज इंजन उन संरक्षित पृष्ठों को नहीं देख पाएंगे। एक क्रॉलर निश्चित रूप से लॉग इन नहीं करने वाला है।
क्या आप खोज प्रपत्रों पर निर्भर हैं?
रोबोट खोज प्रपत्रों का उपयोग नहीं कर सकते हैं। कुछ व्यक्तियों का मानना है कि यदि वे अपनी साइट पर एक खोज बॉक्स रखते हैं, तो खोज इंजन वह सब कुछ खोजने में सक्षम होंगे जो उनके आगंतुक खोजते हैं।
क्या टेक्स्ट गैर-पाठ्य सामग्री में छिपा हुआ है?
गैर-पाठ मीडिया प्रपत्र (छवियां, वीडियो, GIF, आदि) का उपयोग उस पाठ को प्रदर्शित करने के लिए नहीं किया जाना चाहिए जिसे आप अनुक्रमित करना चाहते हैं। जबकि खोज इंजन छवियों को पहचानने में बेहतर हो रहे हैं, इस बात की कोई गारंटी नहीं है कि वे इसे अभी पढ़ और समझ पाएंगे। अपने वेबपेज के <HTML> मार्कअप में टेक्स्ट जोड़ना हमेशा सबसे अच्छा होता है।
क्या खोज इंजन आपकी साइट के नेविगेशन का अनुसरण कर सकते हैं?
जिस तरह एक क्रॉलर को आपकी साइट को अन्य साइटों के लिंक के माध्यम से खोजने की आवश्यकता होती है, उसी तरह इसे आपकी साइट पर एक पृष्ठ से दूसरे पृष्ठ पर मार्गदर्शन करने के लिए लिंक के पथ की आवश्यकता होती है। यदि आपके पास एक ऐसा पृष्ठ है जिसे आप खोज इंजन खोजना चाहते हैं, लेकिन यह किसी अन्य पृष्ठ से लिंक नहीं है, तो यह उतना ही अच्छा है जितना कि अदृश्य। कई साइटें अपने नेविगेशन को ऐसे तरीकों से संरचित करने की गंभीर गलती करती हैं जो खोज इंजन के लिए दुर्गम हैं, जिससे खोज परिणामों में सूचीबद्ध होने की उनकी क्षमता में बाधा आती है।
क्रॉलर द्वारा लिंक किए गए पृष्ठों को कैसे ढूंढा जा सकता है, इसका एक चित्रण, जबकि आपकी साइट नेविगेशन में लिंक नहीं किया गया पृष्ठ एक द्वीप के रूप में मौजूद है, जिसे खोजा नहीं जा सकता है।
सामान्य नेविगेशन गलतियाँ जो क्रॉलर को आपकी पूरी साइट देखने से रोक सकती हैं:
ऐसा मोबाइल नेविगेशन होना जो आपके डेस्कटॉप नेविगेशन से भिन्न परिणाम दिखाता हो
किसी भी प्रकार का नेविगेशन जहां मेनू आइटम HTML में नहीं हैं, जैसे कि जावास्क्रिप्ट-सक्षम नेविगेशन। Google, Javascript को क्रॉल करने और समझने में बहुत बेहतर हो गया है, लेकिन यह अभी भी एक संपूर्ण प्रक्रिया नहीं है। यह सुनिश्चित करने का अधिक निश्चित तरीका है कि Google द्वारा कुछ पाया, समझा और अनुक्रमित किया जाए, इसे HTML में डालकर।
वैयक्तिकरण, या विशिष्ट प्रकार के विज़िटर बनाम अन्य के लिए अद्वितीय नेविगेशन दिखाना, किसी खोज इंजन क्रॉलर के लिए क्लोकिंग प्रतीत हो सकता है
अपने नेविगेशन के माध्यम से अपनी वेबसाइट पर एक प्राथमिक पृष्ठ से लिंक करना भूल जाना - याद रखें, लिंक वे पथ हैं जिनका क्रॉलर नए पृष्ठों पर अनुसरण करते हैं!
यही कारण है कि यह आवश्यक है कि आपकी वेबसाइट में एक स्पष्ट नेविगेशन और सहायक URL फ़ोल्डर संरचनाएं हों।
क्या आपके पास स्वच्छ सूचना वास्तुकला है?
सूचना वास्तुकला उपयोगकर्ताओं के लिए दक्षता और खोज क्षमता में सुधार के लिए वेबसाइट पर सामग्री को व्यवस्थित और लेबल करने का अभ्यास है। सर्वोत्तम सूचना संरचना सहज ज्ञान युक्त है, जिसका अर्थ है कि उपयोगकर्ताओं को आपकी वेबसाइट के माध्यम से प्रवाह करने या कुछ खोजने के लिए बहुत कठिन नहीं सोचना चाहिए।
क्या आप साइटमैप का उपयोग कर रहे हैं?
साइटमैप बिल्कुल वैसा ही है जैसा यह लगता है: आपकी साइट पर URL की एक सूची जिसका उपयोग क्रॉलर आपकी सामग्री को खोजने और अनुक्रमित करने के लिए कर सकते हैं। यह सुनिश्चित करने के सबसे आसान तरीकों में से एक है कि Google आपके सर्वोच्च प्राथमिकता वाले पृष्ठों को ढूंढ रहा है, एक ऐसी फ़ाइल बनाना जो Google के मानकों को पूरा करती है और इसे Google खोज कंसोल के माध्यम से सबमिट करती है। साइटमैप सबमिट करते समय अच्छे साइट नेविगेशन की आवश्यकता को प्रतिस्थापित नहीं करता है, यह निश्चित रूप से क्रॉलर को आपके सभी महत्वपूर्ण पृष्ठों के पथ का अनुसरण करने में मदद कर सकता है।
सुनिश्चित करें कि आपने केवल उन्हीं URL को शामिल किया है जिन्हें आप खोज इंजन द्वारा अनुक्रमित करना चाहते हैं, और क्रॉलर को सुसंगत दिशा-निर्देश देना सुनिश्चित करें। उदाहरण के लिए, अपने साइटमैप में एक URL शामिल न करें यदि आपने उस URL को robots.txt के माध्यम से ब्लॉक किया है या अपने साइटमैप में ऐसे URL शामिल करें जो पसंदीदा, विहित संस्करण के बजाय डुप्लिकेट हैं (हम अध्याय में विहितीकरण के बारे में अधिक जानकारी प्रदान करेंगे)
XML साइटमैप के बारे में और जानें
यदि आपकी साइट से लिंक करने वाली कोई अन्य साइट नहीं है, तो भी आप Google खोज कंसोल में अपना एक्सएमएल साइटमैप सबमिट करके इसे अनुक्रमित करने में सक्षम हो सकते हैं। इस बात की कोई गारंटी नहीं है कि वे अपनी अनुक्रमणिका में एक सबमिट किया गया URL शामिल करेंगे, लेकिन यह एक कोशिश के काबिल है!
