In the process of crawling the URLs on your site, a crawler may encounter errors. You can go to Google Search Console’s “Crawl Errors” report to detect URLs on which this might be happening - this report will show you server errors and not found errors. Server log files can also show you this, as well as a treasure trove of other information such as crawl frequency, but because accessing and dissecting server log files is a more advanced tactic, we won’t discuss it at length in the Beginner’s Guide, although you can learn more about it here.
Before you can do anything meaningful with the crawl error report, it’s important to understand server errors and "not found" errors.
Crawlers can encounter errors when they try to access URLs on a website. The most common types of errors that crawlers encounter are:
404 errors: These occur when a page or resource is not found on the server. This can happen if the URL is incorrect or if the page has been removed or moved to a different location.
500 errors: These occur when there is an internal server error. This can happen due to a misconfiguration or a problem with the website's code.
503 errors: These occur when the server is temporarily unavailable or overloaded. This can happen during times of high traffic or when the website is undergoing maintenance.
When a crawler encounters an error, it may not be able to index the affected pages, which can impact the website's overall search engine optimization (SEO) and visibility in search results. To prevent these issues, it's important to regularly monitor a website's crawl errors and fix any issues that are identified.
Webmasters can use tools such as Google Search Console to identify crawl errors on their website and to receive notifications when new errors are detected. They can also check their server logs to identify any server-related errors that may be impacting crawlers' ability to access their URLs. By addressing these errors promptly, webmasters can help to ensure that their website is fully crawlable and accessible to search engines
4xx Codes: When search engine crawlers can’t access your content due to a client error
5xx Codes: When search engine crawlers can’t access your content due to a server error
5xx errors are server errors, meaning the server the web page is located on failed to fulfill the searcher or search engine’s request to access the page. In Google Search Console’s “Crawl Error” report, there is a tab dedicated to these errors. These typically happen because the request for the URL timed out, so Googlebot abandoned the request. View Google’s documentation to learn more about fixing server connectivity issues.
Thankfully, there is a way to tell both searchers and search engines that your page has moved — the 301 (permanent) redirect.
Create custom 404 pages!
Customize your 404 page by adding in links to important pages on your site, a site search feature, and even contact information. This should make it less likely that visitors will bounce off your site when they hit a 404.
Learn more about custom 404 pages
A depiction of redirecting one page to another.
Say you move a page from example.com/young-dogs/ to example.com/puppies/. Search engines and users need a bridge to cross from the old URL to the new. That bridge is a 301 redirect.
When you do implement a 301: When you don’t implement a 301:
Link Equity Transfers link equity from the page’s old location to the new URL. Without a 301, the authority from the previous URL is not passed on to the new version of the URL.
Indexing Helps Google find and index the new version of the page. The presence of 404 errors on your site alone don't harm search performance, but letting ranking / trafficked pages 404 can result in them falling out of the index, with rankings and traffic going with them — yikes!
User Experience Ensures users find the page they’re looking for. Allowing your visitors to click on dead links will take them to error pages instead of the intended page, which can be frustrating.
The 301 status code itself means that the page has permanently moved to a new location, so avoid redirecting URLs to irrelevant pages — URLs where the old URL’s content doesn’t actually live. If a page is ranking for a query and you 301 it to a URL with different content, it might drop in rank position because the content that made it relevant to that particular query isn't there anymore. 301s are powerful — move URLs responsibly!
You also have the option of 302 redirecting a page, but this should be reserved for temporary moves and in cases where passing link equity isn’t as big of a concern. 302s are kind of like a road detour. You're temporarily siphoning traffic through a certain route, but it won't be like that forever.
आपकी साइट पर URL क्रॉल करने की प्रक्रिया में, क्रॉलर को त्रुटियां आ सकती हैं। आप उन URL का पता लगाने के लिए Google खोज कंसोल की "क्रॉल त्रुटियाँ" रिपोर्ट पर जा सकते हैं जिन पर यह हो रहा है - यह रिपोर्ट आपको सर्वर त्रुटियाँ दिखाएगी और त्रुटियाँ नहीं मिलीं। सर्वर लॉग फ़ाइलें आपको यह भी दिखा सकती हैं, साथ ही क्रॉल आवृत्ति जैसी अन्य जानकारी का खजाना भी दिखा सकती हैं, लेकिन क्योंकि सर्वर लॉग फ़ाइलों तक पहुंच और विदारक एक अधिक उन्नत रणनीति है, इसलिए हम शुरुआती मार्गदर्शिका में इस पर विस्तार से चर्चा नहीं करेंगे, हालांकि आप यहां इसके बारे में अधिक जान सकते हैं।
इससे पहले कि आप क्रॉल त्रुटि रिपोर्ट के साथ सार्थक कुछ कर सकें, सर्वर त्रुटियों और "नहीं मिला" त्रुटियों को समझना महत्वपूर्ण है।
4xx कोड: जब क्लाइंट त्रुटि के कारण सर्च इंजन क्रॉलर आपकी सामग्री तक नहीं पहुंच पाते हैं
4xx त्रुटियां क्लाइंट त्रुटियां हैं, जिसका अर्थ है कि अनुरोधित URL में खराब सिंटैक्स है या इसे पूरा नहीं किया जा सकता है। सबसे आम 4xx त्रुटियों में से एक "404 - नहीं मिली" त्रुटि है। ये URL टाइपो, हटाए गए पृष्ठ, या टूटे हुए रीडायरेक्ट के कारण हो सकते हैं, बस कुछ उदाहरणों के नाम पर। जब सर्च इंजन 404 पर पहुंच जाता है, तो वे यूआरएल तक नहीं पहुंच पाते हैं। जब उपयोगकर्ता 404 हिट करते हैं, तो वे निराश हो सकते हैं और छोड़ सकते हैं।
5xx कोड: जब सर्वर त्रुटि के कारण सर्च इंजन क्रॉलर आपकी सामग्री तक नहीं पहुंच पाते हैं
5xx त्रुटियां सर्वर त्रुटियां हैं, जिसका अर्थ है कि वेब पेज जिस सर्वर पर स्थित है वह खोजकर्ता या खोज इंजन के पृष्ठ तक पहुंचने के अनुरोध को पूरा करने में विफल रहा है। Google खोज कंसोल की "क्रॉल त्रुटि" रिपोर्ट में, इन त्रुटियों के लिए समर्पित एक टैब है। ऐसा आमतौर पर इसलिए होता है क्योंकि URL के लिए अनुरोध का समय समाप्त हो गया, इसलिए Googlebot ने अनुरोध छोड़ दिया। सर्वर कनेक्टिविटी समस्याओं को ठीक करने के बारे में अधिक जानने के लिए Google के दस्तावेज़ देखें।
शुक्र है, खोजकर्ताओं और खोज इंजन दोनों को यह बताने का एक तरीका है कि आपका पृष्ठ स्थानांतरित हो गया है - 301 (स्थायी) रीडायरेक्ट।
कस्टम 404 पेज बनाएं!
अपनी साइट पर महत्वपूर्ण पृष्ठों के लिंक, साइट खोज सुविधा और यहां तक कि संपर्क जानकारी जोड़कर अपने 404 पृष्ठ को अनुकूलित करें। इससे इस बात की संभावना कम हो जाएगी कि 404 पर आने पर विज़िटर आपकी साइट को बाउंस कर देंगे।
कस्टम 404 पृष्ठों के बारे में अधिक जानें
एक पृष्ठ को दूसरे पृष्ठ पर पुनर्निर्देशित करने का चित्रण।
मान लें कि आप किसी पृष्ठ को example.com/young-dogs/ से example.com/puppies/ पर ले जाते हैं। खोज इंजन और उपयोगकर्ताओं को पुराने URL से नए URL तक जाने के लिए एक सेतु की आवश्यकता होती है। वह पुल 301 रीडायरेक्ट है।
जब आप 301 लागू करते हैं: जब आप 301 लागू नहीं करते हैं:
लिंक इक्विटी ट्रांसफर पेज के पुराने स्थान से नए यूआरएल में इक्विटी लिंक करते हैं। 301 के बिना, पिछले URL का अधिकार URL के नए संस्करण को नहीं दिया जाता है।
अनुक्रमणिका पृष्ठ के नए संस्करण को खोजने और अनुक्रमित करने में Google की सहायता करती है। अकेले आपकी साइट पर ४०४ त्रुटियों की उपस्थिति खोज प्रदर्शन को नुकसान नहीं पहुंचाती है, लेकिन रैंकिंग/ट्रैफ़िक किए गए पृष्ठों ४०४ को देने से वे इंडेक्स से बाहर हो सकते हैं, रैंकिंग और ट्रैफ़िक उनके साथ जा रहे हैं - ओह!
उपयोगकर्ता अनुभव सुनिश्चित करता है कि उपयोगकर्ताओं को वह पृष्ठ मिल जाए जिसकी वे तलाश कर रहे हैं। अपने आगंतुकों को मृत लिंक पर क्लिक करने की अनुमति देने से वे इच्छित पृष्ठ के बजाय त्रुटि पृष्ठों पर पहुंच जाएंगे, जो निराशाजनक हो सकता है।
301 स्थिति कोड का ही अर्थ है कि पृष्ठ स्थायी रूप से एक नए स्थान पर चला गया है, इसलिए URL को अप्रासंगिक पृष्ठों पर पुनर्निर्देशित करने से बचें - वे URL जहां पुराने URL की सामग्री वास्तव में नहीं रहती है। यदि कोई पृष्ठ किसी क्वेरी के लिए रैंकिंग कर रहा है और आप इसे विभिन्न सामग्री वाले URL पर 301 करते हैं, तो यह रैंक स्थिति में गिर सकता है क्योंकि जिस सामग्री ने इसे उस विशेष क्वेरी के लिए प्रासंगिक बनाया है वह अब नहीं है। 301 शक्तिशाली हैं — URL को जिम्मेदारी से स्थानांतरित करें!
आपके पास एक पृष्ठ को 302 पुनर्निर्देशित करने का विकल्प भी है, लेकिन यह अस्थायी चालों के लिए आरक्षित होना चाहिए और ऐसे मामलों में जहां लिंक इक्विटी पास करना एक चिंता का विषय नहीं है। 302s एक तरह से एक सड़क चक्कर की तरह हैं। आप एक निश्चित मार्ग से अस्थायी रूप से ट्रैफ़िक का गबन कर रहे हैं, लेकिन यह हमेशा के लिए ऐसा नहीं रहेगा।
