لا حاجة لملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث

كثيرة هي الشروحات في القسم تتحدث عن كيفيه التعامل مع ملف robots.txt
لكن لماذا التعقيد ياترى على آصحاب المواقع؟
وخصوصاً هذا الملف أقل خطأ يكلف صاحب الموقع ألكثير!

تابعوآ معي هذا المقال من صفحة مساعدة مشرفين المواقع

<table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td valign="bottom" width="75"> <table border="0" cellpadding="0" cellspacing="0" width="50">
<tr>
<td class="smallfont" valign="top" width="28"> [وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]</td>
<td class="smallfont" style="background-image: url('AGT04-b/misc/quotes/quote-bg.gif'); background-position: center;" valign="middle" width="100%"> اقتباس</td>
<td class="smallfont" valign="top"> [وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]</td>
</tr>
</table>
</td>
<td style="background-image: url('AGT04-b/misc/quotes/quot-lr-bg.gif')" align="left" valign="bottom">
</td>

<td align="right" valign="bottom" width="100%"> <table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td width="100%"> <table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td style="background-image: url('AGT04-b/misc/quotes/quot-top-bg.gif')" valign="middle" width="100%">
</td>
<td class="smallfont" align="left" valign="top"> [وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]</td>
</tr>
</table>
</td>
</tr>
</table>
</td>
</tr>
</table>
<table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td style="background-image: url('AGT04-b/misc/quotes/quoting-left.gif')" width="10">
</td>
<td bgcolor="#ffffff" valign="top" width="100%">
</td>
<td style="background-image: url('AGT04-b/misc/quotes/quoting-right.gif')" width="10">
</td>
</tr>
<tr>
<td style="background-image: url('AGT04-b/misc/quotes/quot-left-bg.gif')" width="10">
</td>
<td class="smallfont" bgcolor="#ffffff" valign="top" width="100%"> إخفاق برامج الروبوت

قبل زحف Googlebot إلى موقعك، يدخل إلى ملف robots.txt
لتحديد إذا كان موقعك يمنع محرك بحث Google من الزحف إلى أية صفحات أو
عناوين URL. إذا كان ملف robots.txt موجودًا ولكن لا يمكن الوصول إليه
(بمعنى آخر، إذا لم يعرض رمز حالة HTTP لخطأ 200 أو 404)، فسنؤجل الزحف
بدلاً من المخاطرة بالزحف إلى عناوين URL غير مسموح بها. وعندما يحدث هذا،
فسيعود Googlebot إلى موقعك ويزحف إليه فور تمكننا من الدخول بنجاح إلى
ملف robots.txt. مزيد من المعلومات حول بروتوكول استبعاد برامج الروبوت.
(ولا حاجة إلى ملف
robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات
البحث. أما إذا أردت أن تفهرس محركات البحث جميع محتوى موقعك، فلا حاجة
إلى ملف robots.txt—حتى ولو كان فارغًا. إذا لم يتوفر لديك ملف
robots.txt، فإن خادمك سيعرض خطأ 404 عندما يطلب Googlebot هذا الملف،
وسنستمر في الزحف إلى موقعك. ليست هناك مشكلة.)

</td>
<td style="background-image: url('AGT04-b/misc/quotes/quot-right-bg.gif')" width="10">
</td>
</tr>
<tr>
<td valign="bottom" width="10"> [وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]</td>
<td style="background-image: url('AGT04-b/misc/quotes/quot-bot-bg.gif')" width="100%">
</td>
<td valign="bottom" width="10"> [وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]</td>
</tr>
</table>

الخلاصة:اذا كنت لاتريد ان تحجب شيء
معين عن روبورتات محركات البحث لاداعي لوجود الملف من آصله,قُم بحذفه فـ
بوجوده او عدم وجوده الروبورت سيتم الزحف بدون أي مشاكل تذكر
سؤال صاحب موقع يستخدم vBulletin:طيب أنا بحجب الحاجات الغير مهمه بواسطة هذا الملف ياترى هل أقدر أستثني هذه الأشياء؟
أقول لك نعم أخي العزيز بكل بساطه مجرد تلاعب قليلاً على
قوالب الستايل+اللغات والعبارات+صلاحيات المجموعة رقم 1
وسنأخذ أقتباس من موضوع ألعمدة:حل مشكلة " جوجل يشاهد التقويم "
بالنسبة لصلاحيات المجموعة رقم 1=مجموعة الزوار او البعض يسميها الضيوف
لوحة تحكم المنتدى-مجموعة الاعضاء-التحكم بالمجموعات-أضغط تعديل على مجموعة الزوار التي تحمل الرقم 1
[وحدهم المديرون لديهم صلاحيات معاينة هذه الصورة]

لا حاجة لملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث

اشترك معنا على اليوتيوب اولاً ثم اضغط على خروج للتمكن مشاهدة الموضوع