تعليم اكثر من طريقة لاشهار موقعك علي محركات البحث العالمية مجانا

من الاشياء المهمة جدا لاشهار موقعك لابد من عمل خريطة الموقع sitemap وايضا لابد من إنشاء ملف robots .txt
ويمكنك عمل خريطة الموقع sitemap بدون برامج
اتبع الشرح الاتي


كود PHP:
<?xml version="1.0" encoding="UTF-8"?>

كود PHP:
<loc>http://www.knoooz.com/vb/showthread.php?=ae494cbbcca671020f62ade9668badbe&threadid=18084</loc>
<lastmod>2010-05-03T17:48:42Z</lastmod>
<changefreq>weekly</changefreq>
<priority>0.2</priority>
</url>


[/center]

فى اغلب انواع المنتديات يوجد روابط لا نريد من محركات البحث ان تتفحصها واظهارها فى نتائج البحث مثل التعليمات والسي بنل ولوحة التحكم وغيرها من الصفحات المهمة وايضا نريد سرعة وصول المحركات الي الروابط التي نريد ارشفتها واظهارها
طريقة منع محركات البحث من الوصول الى صفحات معينة بموقعك واظهار ما نريد اظهاره

عن طريق عمل ملف robots.txt
هو عبارة عن دليل لمحركات البحث لتسهيل الوصول السريع لمحتويات موقعك . فعناكب محركات البحث عندما تقوم بالتوغل في موقعك لأرشفته فإنها تبحث عن ملف robots.txt في البداية حتى يسهل عليها التوغل في موقعك وارشفة مايريده صاحب الموقع وتجنب ما لا يريده .
فمثلاً / لو أردنا محرك بحث مثل قوقل زيارة كافة المحتويات في موقعنا عدا مجلد اسمه forum ، بإمكان تسهيل هذا الامر على عناكب البحث وعلينا أيضاً حتى لا يتم ارشفته . أيضاً بإمكاننا منع محرك بحث معين من الوصول إلى محتويات الموقع لأرشفته .
طريقة انشاء ملف robots.txt
الطريقة سهلة فكل ماعليك هو انشاء الملف بواسطة (المفكرة) notpad مثلاً وحفظه باسم robots.txt ثم رفعه إلى مجلد موقعك الرئيسي . حسناً .. قبل رفع الملف علينا أن نكتب الامر الذي يمكننا من منع العناكب من الوصول إلى بعض المحتويات التي لا نريدها أو منع محرك بحث معين لعدم التوغل في الموقع وأرشفته باتباع مايلي :






كود PHP:
User-agent: *




كود PHP:
Disallow:





نلاحظ في الكود السابق ان user-agent تعني العميل أو العنكبوت (محرك البحث) ، و Disallow تستخدم لحجب المجلدات الخاصة ، أيضاً النجمة التي امام user-agent تعني السماح لكافة محركات البحث بالتوغل .

السماح لجميع محركات البحث بالتوغل في الموقع ونمنعهم من الوصول إلى المجلدات forum ، up .




كود PHP:
User-agent: *



كود PHP:
Disallow: /forum/
Disallow: /up/







لكي تقوم بمنع عناكب محرك بحث مثلاً قوقل من الوصول إلى موقعك اضف الكود التالي :


كود PHP:
User-agent: google




كود PHP:
Disallow: /






ولكي تسمح لمحرك البحث قوقل فقط بالدخول للموقع وتمنع باقي محركات البحث من الدخول اتبع التالي :


كود PHP:
User-agent: google




كود PHP:
allow:







الفرق بين الكودين السابقين هو علامة ( / ) بعد Disallow فعند وضعها تقوم بمنع وعند ازالة تسمح .
لاحظ أيضاً أنه يجب وضع علامة ( / ) قبل المجلدات التي نريد منعها علماً بأنها العلامة تعني جميع المجلدات وبالتالي فإنك تقوم عند وضعها بمنع العناكب من جميع المجلدات .
بالإمكان حجب (منع) عنكبوت معين من الوصول إلى المجلدات كما ذكرنا سابقاً ، ولكي نقوم ايضاً بالسماح لمحركات البحث الأخرى بالوصول إلى المجلدات عدا مجلد معين مثلاً private فنقوم بكتابة الكود التالي :


ك

كود PHP:
User-agent: google


كود PHP:
allow:
User-agent: * Disallow: /private






إن المسافة الفاصلة بين User-agent الأول والثاني هي التي تبين أننا قمنا في الاول بمنع محرك البحث قوقل وفي الثاني بالسماح لباقي محركات البحث (عناكب) الوصول إلى المجلدات عدا المجلد private .
بالامكان أيضاً منع العناكب من الوصول إلى ملفات معينه وذلك بوضع Disallow: واسم الملف وهكذا كما يلي :
هذه الملفات التي قمنا بمنع العناكب من الوصول إليها .





كود PHP:
User-agent: *



كود PHP:
Disallow: /referrers.php
Disallow: /ajax_cron.php Disallow: /ajax.php Disallow: /attachment.php Disallow: /calendar.php Disallow: /cron.php Disallow: /editpost.php






بإمكانك كتابة ملاحظة بين الاكواد اذا كانت كبيرة وذلك بوضع علامة ( # ) في بداية ماتريد كتابته كما في المثال أعلاه
أيضاً .. لا تنسى أنه باستطاعة اضافة ملف السايت ماب لكي تجعل العناكب تصل إليه وذلك كالتالي :




كود PHP:
User-agent: *




كود PHP:
sitemap: http://www.knoooz.com/sitemap.txt






ويمكن اضافة اكثر من sitemap.txt مع اضافة رقم معين او اسم بجوار sitemap كي يتم قراءته

بعد اتمام ملف robots.txt وحفظه ورفعه إلى الموقع ، علينا التأكد من صحة هل الملف يعمل بشكل صحيح وسليم أم لا
بالإمكان استخدام هذا الميزة بواسطة أدوات مشرف الموقع (webmasters) من قوقل فهي تسهل على الشخص الذي لم يفهم ماتم سرده سابقاً .. https://www.google.com/webmasters/tools/robot

http://knoooz.com//images/sss6.gif


بالنقر علي دخول الزاحف وعمل اضافة للملف بكتابة اسم الملف بعد رابط الرئيسية
http://knoooz.com/robots.txt




يتبع ...