ပင့်ကူများနှင့် Crawlers တို့အားမည်သို့မည်ပုံကိုင်တွယ်ရမည့်နည်းလမ်းများနှင့် ပတ်သက်၍ Semalt ကအကြံပေးသည်

ရှာဖွေရေးအင်ဂျင် နှင့်အဆင်ပြေသော URLs များကိုဖန်တီးခြင်းအပြင်၊ .htaccess ဖိုင်သည် ၀ ဘ်စီမံကွပ်ကဲသူများအနေဖြင့်၎င်းတို့၏ဝက်ဘ်ဆိုက်ကိုဝင်ရောက်ကြည့်ရှုခြင်းမှတိကျသောစက်ရုပ်များကိုတားဆီးနိုင်သည်။ ဤစက်ရုပ်များကိုပိတ်ဆို့ရန်နည်းလမ်းတစ်ခုမှာ robots.txt ဖိုင်မှတဆင့်ဖြစ်သည်။ သို့သော် Sember ဖောက်သည်များအောင်မြင်မှုမန်နေဂျာရော့စ်ဘာဘာကပြောကြားရာတွင်သူသည်ဤတောင်းဆိုမှုကိုလျစ်လျူရှုထားကြောင်းတွေ့ရသည်။ အကောင်းဆုံးနည်းလမ်းတစ်ခုမှာသင့်အကြောင်းအရာများကို indexing မပြုရန် .htaccess ဖိုင်ကိုသုံးရန်ဖြစ်သည်။

ဒီ bot တွေကဘာတွေလဲ။

၎င်းတို့သည်ရှာဖွေရေးအင်ဂျင်များမှရည်ညွှန်းသည့်ရည်ရွယ်ချက်များအတွက်အင်တာနက်မှအကြောင်းအရာအသစ်များကိုပယ်ဖျက်ရန်အသုံးပြုသော software အမျိုးအစားတစ်ခုဖြစ်သည်။

သူတို့ကအောက်ပါတာဝန်များကိုလုပ်ဆောင်:

  • သင်ချိတ်ဆက်ထားသည့်ဝဘ်စာမျက်နှာများကိုကြည့်ပါ
  • အမှားများအတွက်သင်၏ HTML ကုဒ်ကိုစစ်ဆေးပါ
  • သင်ချိတ်ဆက်ထားသောမည်သည့်ဝဘ်စာမျက်နှာများကိုသိမ်းဆည်းပြီးသင်၏အကြောင်းအရာနှင့်မည်သည့်ဝက်ဘ်စာမျက်နှာများကချိတ်ဆက်နေသည်ကိုသူတို့တွေ့မြင်နိုင်သည်
  • သူတို့ကသင့်ရဲ့ content တွေကို index

သို့သော်အချို့သောစက်ရုပ်များသည်အန္တရာယ်ရှိပြီးအီးမေးလ်လိပ်စာများနှင့်ပုံမှန်အားဖြင့်သင်မလိုချင်သောမက်ဆေ့ခ်ျများသို့မဟုတ် spam များကိုပေးပို့ရန်အီးမေးလ်လိပ်စာများနှင့်ပုံစံများကိုရှာဖွေသည်။ အခြားသူများကသင့်ကုဒ်ရှိလုံခြုံရေးကွက်လပ်များကိုပင်ရှာဖွေကြသည်။

ဝဘ်ရှာဖွေသူများအားပိတ်ဆို့ရန်ဘာတွေလိုအပ်သလဲ။

.htaccess ဖိုင်ကိုအသုံးမပြုမီ၊ အောက်ပါအချက်များကိုစစ်ဆေးရန်လိုအပ်သည် -

၁။ သင့်ဆိုဒ်ကို Apache ဆာဗာတွင်လည်ပတ်နေရမည်။ ဒီနေ့ခေတ်မှာ web hosting ကုမ္ပဏီတွေကသူတို့ရဲ့အလုပ်မှာထက်ဝက်လောက်ကသင့်ကိုလိုအပ်တဲ့ file ကို access လုပ်ပေးတယ်။

၂။ သင်၏ဝဘ်စာမျက်နှာများကိုမည်သည့် bot များကလာနေသည်ကိုသင်ရှာဖွေရန်သင်၏ ၀ က်ဘ်ဆိုဒ်၏ဆာဗာမှတ်တမ်းများကိုသင်ရယူသင့်သည်။

သတိပြုရမည်မှာသင်အသုံး ၀ င်သည်ဟုသင်ယူဆသောသူများကိုပင်သင်အားလုံးကိုပိတ်ဆို့ခြင်းမပြုပဲအန္တရာယ်ရှိစက်များအားလုံးကိုပိတ်ဆို့နိုင်မည်မဟုတ်ကြောင်းသတိပြုပါ။ နေ့တိုင်း bot အသစ်တွေထွက်လာပြီးသက်ကြီးရွယ်အိုတွေကိုပြုပြင်မွမ်းမံလိုက်တယ်။ အထိရောက်ဆုံးနည်းမှာသင်၏ကုဒ်ကိုလုံခြုံစေရန်နှင့် bot များကသင့်ကို spam လုပ်ရန်ခက်ခဲစေသည်။

ခွဲခြားသတ်မှတ်သည့် bot များ

Bot များကို IP လိပ်စာသို့မဟုတ် HTTP ခေါင်းစီးများပေးပို့သည့်သူတို့၏“ User Agent String” မှဖြစ်စေဖော်ထုတ်နိုင်သည်။ ဥပမာအားဖြင့် Google သည် Googlebot ကိုအသုံးပြုသည်။

သင်အား .htaccess ကို အသုံးပြု၍ သိမ်းဆည်းထားလိုသော bot ၏နာမည်ရှိပြီးသားဖြစ်ပါက 302 bot နှင့်ဤစာရင်းကိုလိုအပ်လိမ့်မည်။

နောက်တစ်နည်းမှာ log files အားလုံးကိုဆာဗာမှဒေါင်းလုပ်ဆွဲပြီး text editor တစ်ခု သုံး၍ ဖွင့်ရန်ဖြစ်သည်။ သင်၏ဆာဗာ၏ဖွဲ့စည်းမှုပေါ် မူတည်၍ သူတို့၏တည်နေရာသည်ပြောင်းလဲနိုင်သည်။ အကယ်၍ ၎င်းတို့ကိုရှာမတွေ့ပါကသင်၏ဝဘ်ဆိုက်မှအကူအညီရယူပါ။

မည်သည့်စာမျက်နှာသို့လာရောက်လည်ပတ်သည်၊ သို့မဟုတ်လာရောက်လည်ပတ်သည့်အချိန်ကိုသင်သိလျှင်၊ မလိုလားအပ်သော bot နှင့်လာရန်ပိုလွယ်ကူသည်။ သင်သည်ဤ parameters တွေကိုနှင့်အတူမှတ်တမ်းဖိုင်ကိုရှာဖွေနိုင်ဘူး။

တစ်ချိန်ကသင်ပိတ်ဆို့ရန်လိုအပ်သည့် bot များကိုသတိပြုမိသည်။ ထို့နောက်၎င်းတို့ကို .htaccess ဖိုင်တွင်ထည့်နိုင်သည်။ bot ပိတ်ခြင်းသည်ရပ်တန့်ရန်မလုံလောက်ကြောင်းသတိပြုပါ။ ၎င်းသည်အိုင်ပီသို့မဟုတ်အမည်အသစ်နှင့်ပြန်လာနိုင်သည်။

သူတို့ကိုပိတ်ဆို့နည်း

.htaccess ဖိုင်မိတ္တူကူးယူပါ။ လိုအပ်လျှင်အရန်ကူးပါ။

နည်းလမ်း ၁ - IP မှပိတ်ဆို့ခြင်း

ဤကုဒ်သည်လျှို့ဝှက်နံပါတ်သည် IP လိပ်စာ 197.0.0.1 ကို အသုံးပြု၍ bot အားပိတ်ဆို့သည်

ငြင်းပယ်မှာပါ၊

197.0.0.1 ကနေငြင်းပါ

ပထမလိုင်းသည်ဆိုလိုသည်မှာဆာဗာသည်သင်သတ်မှတ်ထားသောပုံစံများနှင့်ကိုက်ညီသောတောင်းဆိုမှုများအားလုံးကိုပိတ်ဆို့ပြီးအခြားသူများအားလုံးကိုခွင့်ပြုလိမ့်မည်။

ဒုတိယလိုင်းကဆာဗာအား 403: တားမြစ်ထားသောစာမျက်နှာထုတ်ရန်ပြောထားသည်

နည်းလမ်း ၂။ အသုံးပြုသူကိုယ်စားလှယ်များမှပိတ်ဆို့ခြင်း

အလွယ်ဆုံးနည်းကတော့ Apache's rewrite engine ကိုသုံးရန်ဖြစ်သည်

ပြန်ရေးပါ

% {HTTP_USER_AGENT} BotUserAgent ကိုရေးကူးပါ

ပြန်လည်ဖွဲ့စည်း။ - [F၊ L]

ပထမ ဦး ဆုံးလိုင်းပြန်လည်ပြင်ဆင်ရေး module ကို enable လုပ်ကြောင်းသေချာ။ လိုင်းနှစ်ခုသည်စည်းကမ်းနှင့်သက်ဆိုင်သောအခြေအနေဖြစ်သည်။ လိုင်း ၄ ရှိ "F" သည်ဆာဗာအား 403 သို့ပြန်သွားရန်ပြောထားသည်။ "L" သည်၎င်းသည်နောက်ဆုံးစည်းမျဉ်းဖြစ်ပြီးဆိုလိုသည်မှာတားမြစ်သည်။

ထို့နောက် .htaccess ဖိုင်ကိုသင်၏ဆာဗာသို့တင်ပြီးရှိပြီးသားဖိုင်ကို ထပ်၍ ရေးကူးမည်။ အချိန်နှင့်အမျှသင် bot ၏ IP ကိုအသစ်ပြောင်းရန်လိုအပ်လိမ့်မည်။ အမှားလုပ်မိရင်သင်လုပ်ခဲ့တဲ့ backup ကို upload လုပ်ပါ။