সার্চ ইঞ্জিনগুলি রোবট দিয়ে সজ্জিত, যা মাকড়সা বা বট নামেও পরিচিত, যা ক্রল এবং ইনডেক্স ওয়েবপেজ। যদি আপনার সাইট বা পেজ ডেভেলপমেন্টের মধ্যে থাকে বা সংবেদনশীল কন্টেন্ট থাকে, তাহলে আপনি আপনার সাইট ক্রল করা এবং ইনডেক্স করা থেকে বট ব্লক করতে চাইতে পারেন। কিভাবে robots.txt ফাইলের মাধ্যমে সম্পূর্ণ ওয়েবসাইট, পেজ এবং লিঙ্ক ব্লক করতে হয় এবং html ট্যাগ দিয়ে নির্দিষ্ট পৃষ্ঠা এবং লিঙ্ক ব্লক করতে হয় তা শিখুন। কীভাবে আপনার কন্টেন্ট অ্যাক্সেস করা থেকে নির্দিষ্ট বটগুলি ব্লক করবেন তা আবিষ্কার করতে পড়ুন।
ধাপ
2 এর মধ্যে পদ্ধতি 1: robots.txt ফাইল দিয়ে সার্চ ইঞ্জিন ব্লক করা
ধাপ 1. robots.txt ফাইলগুলি বুঝুন।
একটি robots.txt ফাইল হল একটি সাধারণ বা ASCII টেক্সট ফাইল যা সার্চ ইঞ্জিন মাকড়সাকে আপনার সাইটে অ্যাক্সেস করার অনুমতি দেয় তা জানিয়ে দেয়। একটি robots.txt ফাইলে তালিকাভুক্ত ফাইল এবং ফোল্ডার সার্চ ইঞ্জিন মাকড়সা দ্বারা ক্রল এবং সূচী করা নাও হতে পারে। আপনার একটি robots.txt ফাইলের প্রয়োজন হতে পারে যদি:
- আপনি সার্চ ইঞ্জিন মাকড়সা থেকে নির্দিষ্ট কন্টেন্ট ব্লক করতে চান।
- আপনি একটি লাইভ সাইট ডেভেলপ করছেন এবং সার্চ ইঞ্জিন মাকড়সা ক্রল করার জন্য এবং সাইটটি ইনডেক্স করার জন্য প্রস্তুত নন
- আপনি সম্মানিত বটগুলিতে অ্যাক্সেস সীমাবদ্ধ করতে চান।
পদক্ষেপ 2. তৈরি করুন এবং সংরক্ষণ করুন এবং robots.txt ফাইল।
ফাইলটি তৈরি করতে, একটি সাধারণ পাঠ্য সম্পাদক বা একটি কোড সম্পাদক চালু করুন। ফাইলটি এইভাবে সংরক্ষণ করুন: robots.txt। ফাইলের নাম সব ছোট হাতের হতে হবে।
- "গুলি" ভুলবেন না
- যখন আপনি ফাইলটি সংরক্ষণ করবেন, তখন ''.txt '' এক্সটেনশনটি নির্বাচন করুন। আপনি যদি ওয়ার্ড ব্যবহার করেন, "প্লেইন টেক্সট" বিকল্পটি নির্বাচন করুন।
ধাপ a. একটি সম্পূর্ণ-অক্ষম robots.txt ফাইল লিখুন
প্রত্যেকটি নামী সার্চ ইঞ্জিন মাকড়সাকে ক্রল করা এবং "সম্পূর্ণ অক্ষম" robots.txt দিয়ে আপনার সাইটের সূচী থেকে ব্লক করা সম্ভব। আপনার পাঠ্য ফাইলে নিম্নলিখিত লাইনগুলি লিখুন:
ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: /
ধাপ 4. একটি শর্তসাপেক্ষে robots.txt ফাইল লিখুন।
সমস্ত বট ব্লক করার পরিবর্তে, আপনার সাইটের নির্দিষ্ট এলাকা থেকে নির্দিষ্ট মাকড়সা ব্লক করার কথা বিবেচনা করুন। প্রচলিত শর্তসাপেক্ষ কমান্ডের মধ্যে রয়েছে:
- একটি নির্দিষ্ট বট ব্লক করুন: পাশে তারকাচিহ্ন প্রতিস্থাপন করুন ব্যবহারিক দূত সঙ্গে googlebot, googlebot- খবর, googlebot- ছবি, bingbot, অথবা তেওমা.
-
একটি ডিরেক্টরি এবং এর বিষয়বস্তু ব্লক করুন:
ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: /নমুনা-ডিরেক্টরি /
-
একটি ওয়েবপেজ ব্লক করুন:
ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: /private_file.html
-
একটি ছবি ব্লক করুন:
ব্যবহারকারী-এজেন্ট: googlebot-image অস্বীকার করুন: /images_mypicture.jpg
-
সমস্ত ছবি ব্লক করুন:
ব্যবহারকারী-এজেন্ট: গুগলবট-ছবি অস্বীকার করুন: /
-
একটি নির্দিষ্ট ফাইল ফরম্যাট ব্লক করুন:
ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: /p*.gif$
ধাপ ৫. আপনার সাইটকে সূচী ও ক্রল করতে বটকে উৎসাহিত করুন।
অনেকে ব্লক, সার্চ ইঞ্জিন মাকড়সার পরিবর্তে স্বাগত জানাতে চায় কারণ তারা তাদের সম্পূর্ণ সাইটকে ইনডেক্সড করতে চায়। এটি সম্পন্ন করার জন্য, আপনার তিনটি বিকল্প আছে। প্রথমে, আপনি একটি robots.txt ফাইল তৈরি করা থেকে অপসারণ করতে পারেন-যখন রোবট একটি robots.txt ফাইল খুঁজে পায় না, তখন এটি আপনার পুরো সাইট ক্রল এবং সূচী করতে থাকবে। দ্বিতীয়ত, আপনি একটি খালি robots.txt ফাইল তৈরি করতে পারেন-রোবট robots.txt ফাইলটি খুঁজে পাবে, স্বীকৃতি দেবে যে এটি খালি, এবং ক্রল এবং আপনার সাইটকে ক্রমাগত ক্রমাগত করতে হবে। সবশেষে, আপনি একটি পূর্ণ-অনুমোদিত robots.txt ফাইল লিখতে পারেন। কোড ব্যবহার করুন:
ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন:
ধাপ 6. txt ফাইলটি আপনার ডোমেইনের মূলে সংরক্ষণ করুন।
আপনি robots.txt ফাইল লেখার পর, পরিবর্তনগুলি সংরক্ষণ করুন। আপনার সাইটের রুট ডিরেক্টরিতে ফাইল আপলোড করুন। উদাহরণস্বরূপ, যদি আপনার ডোমেইন হয় www.yourdomain.com, robots.txt ফাইলটি এখানে রাখুন www.yourdomain.com/robots.txt.
2 এর পদ্ধতি 2: সার্চ ইঞ্জিনগুলিকে মেটা ট্যাগ দিয়ে ব্লক করা
ধাপ 1. HTML রোবট মেটা ট্যাগগুলি বুঝুন।
রোবট মেটা ট্যাগ প্রোগ্রামারদের বট বা সার্চ ইঞ্জিন মাকড়সার জন্য প্যারামিটার সেট করতে দেয়। এই ট্যাগগুলি একটি সম্পূর্ণ সাইট বা সাইটের কিছু অংশকে ইনডেক্সিং এবং ক্রলিং থেকে বটগুলি ব্লক করতে ব্যবহৃত হয়। আপনি একটি নির্দিষ্ট সার্চ ইঞ্জিন মাকড়সা আপনার বিষয়বস্তু সূচী থেকে ব্লক করতে এই ট্যাগ ব্যবহার করতে পারেন। এই ট্যাগগুলি আপনার HTML ফাইলের মাথায় উপস্থিত হয়।
এই পদ্ধতিটি সাধারণত প্রোগ্রামারদের দ্বারা ব্যবহৃত হয় যাদের ওয়েবসাইটের রুট ডিরেক্টরিতে অ্যাক্সেস নেই।
ধাপ 2. একটি একক পৃষ্ঠা থেকে বট ব্লক করুন।
একটি পৃষ্ঠার সূচী থেকে এবং বা একটি পৃষ্ঠার লিঙ্ক অনুসরণ করা থেকে সমস্ত বট ব্লক করা সম্ভব। এই ট্যাগটি সাধারণত ব্যবহৃত হয় যখন একটি লাইভ সাইট বিকাশের অধীনে থাকে। সাইটটি সম্পূর্ণ হয়ে গেলে, আপনি এই ট্যাগটি সরিয়ে নেওয়ার জন্য দৃ়ভাবে সুপারিশ করা হয়। আপনি যদি ট্যাগটি না সরান, আপনার পৃষ্ঠাটি সার্চ ইঞ্জিনের মাধ্যমে সূচী বা অনুসন্ধানযোগ্য হবে না।
- আপনি বটগুলিকে পৃষ্ঠার সূচী থেকে এবং যে কোন লিঙ্ক অনুসরণ করতে ব্লক করতে পারেন:
- আপনি পৃষ্ঠার সূচী থেকে সমস্ত বট ব্লক করতে পারেন:
- আপনি পৃষ্ঠার লিঙ্ক অনুসরণ করা থেকে সমস্ত বট ব্লক করতে পারেন:
ধাপ 3. বটগুলিকে একটি পৃষ্ঠা সূচী করার অনুমতি দিন, কিন্তু তার লিঙ্কগুলি অনুসরণ করবেন না।
আপনি যদি বটগুলিকে পৃষ্ঠা সূচী করার অনুমতি দেন, পৃষ্ঠাটি সূচী করা হবে; যদি আপনি মাকড়সাগুলিকে লিঙ্কগুলি অনুসরণ করতে বাধা দেন, তাহলে এই নির্দিষ্ট পৃষ্ঠা থেকে অন্য পৃষ্ঠায় লিঙ্ক পথটি ভেঙে যাবে। আপনার হেডারে কোডের নিম্নলিখিত লাইনটি সন্নিবেশ করান:
ধাপ 4. সার্চ ইঞ্জিন মাকড়সাগুলিকে লিঙ্কগুলি অনুসরণ করতে দিন কিন্তু পৃষ্ঠাটি সূচী করবেন না।
আপনি যদি বটগুলিকে লিঙ্কগুলি অনুসরণ করার অনুমতি দেন তবে এই নির্দিষ্ট পৃষ্ঠা থেকে অন্যান্য পৃষ্ঠায় লিঙ্ক পথটি কৌশলে থাকবে; যদি আপনি তাদের পৃষ্ঠাটি সূচী থেকে সীমাবদ্ধ করেন, আপনার ওয়েব পৃষ্ঠাটি সূচীতে উপস্থিত হবে না। আপনার হেডারে কোডের নিম্নলিখিত লাইনটি সন্নিবেশ করান:
পদক্ষেপ 5. একটি একক বহির্গামী লিঙ্ক ব্লক করুন।
একটি পৃষ্ঠায় একটি একক লিঙ্ক লুকানোর জন্য, এম্বেড করুন a rel লিঙ্ক ট্যাগের মধ্যে ট্যাগ করুন। আপনি এই ট্যাগটি অন্য পৃষ্ঠাগুলিতে লিঙ্কগুলি ব্লক করার জন্য ব্যবহার করতে পারেন যা নির্দিষ্ট পৃষ্ঠায় আপনি ব্লক করতে চান।
ব্লক করা পেজে লিঙ্ক োকান
পদক্ষেপ 6. একটি নির্দিষ্ট সার্চ ইঞ্জিন মাকড়সা ব্লক করুন।
আপনার ওয়েব পেজ থেকে সমস্ত বট ব্লক করার পরিবর্তে, আপনি একটি বটকে পৃষ্ঠা ক্রল করা এবং ইনডেক্স করা থেকে বিরত রাখতে পারেন। এটি সম্পন্ন করার জন্য, মেটা ট্যাগের মধ্যে একটি নির্দিষ্ট বটের নাম দিয়ে "রোবট" প্রতিস্থাপন করুন। উদাহরণ অন্তর্ভুক্ত: googlebot, googlebot- খবর, googlebot- ছবি, bingbot, এবং তেওমা.
ধাপ 7. আপনার পৃষ্ঠা ক্রল এবং সূচী করতে বটকে উৎসাহিত করুন।
আপনি যদি নিশ্চিত করতে চান যে আপনার পৃষ্ঠাটি সূচিবদ্ধ হবে এবং এর লিঙ্কগুলি অনুসরণ করা হবে, আপনি একটি অনুসরণ-অনুমতি সন্নিবেশ করতে পারেন মেটা "রোবট" আপনার হেডারে ট্যাগ করুন। নিম্নলিখিত কোড ব্যবহার করুন:
