ওয়েব ক্রলার

লেখক: John Stephens
সৃষ্টির তারিখ: 1 জানুয়ারি 2021
আপডেটের তারিখ: 1 জুলাই 2024
Anonim
ওয়েব ক্রলার - CS101 - Udacity
ভিডিও: ওয়েব ক্রলার - CS101 - Udacity

কন্টেন্ট

সংজ্ঞা - ওয়েব ক্রলারের অর্থ কী?

একটি ওয়েব ক্রলার একটি ইন্টারনেট বট যা ওয়েব ইনডেক্সিংয়ে সহায়তা করে। সমস্ত পৃষ্ঠাগুলি সূচী না হওয়া পর্যন্ত তারা কোনও ওয়েবসাইটের মাধ্যমে একটি পৃষ্ঠায় ক্রল করে। ওয়েব ক্রোলাররা কোনও ওয়েবসাইট এবং তার সাথে সম্পর্কিত লিঙ্ক সম্পর্কিত তথ্য সংগ্রহ করতে সহায়তা করে এবং এইচটিএমএল কোড এবং হাইপারলিঙ্কগুলিকে বৈধতা দিতে সহায়তা করে।


একটি ওয়েব ক্রলার একটি ওয়েব মাকড়সা, স্বয়ংক্রিয় সূচক বা কেবল ক্রলার হিসাবেও পরিচিত।

মাইক্রোসফ্ট আজুর এবং মাইক্রোসফ্ট মেঘের একটি পরিচিতি | এই গাইড জুড়ে, আপনি ক্লাউড কম্পিউটিং সম্পর্কে কী শিখবেন এবং মাইক্রোসফ্ট অ্যাজুরে কীভাবে আপনাকে মেঘ থেকে আপনার ব্যবসা স্থানান্তর করতে এবং পরিচালনা করতে সহায়তা করতে পারে তা শিখতে পারবেন।

টেকোপিডিয়া ওয়েব ক্রলারের ব্যাখ্যা দেয়

ওয়েব ক্রোলাররা ওয়েবসাইটের ইউআরএল, মেটা ট্যাগ সম্পর্কিত তথ্য, ওয়েব পৃষ্ঠার সামগ্রী, ওয়েবপৃষ্ঠায় থাকা লিঙ্কগুলি এবং সেই লিঙ্কগুলি থেকে শুরু করে গন্তব্যগুলি, ওয়েব পৃষ্ঠার শিরোনাম এবং অন্য কোনও প্রাসঙ্গিক তথ্য সংগ্রহ করে। তারা একই URL টি আবার ডাউনলোড করা এড়াতে ইতিমধ্যে ডাউনলোড করা URL গুলি সম্পর্কে নজর রাখে। পুনরায় দেখার নীতি, নির্বাচন নীতি, সমান্তরালীতি নীতি এবং ভদ্রতা নীতি হিসাবে নীতিগুলির সংমিশ্রণ ওয়েব ক্রলারের আচরণ নির্ধারণ করে। ওয়েব ক্রলারগুলির জন্য অনেকগুলি চ্যালেঞ্জ রয়েছে, যথা বৃহত্তর এবং ক্রমাগতভাবে বিকশিত ওয়ার্ল্ড ওয়াইড ওয়েব, সামগ্রী নির্বাচন বাণিজ্য, সামাজিক বাধ্যবাধকতা এবং বিরোধীদের সাথে ডিল করা।


ওয়েব ক্রলারগুলি ওয়েব অনুসন্ধান ইঞ্জিন এবং সিস্টেমগুলির মূল উপাদান যা ওয়েব পৃষ্ঠাগুলি সন্ধান করে। তারা ওয়েব এন্ট্রিগুলিকে সূচিক্যকরণে সহায়তা করে এবং ব্যবহারকারীদেরকে সূচকের বিপরীতে প্রশ্নগুলির অনুমতি দেয় এবং সেই প্রশ্নের সাথে মেলে এমন ওয়েবপৃষ্ঠাগুলি সরবরাহ করে। ওয়েব ক্রলারগুলির আর একটি ব্যবহার ওয়েব আর্কাইভিংয়ে রয়েছে, যার মধ্যে বেশিরভাগ ওয়েবপৃষ্ঠাগুলি নিয়মিতভাবে সংগ্রহ ও সংরক্ষণাগারভুক্ত থাকে। ওয়েব ক্রলারগুলি ডেটা মাইনিংয়েও ব্যবহৃত হয়, যেখানে পৃষ্ঠাগুলির বিভিন্ন পরিসংখ্যানের মতো বিশ্লেষণ করা হয় এবং ডেটা বিশ্লেষণগুলি সেগুলি পরে সম্পাদিত হয়।