কন্টেন্ট
- ইয়ার্ন ফ্রেমওয়ার্ক কী?
- হ্যাডোপ 1.0 ফ্রেমওয়ার্কের সীমাবদ্ধতা
- কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
- ইয়ার্ন ফ্রেমওয়ার্ক এবং এর উপকারিতা
- উপসংহার
সূত্র: জিম হিউজেস / ড্রিমসটাইম ডটকম
ছাড়াইয়া লত্তয়া:
ইয়ার্ন হ্যাডোপ 1.0 ফ্রেমওয়ার্কের তুলনায় একটি উল্লেখযোগ্য উন্নতি। এখানে আমরা এর পূর্বসূরীর চেয়ে কিছু সুবিধাগুলি পরীক্ষা করি।
বড় ডেটা ধারণাটি চালু হওয়ার সময় থেকেই এটি বিবর্তনের একাধিক পর্যায়ের মধ্য দিয়ে চলেছে through হ্যাডোপ ২০০৫ সালে ম্যাপ্রেডস প্রসেসিং ইঞ্জিনের মতো কয়েকটি প্রাথমিক বৈশিষ্ট্য সহ প্রবর্তিত হয়েছিল যা ক্লাস্টারগুলিতে বিতরণ করা বড় আকারের ডেটা প্রসেসিং কাজের চাপ allowed হাদুপ নিজেই প্রচুর পরিবর্তন অভিজ্ঞতা অর্জন করেছে এবং উন্নত ফ্রেমওয়ার্ক এবং পদ্ধতিগুলি বিকাশ করেছে।
ইয়ার্ন হ্যাডোপ ২.০ এর মূল উপাদান। এটি মূলত একটি গুচ্ছ পরিবেশে সংস্থানগুলি পরিচালনা করে। ইয়ার্ন ব্রোকার গণনা সংস্থানগুলির সাথে (অ্যাপ্লিকেশনগুলির পক্ষে) যোগাযোগ করে এবং বিভিন্ন ফিল্টারিংয়ের মানদণ্ডের ভিত্তিতে প্রতিটি অ্যাপ্লিকেশনকে সংস্থান সরবরাহ করে।
এই নিবন্ধে, আমরা হ্যাডোপ ০.০ এর তুলনায় ইয়ার্নের শীর্ষ সুবিধাগুলি দেখব।
ইয়ার্ন ফ্রেমওয়ার্ক কী?
ওয়াইএবং একজনnother আরesource এনইগোতিয়েটর হ্যাডোপ ২.০ এর একটি মূল উপাদান, যা একটি ক্লাস্টার্ড পরিবেশে সংস্থানগুলি পরিচালনা করে। হ্যাডোপ ইয়ারান ফ্রেমওয়ার্ক হ্যাডোপ 1.0 এর একটি উন্নত সংস্করণ যা উন্নত পারফরম্যান্স সরবরাহ করে যা হডোপ ইকোসিস্টেম এবং এর সাথে সম্পর্কিত প্রযুক্তিগুলির পুরো পরিসরের জন্য উপকারী। এখন আমরা ইয়ার্নের সাথে আরও কিছুটা পরিচিত, এখন হ্যাডোপ ০.০ এবং ইয়ার্নটি ঘুরে দেখি।
হ্যাডোপ 1.0 ফ্রেমওয়ার্কের সীমাবদ্ধতা
ইয়ার্ন কাঠামোর সুবিধাগুলি বোঝার জন্য, হ্যাডোপ ১.০ কীভাবে কাজ করে এবং এই কাঠামোর সীমাবদ্ধতা কী তা বোঝা খুব গুরুত্বপূর্ণ is
এখানেই জবট্রেকারের ভূমিকা আসে It এটি উভয় ক্লাস্টার সংস্থান পরিচালনা করে এবং ম্যাপ্রেডস জব এক্সিকিউশন নির্ধারণ করে। সংক্ষেপে, জবট্র্যাকার কার্য সম্পাদনের সময়সূচি এবং সংরক্ষণ করে এবং প্রতিটি চলমান কার্য কনফিগার করে এবং পর্যবেক্ষণ করে। যদি কোনও টাস্ক ব্যর্থ হয় তবে টাস্কটি আবার শুরু করার জন্য এটি একটি নতুন স্লটটিকে পুনরায় স্থান দেয়। কোনও কাজ শেষ হয়ে গেলে, জোবট্র্যাকার অন্যান্য কাজের জন্য স্লটটি প্রকাশ করে এবং অস্থায়ী সংস্থানগুলি পরিষ্কার করে।
উপরোক্ত পদ্ধতির প্রধান ত্রুটিগুলি:
- উপলভ্যতা - জবট্র্যাকার হ্যাডোপ ০.০ এ উপলব্ধতার একমাত্র পয়েন্ট। এর অর্থ হ'ল জবট্র্যাকার যদি ব্যর্থ হয় তবে সমস্ত কাজ ডিফল্টরূপে পুনরায় চালু হবে।
- সীমিত স্কেলিবিলিটি - যেহেতু জোবট্র্যাকার একাধিক কাজ সম্পাদন করছে এবং একটি মেশিনে চলছে তাই অন্যান্য উপলব্ধ মেশিনগুলি ব্যবহৃত হচ্ছে না; অতএব, সীমিত স্কেলাবিলিটির ফলে।
- সংস্থানসমূহের ব্যবহার - উপরোক্ত পদ্ধতির ক্ষেত্রে মানচিত্রের স্লট এবং হ্রাস স্লটগুলি পূর্বনির্ধারিত। এটি হতে পারে যে স্লটগুলির একটির মধ্যে পূর্ণতা রয়েছে তবে অন্য মেশিনের স্লটগুলি খালি। যেহেতু খালি স্লটগুলি সংরক্ষিত রয়েছে, তাই তারা সম্পূর্ণ স্লটগুলির জন্য আপস না করে অলস বসে থাকবে। এটি সংস্থান ব্যবহারের সমস্যার কারণ হতে পারে।
- অ-ম্যাপ্রেডিউস অ্যাপ্লিকেশনগুলি চালনা করা - জবট্র্যাকার এমন একটি অ্যাপ্লিকেশন যা মানচিত্রের ফ্রেমওয়ার্কের জন্য নির্মিত। সমস্যাটি দেখা দেয় যখন কোনও ম্যাপ্রেডিউজ অ্যাপ্লিকেশন এই কাঠামোটিতে চালানোর চেষ্টা করে। অ্যাপ্লিকেশনটির সফলভাবে চলার জন্য মানচিত্রের ফ্রেমওয়ার্ক প্রোগ্রামিংয়ের সাথে সামঞ্জস্য করা দরকার। এর কারণে যে সাধারণ সমস্যাগুলির মুখোমুখি হচ্ছে তার মধ্যে কিছু সমস্যা রয়েছে:
- অ্যাড-হক ক্যোয়ারী
- রিয়েল-টাইম বিশ্লেষণ
- পাসিং পদ্ধতির
- ক্যাসকেডিংয়ে ব্যর্থতা - নোডের সংখ্যা 4000 এর বেশি হলে এই কাঠামোর একটি বড় সমস্যা ঘটে such এই জাতীয় পরিস্থিতিতে, একটি ক্যাসকেডিং ব্যর্থতা দেখা দেয়, যার ফলে পুরো ক্লাস্টারের অবনতি ঘটে।
এই কাঠামোর সাথে কাজ করার সময় এগুলি কয়েকটি প্রধান সীমাবদ্ধতার মুখোমুখি। পাশাপাশি আরও কিছু ছোটখাটো সীমাবদ্ধতা রয়েছে, যা উল্লেখ করা হয়নি। এই সীমাবদ্ধতাগুলি কাটিয়ে উঠতে YARN কাঠামোটি চালু করা হয়েছিল।
কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
কেউ যখন সফ্টওয়্যার মানের সম্পর্কে চিন্তা করে না তখন আপনি আপনার প্রোগ্রামিং দক্ষতা উন্নত করতে পারবেন না।
ইয়ার্ন ফ্রেমওয়ার্ক এবং এর উপকারিতা
হ্যাডোপ ২.০-এ প্রবর্তিত ইয়ার্ন কাঠামোটি ম্যাপ্রেডিউসের দায়িত্ব ভাগ করে নেওয়া এবং ক্লাস্টার পরিচালনার কাজটি যত্ন নেওয়ার উদ্দেশ্যে করা হয়েছে। এটি ম্যাপ্রেডুসকে কেবলমাত্র ডেটা প্রসেসিং চালানোর অনুমতি দেয় এবং তাই প্রক্রিয়াটি প্রবাহিত করে।
ইয়ার্ন একটি কেন্দ্রীয় সংস্থান পরিচালনার ধারণা নিয়ে আসে। এটি সাধারণ রিসোর্স ম্যানেজমেন্ট ভাগ করে নেওয়ার সাথে একাধিক অ্যাপ্লিকেশনগুলিকে হাদুপে চালানোর অনুমতি দেয়।
ইয়ার্ন কাঠামোর কয়েকটি প্রধান উপাদান হ'ল:
- রিসোর্স ম্যানেজার - রিসোর্স ম্যানেজার উপাদানটি এই ক্লাস্টারে উপস্থিত সমস্ত সংস্থার জন্য একটি ক্লাস্টারে আলোচক। তদ্ব্যতীত, এই উপাদানটি একটি অ্যাপ্লিকেশন ম্যানেজারে শ্রেণিবদ্ধ করা হয়েছে যা ব্যবহারকারীর কাজ পরিচালনার জন্য দায়ী। হ্যাডোপ ২.০ থেকে যে কোনও মানচিত্রের কাজ আবেদন হিসাবে বিবেচিত হবে।
- অ্যাপ্লিকেশনমাস্টার - এই উপাদানটি সেই জায়গা যেখানে কোনও কাজ বা অ্যাপ্লিকেশন বিদ্যমান। এটি সমস্ত মানচিত্রের কাজও পরিচালনা করে এবং কাজের প্রক্রিয়া শেষ হওয়ার পরে শেষ হয় is
- নোডম্যানেজার - নোড ম্যানেজার উপাদান কাজের ইতিহাসের সার্ভার হিসাবে কাজ করে। এটি সম্পূর্ণ কাজের তথ্য সুরক্ষার জন্য দায়ী। এটি কোনও নির্দিষ্ট নোডের জন্য তাদের কর্মপ্রবাহের পাশাপাশি ব্যবহারকারীর কাজগুলিও নজর রাখে।
YARN ফ্রেমওয়ার্কের বিভিন্ন কার্য পরিচালনা করার জন্য বিভিন্ন উপাদান রয়েছে তা মনে রেখে, আসুন দেখুন কীভাবে এটি হ্যাডোপ 1.0 এর সীমাবদ্ধতার বিরুদ্ধে লড়াই করে।
- সংস্থানগুলির আরও ভাল ব্যবহার - ইয়ার্ন কাঠামোর কোনও কার্যের জন্য কোনও স্থির স্লট নেই। এটি একটি কেন্দ্রীয় রিসোর্স ম্যানেজার সরবরাহ করে যা আপনাকে একটি সাধারণ উত্সের মাধ্যমে একাধিক অ্যাপ্লিকেশনগুলি ভাগ করতে দেয়।
- অ-ম্যাপ্রেডিউস অ্যাপ্লিকেশনগুলি চালনা করা - YARN এ, সময় নির্ধারণ এবং রিসোর্স পরিচালনার ক্ষমতা ডেটা প্রক্রিয়াকরণ উপাদান থেকে পৃথক করা হয়। এটি হাদুপকে বিভিন্ন ধরণের অ্যাপ্লিকেশন চালানোর অনুমতি দেয় যা হ্যাডোপ ফ্রেমওয়ার্কের প্রোগ্রামিং অনুসারে নয়। হ্যাডোপ ক্লাস্টারগুলি এখন স্বতন্ত্র ইন্টারেক্টিভ ক্যোয়ারী চালাতে এবং আরও ভাল রিয়েল-টাইম বিশ্লেষণ করতে সক্ষম।
- পশ্চাদপদ সামঞ্জস্যতা - YARN একটি পশ্চাদপটে সামঞ্জস্যপূর্ণ কাঠামো হিসাবে আসে, যার অর্থ ম্যাপ্রেডিউসের যে কোনও বিদ্যমান কাজ হ্যাডোপ ২.০ এ কার্যকর করা যেতে পারে।
- জবট্র্যাকার আর নেই - জবট্রেকারের দুটি প্রধান ভূমিকা ছিল রিসোর্স ম্যানেজমেন্ট এবং কাজের সময়সূচী। ইয়ার্ন কাঠামোটি প্রবর্তনের সাথে সাথে এগুলি এখন দুটি পৃথক উপাদানে বিভক্ত করা হয়েছে, যথা:
- NodeManager
- রিসোর্স ম্যানেজার
উপসংহার
YARN ফ্রেমওয়ার্কটি প্রবর্তন হ্যাডোপ বিকাশকারীদের জন্য অ্যাপ্লিকেশন তৈরি করা আরও সহজ করে তুলেছে। এখন, অ্যাপ্লিকেশনগুলির আর তৃতীয় পক্ষের সরঞ্জামগুলি প্রয়োগ করার প্রয়োজন নেই। ইয়ার্ন একটি বিশাল পরিবর্তন যা ব্যবহারকারীদের অ্যাপ্লিকেশন তৈরি করতে এবং ডেডিকে আরও কার্যকরভাবে ম্যানিপুলেট করার জন্য হ্যাডোপ ২.০ কে বিবেচনা করার অনুমতি দেবে। সময়ের সাথে সাথে হ্যাডোপের ব্যবহারযোগ্যতা বাড়াতে আরও উন্নতি হবে। আপাতত, ইএআরএন কাঠামো বিদ্যমান সমস্যাগুলি মোকাবেলায় এবং ঝামেলা-মুক্ত পরিবেশ তৈরিতে গুরুত্বপূর্ণ ভূমিকা পালন করবে যা মানচিত্রের মডেলটির পূর্ববর্তী সংস্করণটি আরও বহুমুখী।