কন্টেন্ট
- তবে প্রথমে, হডোপ কীভাবে কাজ করে তা একবার দেখুন
- হডোপ কমন
- হাদুপ বিতরণ ফাইল সিস্টেম (এইচডিএফএস)
- মানচিত্র কমাতে
- HBase
- মধুচক্র
- কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
- অ্যাপাচি পিগ
- অ্যাপাচি স্পার্ক
- আপাচে ক্যাসান্দ্রা
- তবুও আরেকটি রিসোর্স আলোচনা (ইয়ারএন)
- Impala
সূত্র: ট্রুফেলপিক্স / ড্রিমসটাইম ডটকম
ছাড়াইয়া লত্তয়া:
বড় ডেটা সত্যিই বুঝতে, আপনাকে হ্যাডোপ এবং তার চারপাশের ভাষা সম্পর্কে কিছুটা বোঝা দরকার।
বিগ ডেটা, কাঠামোগত, কাঠামোগত বা আধা-কাঠামোগত ডেটার বিশাল পরিমাণের আকর্ষণীয় নাম, কমপক্ষে traditionalতিহ্যবাহী ডাটাবেস এবং সফ্টওয়্যার অ্যাপ্লিকেশন ব্যবহার করে ক্যাপচার, সংরক্ষণ, পরিচালনা, ভাগ, বিশ্লেষণ এবং কল্পনা করা কুখ্যাত difficult বড় ডেটা প্রযুক্তিগুলিতে কার্যকর এবং দক্ষতার সাথে প্রচুর পরিমাণে ডেটা পরিচালনা ও প্রক্রিয়াজাতকরণের সম্ভাবনা রয়েছে তা ঠিক। এবং এর অ্যাপাচি হ্যাডোপ যা বিতরণ উপায়ে কম্পিউটারের ক্লাস্টারে জুড়ে বড় ডেটা সেটগুলি প্রক্রিয়া করার জন্য কাঠামো এবং সম্পর্কিত প্রযুক্তি সরবরাহ করে। সুতরাং, সত্যিই বড় ডেটা বোঝার জন্য আপনাকে হ্যাডোপ সম্পর্কে কিছুটা বুঝতে হবে। এখানে হাদোপের প্রতি আপনি যে শীর্ষ শর্তগুলি শুনবেন সেগুলি ভালভাবে দেখুন - এবং এর অর্থ কী।
তবে প্রথমে, হডোপ কীভাবে কাজ করে তা একবার দেখুন
হাডোপ ইকো-সিস্টেমে যাওয়ার আগে আপনার দুটি মূল বিষয় পরিষ্কারভাবে বুঝতে হবে। প্রথমটি হডুপে একটি ফাইল কীভাবে সংরক্ষণ করা হয়; দ্বিতীয়টি হ'ল কীভাবে সঞ্চিত ডেটা প্রক্রিয়া করা হয়। হ্যাডোপ সম্পর্কিত সমস্ত প্রযুক্তি মূলত এই দুটি ক্ষেত্রে কাজ করে এবং এটিকে আরও ব্যবহারকারী-বান্ধব করে তোলে। (হ্যাডোপ কীভাবে বিগ ডেটা সমস্যা সমাধানে সহায়তা করে সে ক্ষেত্রে হাদুপ কীভাবে কাজ করে তার মূল বিষয়গুলি পান))
এখন, শর্তাবলী।
হডোপ কমন
হাদুপ কাঠামোর বিভিন্ন কার্যকারিতার জন্য বিভিন্ন মডিউল রয়েছে এবং এই মডিউলগুলি বিভিন্ন কারণে একে অপরের সাথে যোগাযোগ করতে পারে। হডোপ ইকোসিস্টেমের এই মডিউলগুলিকে সমর্থন করার জন্য হ্যাডোপ কমন একটি সাধারণ ইউটিলিটিস লাইব্রেরি হিসাবে সংজ্ঞায়িত করা যেতে পারে। এই ইউটিলিটিগুলি মূলত জাভা ভিত্তিক, সংরক্ষণাগারভুক্ত (জেআরএস) ফাইল। এই ইউটিলিটিগুলি মূলত বিকাশের সময় প্রোগ্রামার এবং বিকাশকারীদের দ্বারা ব্যবহৃত হয়।
হাদুপ বিতরণ ফাইল সিস্টেম (এইচডিএফএস)
হ্যাডোপ ডিস্ট্রিবিউটেড ফাইল সিস্টেম (এইচডিএফএস) অ্যাপাচি সফটওয়্যার ফাউন্ডেশনের অধীনে অ্যাপাচি হাদুপের একটি উপ-প্রকল্প। এটি হ্যাডোপ ফ্রেমওয়ার্কের স্টোরেজের মেরুদণ্ড। এটি একটি বিতরণযোগ্য, স্কেলযোগ্য এবং ত্রুটি-সহনশীল ফাইল সিস্টেম যা হ্যাডোপ ক্লাস্টার হিসাবে পরিচিত একাধিক পণ্য হার্ডওয়্যার জুড়ে বিস্তৃত। এইচডিএফএসের উদ্দেশ্য হ'ল অ্যাপ্লিকেশন ডেটাতে উচ্চ থ্রুপুট অ্যাক্সেসের সাহায্যে নির্ভরযোগ্য পরিমাণে ডেটা বিপুল পরিমাণে সঞ্চয় করা। এইচডিএফএস মাস্টার / স্লেভ আর্কিটেকচার অনুসরণ করে, যেখানে মাস্টার নেমনোড হিসাবে পরিচিত এবং দাসগণ ডেটা নোড হিসাবে পরিচিত।
মানচিত্র কমাতে
হ্যাডোপ ম্যাপ্রেইডুস অ্যাপাচি সফটওয়্যার ফাউন্ডেশনের একটি উপ-প্রকল্প। ম্যাপ্রেডুস আসলে একটি সফ্টওয়্যার ফ্রেমওয়ার্ক যা পুরোপুরি জাভাতে লেখা হয়েছে। এর প্রাথমিক উদ্দেশ্যটি সম্পূর্ণ সমান্তরাল পদ্ধতিতে বিতরণ পরিবেশে (পণ্য হার্ডওয়্যার সমন্বিত) বড় ডেটাসেটগুলি প্রক্রিয়া করা। কাঠামোটি জব শিডিউল, মনিটরিং, এক্সিকিউটিভ এবং পুনরায় সম্পাদন (ব্যর্থ কর্মের ক্ষেত্রে) এর মতো সমস্ত ক্রিয়াকলাপ পরিচালনা করে।
HBase
অ্যাপাচি এইচবেস হ্যাডোপ ডাটাবেস হিসাবে পরিচিত। এটি একটি কলামার, বিতরণ এবং স্কেলযোগ্য বড় ডেটা স্টোর। এটি এমন এক ধরণের নোএসকিউএল ডাটাবেস হিসাবে পরিচিত যা কোনও রিলেশনাল ডাটাবেস ম্যানেজমেন্ট সিস্টেম নয়। HBase অ্যাপ্লিকেশনগুলি জাভাতেও লেখা রয়েছে, হ্যাডোপের শীর্ষে নির্মিত এবং এইচডিএফএসে চলে। আপনি যখন রিয়েল-টাইম রিড / রাইটিং এবং বড় ডেটাতে এলোমেলো অ্যাক্সেসের প্রয়োজন তখন HBase ব্যবহার করা হয়। গুগলস বিগ টেবিল ধারণার উপর ভিত্তি করে এইচবেস মডেল করা হয়েছে।
মধুচক্র
অ্যাপাচি হাইভ একটি ওপেন-সোর্স ডেটা গুদাম সফ্টওয়্যার সিস্টেম। হিভ মূলত অ্যাপাচি সফ্টওয়্যার ফাউন্ডেশনের আওতায় আসার আগেই এটি বিকশিত হয়েছিল এবং উন্মুক্ত উত্সে পরিণত হয়েছিল। এটি বিতরণযোগ্য হডোপ সামঞ্জস্যপূর্ণ স্টোরেজে বড় ডেটা সেটগুলির পরিচালনা এবং অনুসন্ধানের সুবিধা দেয়। এইচআইকিউএল হিসাবে পরিচিত একটি এসকিউএল-জাতীয় ভাষা ব্যবহার করে এইচআইভি তার সমস্ত ক্রিয়াকলাপ সম্পাদন করে। (অ্যাপাচি হাইভ এবং পিগের সংক্ষিপ্ত পরিচিতিতে আরও জানুন))
কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
কেউ যখন সফ্টওয়্যার মানের সম্পর্কে চিন্তা না করে আপনি আপনার প্রোগ্রামিং দক্ষতা উন্নত করতে পারবেন না।
অ্যাপাচি পিগ
শূকরটি মূলত ইয়াহু দ্বারা বিতরণ করা তথ্যের একটি বৃহত পরিমাণে ম্যাপ্রেডস জবগুলি বিকাশ ও সম্পাদনের জন্য শুরু হয়েছিল। এখন এটি অ্যাপাচি সফটওয়্যার ফাউন্ডেশনের অধীনে একটি ওপেন সোর্স প্রকল্পে পরিণত হয়েছে। অ্যাপাচি পিগকে একটি দক্ষ উপায়ে খুব বড় ডেটা সেট বিশ্লেষণের প্ল্যাটফর্ম হিসাবে সংজ্ঞায়িত করা যেতে পারে। শুয়োরের অবকাঠামো স্তর প্রকৃত প্রক্রিয়াকরণ করার জন্য মানচিত্রের কাজের ক্রম তৈরি করে। শূকর ভাষার স্তরটি পিগ ল্যাটিন নামে পরিচিত এবং এটি বিতরণ করা ডেটা সেটগুলিতে কোয়েরি করতে এসকিউএল-এর মতো বৈশিষ্ট্য সরবরাহ করে।
অ্যাপাচি স্পার্ক
স্পার্কটি মূলত ইউসি বার্কলেতে এএমপিএলএব দ্বারা বিকাশিত হয়েছিল। এটি ফেব্রুয়ারী 2014 এ অ্যাপাচি শীর্ষ-স্তরের প্রকল্পে পরিণত হয়েছিল Ap অ্যাপাচি স্পার্ককে একটি মুক্ত উত্স, সাধারণ উদ্দেশ্য, ক্লাস্টার-কম্পিউটিং ফ্রেমওয়ার্ক হিসাবে সংজ্ঞায়িত করা যেতে পারে যা ডেটা অ্যানালিটিকাকে আরও দ্রুত করে তোলে। এটি হ্যাডোপ বিতরণকারী ফাইল সিস্টেমের শীর্ষে নির্মিত তবে এটি মানচিত্রের ফ্রেমওয়ার্কের সাথে লিঙ্কযুক্ত নয়। মানচিত্রের তুলনায় স্পার্কস কর্মক্ষমতা অনেক দ্রুত faster এটি স্কালা, পাইথন এবং জাভাতে উচ্চ-স্তরের এপিআই সরবরাহ করে।
আপাচে ক্যাসান্দ্রা
অ্যাপাচি ক্যাসান্দ্রা হ'ল অন্য ওপেন সোর্স নোএসকিউএল ডাটাবেস। ক্যাসান্দ্রা একাধিক ডেটা সেন্টার এবং ক্লাউড স্টোরেজ জুড়ে স্ট্রাকচারড, আধা-কাঠামোগত এবং অব্যবহৃত ডেটা স্প্যানের বৃহত পরিমাণে পরিচালনা করতে ব্যাপকভাবে ব্যবহৃত হয়। ক্যাসান্দ্রা একটি "মাস্টারলেস" আর্কিটেকচারের ভিত্তিতে ডিজাইন করা হয়েছে যার অর্থ এটি মাস্টার / স্লেভ মডেলকে সমর্থন করে না। এই আর্কিটেকচারে, সমস্ত নোড একই এবং ডেটা সমস্ত নোডের মধ্যে স্বয়ংক্রিয়ভাবে এবং সমানভাবে বিতরণ করা হয়। ক্যাসান্দ্রাসের সর্বাধিক গুরুত্বপূর্ণ বৈশিষ্ট্য হ'ল অবিচ্ছিন্ন প্রাপ্যতা, লিনিয়ার স্কেল্যাবিলিটি, অন্তর্নির্মিত / অনুকূলিতকরণযোগ্য প্রতিরূপ, ব্যর্থতার কোনও একক বিন্দু এবং ক্রিয়াকলাপের সরলতার।
তবুও আরেকটি রিসোর্স আলোচনা (ইয়ারএন)
তবুও আরেকটি রিসোর্স নেগোসিয়েটর (ইএআরএন) ম্যাপ্রেডিউস ২.০ নামেও পরিচিত, তবে এটি হ্যাডোপ ২.০ এর অধীনে আসে। YARN একটি কাজের সময় নির্ধারণ এবং রিসোর্স ম্যানেজমেন্ট কাঠামো হিসাবে সংজ্ঞায়িত করা যেতে পারে। ইএআরএন-এর মূল ধারণাটি হ'ল জবট্র্যাকারের কার্যকারিতাগুলি রিসোর্স ম্যানেজমেন্ট এবং সময়সূচী / পর্যবেক্ষণের জন্য দায়ী দুটি পৃথক ডিমন দ্বারা প্রতিস্থাপন করা। এই নতুন কাঠামোর মধ্যে একটি গ্লোবাল রিসোর্স ম্যানেজার (আরএম) এবং অ্যাপ্লিকেশন-নির্দিষ্ট মাস্টার অ্যাপ্লিকেশনমাস্টার (এএম) হিসাবে পরিচিত হবে। গ্লোবাল রিসোর্স ম্যানেজার (আরএম) এবং নোড ম্যানেজার (প্রতি নোড ক্রীতদাস) প্রকৃত ডেটা গণনার কাঠামো গঠন করে। বিদ্যমান ম্যাপ্রেডস ভি 1 অ্যাপ্লিকেশনগুলিও ইএআরএন-তে চালানো যেতে পারে তবে সেই অ্যাপ্লিকেশনগুলিকে হ্যাডোপ ২.এক্স জারগুলি দিয়ে পুনরায় সংযোগ করা দরকার।
Impala
ইমপালাকে বিশাল সমান্তরাল প্রক্রিয়াকরণ (এমপিপি) পাওয়ার সহ একটি এসকিউএল কোয়েরি ইঞ্জিন হিসাবে সংজ্ঞায়িত করা যেতে পারে। এটি আপাচি হ্যাডোপ ফ্রেমওয়ার্কে স্থানীয়ভাবে চলে। ইম্পালা হ্যাডোপ ইকোসিস্টেমের অংশ হিসাবে ডিজাইন করা হয়েছে। অন্যান্য হ্যাডোপ ইকোসিস্টেম উপাদান দ্বারা ব্যবহৃত একই নমনীয় ফাইল সিস্টেম (এইচডিএফএস), মেটাডেটা, রিসোর্স ম্যানেজমেন্ট এবং সুরক্ষা ফ্রেমওয়ার্কগুলি এটি ভাগ করে। সবচেয়ে গুরুত্বপূর্ণ বিষয়টি লক্ষ্য করুন যে ইম্পালা হিভের তুলনায় ক্যোয়ারী প্রসেসিংয়ে অনেক দ্রুত। তবে আমাদের এও মনে রাখা উচিত যে ইম্পালার অর্থ একটি ছোট্ট ডেটা সম্পর্কিত কোয়েরি / বিশ্লেষণের জন্য, এবং এটি একটি বিশ্লেষণ সরঞ্জাম হিসাবে ডিজাইন করা হয়েছে যা প্রক্রিয়াজাত এবং কাঠামোগত ডেটাতে কাজ করে।
আইটি-তে হ্যাডোপ একটি গুরুত্বপূর্ণ বিষয়, তবে যারা আছেন এটির দীর্ঘমেয়াদী কার্যক্ষমতার বিষয়ে সন্দেহ আছে। হাদোপ কী? একটি সিনিক্স তত্ত্ব।