কন্টেন্ট
- নেক্সট-জেনারেশন ডেটা আর্কিটেকচার কী?
- নেক্সট-জেনারেশন আর্কিটেকচারের কন-এ হ্যাডোপ থেকে প্রত্যাশা
- হ্যাডোপ পরবর্তী-প্রজন্মের ডেটা আর্কিটেকচারে কী মানগুলি যুক্ত করতে পারে?
- একটি এন্টারপ্রাইজ ডেটা আর্কিটেকচার হিসাবে উন্নত পারফরম্যান্স
- হাদোপ এবং অন্যান্য প্রযুক্তিগুলির মধ্যে পার্থক্য
- উপসংহার
সূত্র: রোমিও 1232 / ড্রিমসটাইম ডটকম
ছাড়াইয়া লত্তয়া:
বিপুল পরিমাণে ডেটা হ্যান্ডেল করার দক্ষতার কারণে হ্যাডোপ পরবর্তী প্রজন্মের ডেটা আর্কিটেকচারের মূল খেলোয়াড় হবেন।
হডুপের ইউটিলিটি বড় ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণের বাইরে যেতে শুরু করেছে কারণ শিল্পটি এর থেকে আরও চাহিদা আসে। হাদুপ তার মূল শক্তি বজায় রেখে ক্রমাগত এন্টারপ্রাইজ ডেটা আর্কিটেকচার সম্পর্কিত বিবিধ প্রয়োজনীয়তা পূরণ করছে। হাদুপ কী করতে পারে এবং বর্তমানে কী করছে তার তালিকা বেশ দীর্ঘ। হাডোপ এখন প্রচুর পরিমাণে লেনদেনের কাজের চাপ প্রক্রিয়া করতে সক্ষম, এটি এমন একটি কাজ যা পূর্বে traditionalতিহ্যবাহী প্রযুক্তিগুলির দ্বারা প্রত্যাশিত ছিল। এগিয়ে যেতে, ভবিষ্যতে হাদুপের জন্য অনেক সম্ভাবনা রয়েছে। উদাহরণস্বরূপ, এসকিউএল ভিত্তিক লেনদেন সিস্টেমগুলি একটি হ্যাডোপ এসকিউএল ইঞ্জিন ব্যবহার করতে পারে এবং হ্যাডোপ প্রচুর আরডিবিএমএস ক্ষমতা যুক্ত করবে। আপনি বলতে পারেন যে হ্যাডোপ এন্টারপ্রাইজ আর্কিটেকচার সক্ষমতা সহ ডেটা প্রসেসিং এবং বিশ্লেষণাত্মক দক্ষতার সংকর হয়ে উঠছে।
নেক্সট-জেনারেশন ডেটা আর্কিটেকচার কী?
এটিকে সহজভাবে বলতে গেলে, পরবর্তী প্রজন্মের ডেটা আর্কিটেকচারটি ডেটা আর্কিটেকচারের একটি বিকশিত রূপ। ডেটা মডেল, ডেটা পলিসি, নিয়ম এবং মান সহ সমস্ত কিছু যা ডেটা কীভাবে সংগ্রহ করা, সংরক্ষণ, ব্যবস্থা, বিশ্লেষণ বা প্রক্রিয়াজাতকরণ, সংহত, ব্যবহৃত এবং বিতরণ করা হয় তা পরিচালনা করে পরবর্তী প্রজন্মের ডেটা আর্কিটেকচারের আওতায়।
পূর্ববর্তী ডেটা আর্কিটেকচার এবং পরবর্তী প্রজন্মের ডেটা আর্কিটেকচারের মধ্যে প্রধান পার্থক্য হ'ল রিয়েল টাইমে বড় আকারের ডেটা হিসাবে পরিচিত, প্রচুর পরিমাণে ডেটা সংগ্রহ, সঞ্চয় এবং প্রক্রিয়াজাতকরণের সক্ষমতা। আর্কিটেকচার গোপনীয়তা, সুরক্ষা এবং ডেটা প্রশাসনের মানদণ্ডের সাথে কোনও আপস না করে এই সমস্ত জটিল কাজ সম্পাদন করে।
পরবর্তী প্রজন্মের ডেটা আর্কিটেকচার অনেক চ্যালেঞ্জের মুখোমুখি। ভলিউম, বেগ এবং বিভিন্ন ধরণের বড় ডেটা পরিচালনা করা সহজ নয়। এতে যোগ করুন সিস্টেমের কাজের চাপ, পারফরম্যান্সের উন্নতি, গতি এবং যথার্থতা এবং ব্যয় হ্রাসের প্রয়োজনীয়তা। বলা বাহুল্য, পূর্ববর্তী ডেটা আর্কিটেকচারকে এ জাতীয় চাহিদা পরিচালনা করতে হয়নি।
সুতরাং, সিআইও এবং তথ্য স্থপতিরা এমন কোনও সমাধান চান যা তাদের লক্ষ্য অর্জনে সহায়তা করে। অপারেশনাল হাদুপ এই সময়ের সাথে কিছু সময়ের জন্য ফোকাসে ছিল The নীচের বিভাগগুলি কীভাবে অপারেশনাল হাদুপ সমস্যার সমাধান করতে পারে তা আলোচনা করবে।
নেক্সট-জেনারেশন আর্কিটেকচারের কন-এ হ্যাডোপ থেকে প্রত্যাশা
সংস্থাগুলি আরও ভাল ফলাফল দেওয়ার জন্য ক্রমবর্ধমান চাপের মধ্যে রয়েছে এবং প্রযুক্তিগুলিতে প্রত্যাশাগুলির উপর প্রভাবগুলি কমে যাচ্ছে। সুতরাং, হ্যাডোপ আর কেবল ডেটা প্রক্রিয়া করবে বলে আশা করা যায় না। সিআইও এবং সিটিও হাদুপ থেকে আরও চান। হাদুপ থেকে প্রত্যাশার একটি তালিকা নীচে দেওয়া হল। আসলে, হ্যাডোপ ইতিমধ্যে এই প্রত্যাশাগুলির কয়েকটি সরবরাহ করে আসছে।
হাডোপ এসকিউএল ভিত্তিক এবং লেনদেন সিস্টেমগুলি তৈরি, পড়া, আপডেট এবং সক্ষমতা মুছে ফেলার সাথে কাজ করবে বলে আশা করা যায়। লেনদেন সিস্টেমগুলি এসকিউএল ইঞ্জিনটি উপকৃত করবে। সিস্টেমগুলিতে সম্পূর্ণ পোর্টেবল অপারেটিং সিস্টেম ইন্টারফেস (POSIX) সম্মতি এবং উচ্চ লেনদেনের পরিমাণগুলি প্রক্রিয়াকরণের ক্ষমতাও থাকবে।
হাডোপ ব্যাকআপ, ফল্ট সহনশীলতা, পুনরুদ্ধার এবং দুর্যোগ পুনরুদ্ধারের মতো বৈশিষ্ট্যগুলিকে সমর্থন করবে বলে আশা করা যায়। আরডিবিএমএস ক্ষমতা সহ একটি সিস্টেমে বিবর্তিত হওয়ার জন্য হ্যাডোপকে বিদ্যমান আইটি সরঞ্জামগুলির সাথে সামঞ্জস্য করা দরকার।
হাডোপ ইতিমধ্যে কয়েকটি উন্নয়ন থেকে প্রত্যাশা পূরণের জন্য কাজ করছে working হ্যাডুপ ইয়ার্ন দ্বারা সরবরাহিত রিসোর্স ম্যানেজমেন্ট সহায়তার ভিত্তিতে রিয়েল-টাইম বিশ্লেষণ এবং দ্রুত প্রতিক্রিয়া সরবরাহ করতে পারে। YARN একটি রিসোর্স ম্যানেজার হওয়া ছাড়াও বড় ডেটা অ্যাপ্লিকেশনগুলির জন্য একটি বৃহত আকারের এবং বিতরণ করা অপারেটিং সিস্টেম। অ্যাপাচি ঝড়ের মতো অন্যান্য বিকাশ, মেমোরি আর্কিটেকচার যেমন অ্যাপাচি স্পার্ক, অ্যাপাচি হাইভ, ড্রিল এবং ম্যাপআর-এফএস (একটি উচ্চতর পারফরম্যান্স এইচডিএফএস প্রতিস্থাপন) বিতরণ করে, বিভিন্ন সম্পূর্ণ ডাটাবেস ক্ষমতা সরবরাহ করার জন্য, কাজ করে বলে পরিচিত যেমন ব্যাকআপ, দুর্যোগ পুনরুদ্ধার, ত্রুটি সহিষ্ণুতা ইত্যাদি ((ইয়ার্ন সম্পর্কে আরও তথ্যের জন্য দেখুন হ্যাডোপ ২.০ (ইয়ারএন) ফ্রেমওয়ার্কের কী কী সুবিধা রয়েছে?)
হ্যাডোপ পরবর্তী-প্রজন্মের ডেটা আর্কিটেকচারে কী মানগুলি যুক্ত করতে পারে?
হ্যাডোপ অপারেশনাল মানগুলি পরবর্তী প্রজন্মের ডেটা আর্কিটেকচারে যুক্ত করতে পারে এমন দুটি দৃষ্টিকোণ থেকে দেখা যেতে পারে: একটি, এটি উপরে বর্ণিত প্রত্যাশা পূরণ করছে কিনা, এবং দুটি, এটি অতিরিক্ত কিছু করছে কিনা তা। ক্রিয়াকলাপের হাদোপ আনতে পারে এমন মূল মানগুলি নীচে দেওয়া হল।
হ্যাডুপ এখন এইচডিএফএসের মাধ্যমে প্ল্যাটফর্মের মধ্যে ডেটার আরও স্কেলযোগ্যতা এবং ডেটা পরিচালনাযোগ্যতা সরবরাহ করতে সক্ষম। এবং ডেটা অপারেটিং সিস্টেমটি হ্যাডোপের YARN অ্যাপ্লিকেশনগুলির মাধ্যমে সক্ষম করা হয়েছে। এই কৌশলটি একটি মৌলিক স্তরে ডেটা আর্কিটেকচারের একটি পরিবর্তনকে উপস্থাপন করে। এখন, হ্যাডুপ বিভিন্ন ধরণের ডেটা যেমন লেনদেন-ভিত্তিক ডাটাবেস, গ্রাফ ডাটাবেস এবং ডকুমেন্ট ডাটাবেস সংরক্ষণ করতে পারে এবং এই তথ্যগুলি YARN অ্যাপ্লিকেশনগুলির মাধ্যমে অ্যাক্সেস করা যায়। ডুপ্লিকেট বা অন্য জায়গায় ডেটা সরানোর প্রয়োজন নেই।
একটি এন্টারপ্রাইজ ডেটা আর্কিটেকচার হিসাবে উন্নত পারফরম্যান্স
অপারেশনাল হাদুপ এন্টারপ্রাইজ ডেটা আর্কিটেকচারের মূল ব্যবস্থা হওয়ার পথে। হ্যাডোপ যেমন এন্টারপ্রাইজ ডেটা আর্কিটেকচারে আরও বেশি প্রবেশ করে, তেমনি ডেটা সিলোগুলি মুছে ফেলা হবে কারণ তাদের মধ্যকার লাইনগুলি মুছে ফেলা হচ্ছে। প্রায় সব ক্ষেত্রেই দ্রুত উন্নতি হতে চলেছে। আরও কার্যকর ফাইল ফর্ম্যাট, আরও ভাল এসকিউএল ইঞ্জিন কার্যকারিতা, উন্নত ফাইল সিস্টেম এবং দৃ and়তা যা এন্টারপ্রাইজ অ্যাপ্লিকেশনগুলির প্রয়োজনীয়তা পূরণ করবে আকারে উন্নতি হতে চলেছে।
হাদোপ এবং অন্যান্য প্রযুক্তিগুলির মধ্যে পার্থক্য
অতীতে হ্যাডোপ এবং ডেটা এন্টারপ্রাইজ প্রযুক্তির মধ্যে প্রধান পার্থক্য হাদোপের বড় ডেটা প্রসেসিং, রিপোর্টিং এবং বিশ্লেষণ ক্ষমতা ছিল। এখন, যেমন চালিত হাডোপ আরও বেশি করে এন্টারপ্রাইজ ডেটা আর্কিটেকচারের অংশ হয়ে উঠছে, সত্তাগুলির মধ্যে পার্থক্য ক্রমশ ঝাপসা হয়ে যাচ্ছে। সুতরাং, অপারেশনাল হাদোপ বিদ্যমান এন্টারপ্রাইজ ডেটা আর্কিটেকচারের সর্বোত্তম বিকল্প হিসাবে উঠছে।
উপসংহার
প্রত্যাশা এবং অগ্রগতির পরিপ্রেক্ষিতে হাদোপ বেশ কিছু সময়ের জন্য শিল্পের দিকে মনোনিবেশ করতে চলেছেন। তবে হ্যাডোপের প্রতি খুব বেশি মনোযোগ না দেওয়ার এবং অন্যান্য প্রযুক্তিগুলিকে উপেক্ষা করার পক্ষে এটি বোধগম্য। এটি কারণ অন্য প্রযুক্তিগুলি একই পরামিতিগুলিতে অগ্রগতি করবে এবং হ্যাডোপকেও ছাড়িয়ে যেতে পারে। বাজারে একচেটিয়া রাখা কখনই ভাল হয় না। এটি ভাল যে হ্যাডোপ ব্যতীত অন্য প্রযুক্তিগুলির নির্মাতারা আরও ভাল পণ্য সরবরাহ করতে এবং এমনকি প্লাগইনগুলি প্রেরণা জোগাতে পারে যা হাদোপকে তার কার্যকারিতা উন্নত করতে সহায়তা করে।