যখন এসকিউএল যথেষ্ট নয়: প্রচুর নতুন ডেটা কেন্দ্রের জন্য নিয়ন্ত্রণগুলি

কন্টেন্ট

• গুগল ফাইল সিস্টেম: একটি বড় কেস স্টাডি
• কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
• কোর টেকনোলজির দিকে এক নজর
• অন্যান্য বড় সিস্টেমগুলি কীভাবে এটি অর্জন করে?
• একটি ডিএফএস বজায় রাখা

ছাড়াইয়া লত্তয়া:

বিকাশকারী এবং ইঞ্জিনিয়ারদের তাদের ক্লাসিক 1990-এর যুগের প্রত্নতাত্ত্বিক ধরণের পেরিয়ে যাওয়া প্ল্যাটফর্মগুলিতে পরিষেবাগুলি গতি বাড়ানোর এবং উন্নত করার জন্য ক্রমাগত কাজ করা দরকার।

আমাদের ব্যক্তিগত জীবন সম্পর্কে গাজিলিয়ন ডেটা বিট ধারণকারী প্রচুর এনএসএ ডেটা সেন্টারগুলি সম্পর্কে সমস্ত গুঞ্জন সহ, একটি জিনিস রয়েছে যা কমপক্ষে সিএনএন-তে খুব একটা কথা হয় নি। এটিতে এমন একটি প্রকৌশল সমস্যা জড়িত যা ক্লাউড প্রযুক্তি, বড় ডেটা এবং চিত্তাকর্ষক শারীরিক ডেটা স্টোরেজ সেন্টারগুলির পাশাপাশি এখন সারা বিশ্বে নির্মিত হচ্ছে emerged তো এটা কি? ঠিক আছে, এই সুবিধাগুলি চালিত যে কোনও একটি বিশাল আইটি সিস্টেম পরিচালনা করছেন না কেন, এমন একটি সফ্টওয়্যার সিস্টেমের প্রয়োজন রয়েছে যা সেই সমস্ত ডেটা দ্রুত পাইপলাইনে প্রবেশ করতে এবং আউট করতে সহায়তা করে। সেই প্রয়োজনটি আজ পেশাদারদের মুখোমুখি একটি আকর্ষণীয় আইটি প্রশ্ন বা ধাঁধাগুলির প্রতিনিধিত্ব করে।

অনেক বিশেষজ্ঞরা যেমন উল্লেখ করেছেন, আজকের ডেটা প্রক্রিয়াকরণের চূড়ান্ত চাহিদা প্রচলিত পদ্ধতির চেয়ে অনেক বেশি। সহজ কথায় বলতে গেলে, এসকিউএল কোয়েরি ইন্টারফেসের মতো সাধারণ ডাটাবেস কাঠামো এবং সরঞ্জামগুলি ব্যবহার করে গত কয়েক বছর ধরে গড়ে ওঠা মালিকানাধীন সিস্টেমগুলির পছন্দগুলির জন্য পর্যাপ্ত প্রক্রিয়াকরণ শক্তি বা কার্যকারিতা সরবরাহ করা যাচ্ছে না। আজকের বড় কারিগরি সংস্থাগুলির সংরক্ষণাগারগুলির জন্য অত্যন্ত স্কেলযোগ্য প্রযুক্তি প্রয়োজন। তাদের ডেটা প্রসেসিং সরঞ্জামগুলির প্রয়োজন যা কোনও একক সার্ভারের সুবিধার্থে তার চেয়ে বেশি পরিমাণে ইনপুট এবং আউটপুট ফলাফল করতে পারে। তাদের এমন সমাধান প্রয়োজন যা দ্রুত বিকাশের জন্য ছড়িয়ে দেওয়া যায়, এমন সমাধানে যাতে কৃত্রিম বুদ্ধিমত্তার জটিল স্তরের অন্তর্ভুক্ত থাকে, এমন কোনও সমাধান যা কোনও আইটি বিভাগ দ্বারা সহজ ব্যবস্থাপনার জন্য ডিজাইন করা হয়েছে।

প্রশ্নটি হল, সংস্থাগুলি এবং সরকারী সংস্থা কীভাবে theতিহ্যবাহী ডেটা হ্যান্ডলিংয়ের পথের সীমাবদ্ধতাগুলি জয় করে? এখানে খুব ভাল একটি প্রতিশ্রুতিবদ্ধ বিকল্পটি দেখুন: বড় বড় ডেটা এবং একাধিক ডেটা সেন্টারগুলির পরিচালনা করে এমন সফ্টওয়্যার।

গুগল ফাইল সিস্টেম: একটি বড় কেস স্টাডি

গুগল তার ডেটা সেন্টারগুলিতে অ্যাক্সেসের জন্য যে মালিকানাধীন প্রযুক্তি ব্যবহার করে তা হ'ল বড় ডেটা হ্যান্ডলিং এবং একাধিক ডেটা সেন্টার প্রশাসনের সাধারণ মডেলের অন্যতম সেরা উদাহরণ। ২০০৩ সালে বিকাশিত গুগল ফাইল সিস্টেম (জিএফএস) এমন একাধিক ডেটা সিস্টেমের উচ্চতর গতির সংশোধনকে সমর্থন করার জন্য ডিজাইন করা হয়েছে যা লক্ষ লক্ষ ব্যবহারকারীর কাছ থেকে দূরে ক্লিক করার কারণে একক প্ল্যাটফর্মের মধ্যে এত বেশি নতুন তথ্য পাওয়ার অংশ are একই সময়. বিশেষজ্ঞরা এটিকে একটি বিতরণকৃত ফাইল সিস্টেম হিসাবে উল্লেখ করেন এবং এই অত্যন্ত জটিল কৌশলগুলি বর্ণনা করতে "ডেটা অবজেক্ট স্টোরেজ" শব্দটি ব্যবহার করেন। বাস্তবে, যাইহোক, এই পদগুলি কর্মক্ষেত্রে কী রয়েছে তা বর্ণনা করে এমনকি পৃষ্ঠটিকে আঁচড়ানও না।

পৃথকভাবে, জিএফএসের মতো সিস্টেম তৈরি করে এমন বৈশিষ্ট্য এবং উপাদানগুলি এখন আর স্থল-ব্রেকিং নাও হতে পারে, তবে সেগুলি জটিল। তাদের মধ্যে অনেকগুলি এই সাইটে অপেক্ষাকৃত নতুন উদ্ভাবন হিসাবে আচ্ছাদিত হয়েছে যা একটি নতুন, সর্বদা চালু, সর্বদা সংযুক্ত গ্লোবাল আইটি সিস্টেমের ভিত্তিটির অংশ। সম্মিলিতভাবে, জিএফএসের মতো সিস্টেমটি তার অংশগুলির যোগফলের চেয়ে অনেক বেশি: এটি পৃথকভাবে উপাত্ত টুকরো টুকরো টুকরো করে এমন একটি বৃহত্ অদৃশ্য কিন্তু বিশাল জটিল নেটওয়ার্ক এবং এটি এমন একটি প্রক্রিয়াতে, যা পুরোপুরি দৃশ্যমানভাবে মডেল করা গেলে বিশৃঙ্খলার মতো দেখাবে। সমস্ত ডেটা কোথায় চলেছে তা বোঝার জন্য প্রচুর শক্তি এবং প্রতিশ্রুতি লাগে, কারণ এই ব্যবস্থাগুলির যুদ্ধকেন্দ্রগুলি প্রস্তুত করা লোকেরা সহজেই স্বীকার করবে।

"অনেকগুলি বিশদ রয়েছে যা ব্যবহারের ক্ষেত্রগুলিতে গভীর প্রভাব ফেলেছে - বহিরাগত এবং অভ্যন্তরীণ খণ্ডন, লগ-ভিত্তিক বনাম ইন-প্লেস আপডেট এবং লেনদেনের ধারাবাহিকতার মাত্রা সহ - এটি একক সংক্ষিপ্ত বাক্যটিতে যেভাবে কাজ করে তা সংক্ষিপ্ত করতে to , "সানবোলিকের সিইও এবং সহ-প্রতিষ্ঠাতা মোমচিল মাইচাইলভ বলেছেন।

"একটি বিতরণকৃত ফাইল সিস্টেমটি হয় স্থানীয় নাম স্থানগুলির একটি বিতরণকৃত সংগ্রহকারক এবং অংশগ্রহণকারী নোডের ফাঁকা স্থান, অথবা একটি স্থানীয় ফাইল সিস্টেম যা একাধিক নোডে সঞ্চালিত লক ম্যানেজার উপাদানটির সাহায্যে ভাগ করা স্টোরেজ অ্যাক্সেস করে।"

কেরি লেবেল অটোমিকের সিনিয়র প্রোডাক্ট ম্যানেজার, এটি একটি পরিমাপযোগ্য অটোমেশন প্ল্যাটফর্মের জন্য পরিচিত একটি সংস্থা। লেবেল বলেছেন যে কোনও ডিএফএসকে এমন সিস্টেম হিসাবে বর্ণনা করা ঠিক যা সঠিকভাবে হার্ডওয়্যারের স্বল্পমূল্যের টুকরো সংযুক্ত সার্ভারগুলিকে কাজের চাপ বোঝায়, যা পুরো গল্পটি সত্যই জানায় না।

কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ

কেউ যখন সফ্টওয়্যার মানের সম্পর্কে চিন্তা করে না তখন আপনি আপনার প্রোগ্রামিং দক্ষতা উন্নত করতে পারবেন না।

"আপনি যা হারিয়েছেন তা হ'ল শীতল উপাদান কিভাবে তারা যা করে তারা তা করে, "লেবেল বলেছিলেন।

আপনি যখন প্রযুক্তিগত বিশদ থেকে দূরে সরে যান এবং কেবল বিতরণকৃত ফাইল সিস্টেমের পিছনে মূল ধারণাটি সম্পর্কে চিন্তা করেন, লেবেল যে "কুল ফ্যাক্টর" সম্পর্কে কথা বলেন তা স্পষ্ট হয়। এই বড় ডেটা হ্যান্ডলিং সিস্টেমগুলি পুরানো ফাইল / ফোল্ডার সিস্টেমগুলি এমন স্ট্রাকচারের সাথে প্রতিস্থাপন করে যাতে কেবল একাধিক ডেলিভারি সিস্টেমই জড়িত থাকে না, তবে একটি "অবজেক্ট ওরিয়েন্টেড" পদ্ধতির সাথে দেখা যায়, যেখানে বিরাট সংখ্যক ইউনিট বিচ্ছিন্ন হয়ে যায় এবং সেখানে বাধা রোধ করতে পারে।

উদাহরণস্বরূপ, একটি অত্যাধুনিক হাইওয়ে সিস্টেমের কথা চিন্তা করুন, যেখানে কয়েক হাজার গাড়ি সরাসরি সরাসরি বহুবিধ উপায়ে সজ্জিত করা হয় না, তবে ঝরঝরে ঝাঁকানো এবং প্রচ্ছন্ন ছোট্ট ক্লোভার পাতা বা অক্সবো শাখাগুলিতে ছড়িয়ে পড়ে ed বিভিন্ন গন্তব্যস্থলে তাদের গন্তব্যের দিকে। আকাশ থেকে, সমস্ত কিছু সুইস ঘড়ির মতো কোরিওগ্রাফ করা দেখায়। ইঞ্জিনিয়াররা যখন একাধিক স্তরযুক্ত ডেটা কন্টেন্টমেন্ট স্কিমার বিভিন্ন স্তরে "লাথি মেরে" সীমাবদ্ধতার কাছাকাছি তথ্য রুট করার জন্য নতুন উপায়গুলি দেখেন তখন ভিজ্যুয়াল মডেলটি কী ধরণের দেখায় তা ঠিক তা নয়। চশমাগুলি বাদ দিয়ে, এটি একটি হ্যান্ডলিং সিস্টেমের শীর্ষ স্তরের লক্ষ্য: এই এম্বেড থাকা মেটাডেটা সহ-স্ব-নিখুঁত বস্তুগুলিকে শীর্ষ গতিতে চলতে হবে যেখানে তাদের হওয়া দরকার, ধারাবাহিকতার লক্ষ্যে পৌঁছাতে, শেষ ব্যবহারকারীকে সন্তুষ্ট করতে, বা এমনকি শীর্ষ স্তরের পর্যবেক্ষণ বা বিশ্লেষণকে অবহিত করতে।

কোর টেকনোলজির দিকে এক নজর

আরস টেকনিকায় প্রকাশিত শান গ্যালাগারের একটি নিবন্ধ জিএফএসের নকশাটি কিছুটা পরিচালনাযোগ্য অংশে ভেঙে দিয়েছে এবং গুগলে শীটের নীচে কী রয়েছে সে সম্পর্কে ইঙ্গিত দেয়।

জিএফএস ডেটা পড়া এবং লেখার জন্য একটি নিরর্থক এবং ত্রুটি সহনশীল মডেল দিয়ে শুরু হয়। এখানে ধারণাটি হ'ল একক ড্রাইভে একটি নির্দিষ্ট আপডেট লেখার পরিবর্তে, নতুন সিস্টেমগুলি একাধিক গন্তব্যগুলিতে ডেটা বিশ্লেষণ করে। এইভাবে, যদি কোনও লেখা ব্যর্থ হয় তবে অন্যরা রয়ে যাবে। এটি সামঞ্জস্য করার জন্য, একটি প্রাথমিক নেটওয়ার্ক উপাদান অন্যান্য অধস্তন ইউনিটগুলিতে ডেটা হ্যান্ডলিংয়ের বাইরে চলে আসে, যখন কোনও ক্লায়েন্ট এটির জন্য "কল" করে তখন ডেটা পুনরায় একত্রিত করে। এগুলি সবই একটি মেটাডেটা প্রোটোকল দ্বারা সম্ভব হয়েছে যা নির্দিষ্ট সিস্টেমের মধ্যে নির্দিষ্ট আপডেট এবং সংক্রমণ ফলাফলগুলি কোথায় তা সনাক্ত করতে সহায়তা করে।

এর আর একটি খুব গুরুত্বপূর্ণ বিষয় হ'ল এই সদৃশ-ভারী সিস্টেমগুলি কীভাবে ডেটা ধারাবাহিকতা প্রয়োগ করে। গ্যালাগার নোট হিসাবে, জিএফএস ডিজাইন "পরমাণু প্রয়োগের ক্ষেত্রে" বা সময়ের সাথে মেলে একাধিক স্টোরেজ ইউনিটগুলিতে ডেটা কীভাবে আপডেট হয় তার মূলনীতিটি রক্ষা করার সময় কিছু ধারাবাহিকতা ত্যাগ করে। গুগলের "শিথিল ধারাবাহিকতা মডেল" BASE মডেলের প্রয়োজনীয় তত্ত্বটি অনুসরণ করে বলে মনে হচ্ছে, যা ধারাবাহিকতা প্রয়োগের জন্য দীর্ঘ সময়ের ফ্রেমের বিনিময়ে আরও নমনীয়তা সরবরাহ করে।

অন্যান্য বড় সিস্টেমগুলি কীভাবে এটি অর্জন করে?

"যখন পর্যাপ্ত পরিমাণে পর্যাপ্ত পরিমাণে পৌঁছে যায়, তখন ডেটাগুলিতে অসঙ্গতি বা দুর্নীতি অনিবার্য হয়ে ওঠে," মাইচেলভ বলেছেন। "অতএব, বিতরণ ফাইল সিস্টেমগুলির প্রাথমিক লক্ষ্যটি দুর্নীতি উপস্থিত থাকার সময় যথাসম্ভব অপারেশন চালানোর দক্ষতা হওয়া উচিত এবং একই সাথে দুর্নীতির মোকাবেলায় দক্ষ পদ্ধতিগুলি সরবরাহ করা উচিত।" মাইখাইলভ অযথা সতর্কতার সাথে প্রয়োগের মাধ্যমে কর্মক্ষমতা সংরক্ষণের প্রয়োজনীয়তার কথাও উল্লেখ করেছেন।

"উদাহরণস্বরূপ, প্রতিটি ডিস্কে মেটাডেটা (ডেটা সম্পর্কিত ডেটা) তৈরি করা যদি সেই ডিস্কটির মিরর অনুলিপিটি নষ্ট হয়ে যায় তবে তার সঠিক ডেটা কাঠামোটি পুনর্নির্মাণ করতে সক্ষম করে," মাইখেলভ বলেছেন। "অতিরিক্তভাবে, RAID স্তরগুলি ফাইল সিস্টেম একগ্রিগেটর বা ভাগ করা ভলিউম পরিচালক ব্যবস্থার স্তরে স্টোরেজ ব্যর্থতার বিরুদ্ধে লড়াই করতে ব্যবহার করা যেতে পারে" "

আরেকটি ধারাবাহিকতা মডেল নিয়ে আলোচনার সময় লেবেল হ্যাডোপ বিতরণকারী ফাইল সিস্টেম (এইচডিএফএস) নামে একটি সিস্টেমে মনোনিবেশ করেন, যাকে তিনি "ইন্ডাস্ট্রির ডি-ফ্যাক্টো স্ট্যান্ডার্ড" বলে অভিহিত করেন।

লেবেল বলেছেন, এইচডিএফএসে, প্রতিটি ডেটা ব্লক তিনবার বিভিন্ন নোডে এবং দুটি পৃথক র‌্যাকে প্রতিলিপি করা হয়। ডেটা শেষ থেকে শেষ পর্যন্ত পরীক্ষা করা হয়। ব্যর্থতা নেমনোডের কাছে রিপোর্ট হয়, এটি একটি ডেটা হ্যান্ডলার যা দুর্নীতিগ্রস্থ ব্লকগুলি থেকে মুক্তি পায় এবং নতুন তৈরি করে।

এই সমস্ত "ধরণের পরিষ্কার ডেটা" সমর্থন করে যা এই গণ তথ্য সিস্টেমগুলির মধ্যে একটির সততার জন্য এত গুরুত্বপূর্ণ।

একটি ডিএফএস বজায় রাখা

জিএফএসে অন্যরকম এক অন্যরকম চেহারা ওয়্যার্ড লেখক স্টিভেন লেভির অক্টোবর ২০১২ সালের একটি নিবন্ধ থেকে এসেছে। গুগলের সমষ্টিগত টপ-ডাউন নেটওয়ার্ক হ্যান্ডলিংয়ের জন্য সফ্টওয়্যার পদ্ধতির বৈশিষ্ট্য নির্ধারণে এটি অনেক বেশি উদ্বেগজনক।

লেভি লিখেছেন, "কয়েক বছর ধরে গুগল এমন একটি সফ্টওয়্যার সিস্টেম তৈরি করেছে যা এটি তার অগণিত সার্ভারগুলিকে পরিচালনা করার অনুমতি দেয় যেন তারা একমাত্র বিশাল সত্তা। এর অভ্যন্তরীণ বিকাশকারীরা পুতুলের মাস্টারদের মতো কাজ করতে পারে এবং কয়েক হাজার কম্পিউটার সঞ্চালনের জন্য প্রেরণ করতে পারে একটি একক মেশিন চালানোর মতো সহজে কাজগুলি।

এটি করার জন্য ডেটা ক্রিপ্টের হলগুলিতে সতর্কতার সাথে তাপমাত্রা নিয়ন্ত্রিত করতে, সার্ভার সিস্টেমগুলিকে "ব্রেক" করার চেষ্টা করা নিবেদিত পরীক্ষার দল থেকে শুরু করে প্রচুর সাইবার-ভিত্তিক এবং পরিবেশগত রক্ষণাবেক্ষণও জড়িত।

লেভি জিএফএসের জন্য পরিপূরক প্রযুক্তিরও উল্লেখ করেছেন, যেমন ম্যাপ্রেডিউস, ক্লাউড অ্যাপ্লিকেশন সরঞ্জাম এবং হ্যাডোপ, একটি বিশ্লেষণ ইঞ্জিন যা জিএফএসের সাথে কিছু নকশার নীতিগুলি ভাগ করে দেয়। কীভাবে বড় ডেটা সেন্টার হ্যান্ডলিং সিস্টেমগুলি ডিজাইন করা হয় এবং ভবিষ্যতে কী উত্থানের সম্ভাবনা রয়েছে তার উপর এই সরঞ্জামগুলির নিজস্ব প্রভাব রয়েছে। (বিগ ডেটার বিবর্তনে এই প্রযুক্তিগুলি সম্পর্কে আরও জানুন))

মাইখিলভ বিশ্বাস করেন যে ম্যাপ্রেডিউসে সর্বদা-বৃহত্তর ডেটা সেন্টার সিস্টেমগুলিকে সমর্থন করার সম্ভাবনা রয়েছে এবং শেয়ার্ড এবং একত্রিত ফাইল সিস্টেমগুলির "একক বাস্তবায়ন" সম্পর্কে কথা বলা হয়েছে যা "স্টোরেজের জন্য এসএসডিগুলির সাথে ভাগ করা ক্লাস্টারে একটি সমন্বিত ফাইল সিস্টেমের নাম নোড রাখতে পারে" । "

তার অংশ হিসাবে, লেবেল ব্যাচ প্রসেসিং (হ্যাডোপ-সমর্থিত পদ্ধতি) থেকে স্ট্রিম প্রসেসিংয়ের দিকে সরে যেতে দেখেছে, যা এই ডেটা অপারেশনগুলিকে রিয়েল-টাইমের আরও কাছাকাছি নিয়ে আসবে।

"আমরা যত দ্রুত ডেটা প্রক্রিয়াকরণ করতে পারি এবং এটি ব্যবসায়িক সিদ্ধান্ত গ্রহণকারীদের বা আমাদের গ্রাহকদের কাছে সহজতর করে তুলতে পারি, সেখানে প্রতিযোগিতামূলক সুবিধা তত বেশি হবে," লেবেল বলেন, যে উপরোক্ত প্রসেসিং টার্মিনোলজিকে এমন পদগুলির সাথে প্রতিস্থাপনের পরামর্শ দেয় যা এই বিষয়গুলিকে কেন্দ্র করে শেষ ব্যবহারকারী "সিঙ্ক্রোনাস" ক্রিয়াকলাপ, বা শেষ-ব্যবহারকারীর ক্রিয়াকলাপগুলির সাথে সিঙ্ক হওয়া ক্রিয়াকলাপগুলি এবং বাস্তবায়নের ক্ষেত্রে আরও নমনীয় "অ্যাসিনক্রোনাস" ক্রিয়াকলাপগুলি সম্পর্কে চিন্তাভাবনা করে লেবেল বলেছেন যে প্রদত্ত পরিষেবা সিস্টেম কীভাবে কাজ করবে তা সংজ্ঞায়িত করতে সংস্থাগুলি এসএলএ এবং অন্যান্য সংস্থান ব্যবহার করতে পারে ।

এই সমস্ত কিছু কীভাবে ফুটে ওঠে, এক অর্থে, বিকাশকারী এবং ইঞ্জিনিয়ারদের তাদের ক্লাসিক, 1990-এর যুগের প্রত্নতাত্ত্বিকতার চেয়ে অনেক বেশি বেড়ে ওঠা প্ল্যাটফর্মগুলির উপর পরিষেবাগুলি গতি বাড়ানোর এবং উন্নত করার জন্য নিয়মিত কাজ করা দরকার। এর অর্থ ডেটা মেশিনারিগুলির দিকে সমালোচনা করে দেখার এবং যেভাবে কেবল ক্রমবর্ধমান জনসংখ্যাকেই সমর্থন করে না তারাই বাধা বিপত্তিগুলি ভেঙে দেয়, তবে ভাঙ্গা গলায় এমন ঘটনামূলক পরিবর্তন ঘটে যা পন্ডিতরা "পরবর্তী শিল্প বিপ্লব" বলে ডাকে। সম্ভবতঃ যারা এই ফ্রন্টগুলির সর্বাধিক ভিত্তি ভাঙবে তারা ভবিষ্যতের বাজার এবং অর্থনীতিতে প্রাধান্য অর্জন করবে।