কন্টেন্ট
সূত্র: জাকুব জিরসাক / ড্রিমসটাইম ডটকম
ছাড়াইয়া লত্তয়া:
হোস্ট এরিক কাভানাঘ শিল্প বিশেষজ্ঞদের সাথে বড় ডেটা বিশ্লেষণ নিয়ে আলোচনা করেছেন।
এরিক: মহিলা এবং ভদ্রলোক, এটি 2014 সালের শেষ - কমপক্ষে, প্রায়। এটি আমাদের বছরের শেষ ওয়েবকাস্ট, লোকেরা! টেকুইয়েস স্বাগতম! হ্যাঁ, সত্যিই! আমার নাম এরিক কাভানাঘ। লোকেরা, দারুণ একটি ওয়েবকাস্টের জন্য আমি আপনার মডারেটর হব। আমি সত্যিই, সত্যিই উত্তেজিত। অনলাইনে আমাদের দুটি দুর্দান্ত বিশ্লেষক এবং দুটি দুর্দান্ত সংস্থা রয়েছে - এই পুরো বড় ডেটা ইকোসিস্টেমের আসল উদ্ভাবক। এবং আমরা বড় ডেটা বিশ্লেষণের কী সম্পর্কে সমস্ত কথা বলতে যাচ্ছি পার্থক্য বোঝা। সুতরাং, আসুন এগিয়ে যান এবং ডুব ডানদিকে, ভাবেন।
আমাদের বেশ কয়েকটি উপস্থাপক রয়েছে। আপনি দেখতে পাচ্ছেন, সত্যিকার অর্থেই শীর্ষে রয়েছে। মাইক ফার্গুসন যুক্তরাজ্য থেকে সমস্ত পথে ডাকছেন, যেখানে এই দেরিতে তাঁর অফিসের বিল্ডিংয়ে থাকার জন্য বিশেষ সুযোগ-সুবিধা পেতে হয়েছিল। এটাই তার জন্য কত দেরী। ব্লার গ্রুপে আমরা আমাদের নিজস্ব চিফ অ্যানালিস্ট ডঃ রবিন ব্লুরকে পেয়েছি। এবং আমাদের কাছে রেডপয়েন্ট গ্লোবালের সিইও এবং সহ-প্রতিষ্ঠাতা জর্জ করুজেডো এবং এসএএস ইনস্টিটিউটের সিনিয়র সলিউশন আর্কিটেক্ট কিথ রেনিসন থাকবেন। এগুলি চমত্কার সংস্থাগুলি, লোকেরা। এগুলি এমন সংস্থাগুলি যা সত্যই উদ্ভাবিত। এবং আমরা এখনই বড় ডেটার পুরো বিশ্বে কী ঘটছে তার কয়েকটি ভাল স্টাফ খনন করতে যাচ্ছি। এবং এর মুখোমুখি হওয়া যাক, ছোট ডেটা চলে যায়নি। এবং তার জন্য, আমি আমার নির্বাহী সংক্ষিপ্ত বিবরণ এখানে দিন।
সুতরাং, একটি পুরানো ফরাসি অভিব্যক্তি রয়েছে: "যত বেশি জিনিস পরিবর্তন হয়, তত বেশি তারা একই থাকে" " এবং আসুন এখানে কিছু তথ্যের মুখোমুখি হই - বড় ডেটা ছোট ডেটার সমস্যাগুলি সমাধান করে না। কর্পোরেট ছোট ডেটা এখনও আছে। এটি এখনও সর্বত্র রয়েছে। এটি আজকের তথ্য অর্থনীতির ক্রিয়াকলাপ the এবং বড় ডেটা এই তথাকথিত ছোট কর্পোরেট ডেটাগুলির জন্য একটি প্রশংসা প্রস্তাব, তবে এটি ছোট ডেটা সরবরাহ করে না। এটি এখনও প্রায় হতে যাচ্ছে। আমি বড় ডেটা, বিশেষত মেশিন-উত্পাদিত ডেটার মতো স্টাফ সম্পর্কে প্রচুর জিনিস পছন্দ করি।
এবং আজ, আমরা সম্ভবত সামাজিক মিডিয়া ডেটা সম্পর্কে কিছুটা কথা বলব যা এটি খুব শক্তিশালী স্টাফ। এবং আপনি যদি উদাহরণস্বরূপ, কীভাবে সামাজিক ব্যবসা বদলেছে সে সম্পর্কে যদি আপনি চিন্তা করেন তবে কেবলমাত্র এখানে তিনটি দ্রুত ওয়েবসাইট সম্পর্কে ভাবেন: লিংকডইন এবং। পাঁচ বছর আগে, এই ধরণের জিনিস কেউ করছিল না সে সম্পর্কে চিন্তাভাবনা করুন। আজকাল এটি একটি পরম জাগরনট। অবশ্যই, বিশাল। এটা প্রচুর। এবং তারপরে, লিংকডইন কর্পোরেট নেটওয়ার্কিং এবং যোগাযোগের জন্য ডি-ফ্যাক্টো স্ট্যান্ডার্ড। এই সাইটগুলি হৃৎসাহী এবং এগুলির মধ্যে থাকা ডেটাটি কাজে লাগাতে সক্ষম হতে এটি কিছু গেম পরিবর্তনের কার্যকারিতা পুনরুদ্ধার করতে চলেছে। এটি সত্যিই প্রচুর সংস্থার পক্ষে অনেক কিছু করতে চলেছে - কমপক্ষে যেগুলি এর সুবিধা নেয়।
কোনও বাগ নেই, কোনও স্ট্রেস নেই - আপনার জীবনকে বিনষ্ট না করে জীবন-পরিবর্তনশীল সফটওয়্যার তৈরির ধাপে গাইড আপনার ধাপ
কেউ যখন সফ্টওয়্যার মানের সম্পর্কে চিন্তা করে না তখন আপনি আপনার প্রোগ্রামিং দক্ষতা উন্নত করতে পারবেন না।
সুতরাং, প্রশাসন - প্রশাসন এখনও গুরুত্বপূর্ণ। আবার, বড় ডেটা প্রশাসনের প্রয়োজনীয়তা বাতিল করে না। মোটামুটি সত্যিই, কীভাবে বড় ডেটা বিশ্বে পরিচালনা করা যায় তার উপর ফোকাস করার সম্পূর্ণ নতুন প্রয়োজন রয়েছে। আপনি কীভাবে নিশ্চিত হন যে আপনার পদ্ধতি এবং নীতিমালা রয়েছে make সঠিক লোকেরা সঠিক ডেটাতে অ্যাক্সেস পাচ্ছে; আপনি পরিচিতি পেয়েছেন যে, আপনি এখানে বংশ জড়িত? আপনি আসলে জানেন যে কোথা থেকে ডেটা আসে, কী ঘটেছিল। এবং এটি সব পরিবর্তনশীল।
আমি এই পুরো নতুন বিশ্বে হাদুপ ইকোসিস্টেমকে উপকার করে যা কিছু অবশ্যই কার্যকারিতার দিক থেকে সঞ্চয়স্থানের তুলনায় অনেক বেশি দেখেছি তাতে আমি সত্যিই মুগ্ধ হয়েছি। হাদুপ একটি গণনামূলক ইঞ্জিনও। এবং সংস্থাগুলিকে কীভাবে সেই গণ্য ক্ষমতা, যে সমান্তরাল প্রক্রিয়াকরণ ক্ষমতাটি ব্যবহার করা যায় তা সংস্থাটিকে খুঁজে বের করতে হবে। তারা সত্যই, সত্যিই দুর্দান্ত জিনিসগুলি করতে চলেছে। আমরা আজ সে সম্পর্কে শিখব।
অন্য যে বিষয়টি উল্লেখ করতে হবে, এটি হ'ল সাম্প্রতিক অতীতে ডাঃ ব্লুর যে কথা বলেছেন, তা হল উদ্ভাবনের তরঙ্গ শেষ হয়নি। সুতরাং, আমরা হ্যাডোপের চারদিকে মনোযোগ অবশ্যই দেখেছি। আমরা ক্লৌডেরা এবং হর্টন ওয়ার্কস এর মতো সংস্থাগুলি দেখেছি, আপনি জানেন যে কিছুটা তরঙ্গ তৈরি করে। এবং তারা আজকের কলটিতে বেশ স্পষ্টভাবে, ভাল, সংস্থাগুলির সাথে অংশীদারিত্ব গড়ে তুলছে। এবং তারা প্রচুর লোকের সাথে অংশীদারিত্ব বিকাশ করছে। তবে উদ্ভাবনের waveেউ শেষ হয়নি। অ্যাপাচি ফাউন্ডেশনের বাইরে এমন আরও অনেক প্রকল্প রয়েছে যা কেবলমাত্র শেষ পয়েন্ট নয়, যদি আপনি যে অ্যাপ্লিকেশনগুলি ব্যবহার করেন - কিন্তু অবকাঠামো নিজেই বদলে চলেছে।
সুতরাং, ইয়ার্নের এই পুরো বিকাশ - অন্য এক রিসোর্স আলোচক - সত্যই বড় ডেটার জন্য একটি অপারেটিং সিস্টেমের মতো। এবং এটি একটি বড়, বড় চুক্তি। সুতরাং, আমরা শিখতে যাচ্ছি কীভাবে এটি কীভাবে জিনিসগুলিকে পরিবর্তন করে। সুতরাং, এখানে সুস্পষ্ট পরামর্শের মাত্র কয়েকটি বিট, দীর্ঘ চুক্তিগুলি এগিয়ে যাওয়ার বিষয়ে সতর্ক থাকুন, আপনি জানেন যে, পাঁচ-দশ বছরের চুক্তিটি তরঙ্গ হতে চলেছে, যা আমার কাছে মনে হয়। আপনি যে কোনও মূল্যে লক-ইন এড়াতে চাইছেন। আমরা আজ সে সব সম্পর্কে শিখতে চলেছি।
সুতরাং, আমাদের প্রথম বিশ্লেষক আজ কথা বলছেন - পুরো প্রোগ্রামটির আমাদের প্রথম স্পিকার হলেন মাইক ফার্গুসন, তিনি যুক্তরাজ্য থেকে ডাকলেন। এর সাথে, আমি আপনাকে কীগুলি মাইকে দেব, আপনাকে এটি সরিয়ে নেব। মাইক ফার্গুসন, মেঝে তোমার।
মাইক, তুমি ওখানে? আপনি নিঃশব্দে থাকতে পারেন আমি তাকে শুনি না আমাদের তাকে আবার ফোন করতে হতে পারে। এবং আমরা ঠিক রবিন ব্লুরের স্লাইডে উঠে পড়ব। রবিন, আমি এখানে দরিদ্র মাইক ফার্গুসনের উপর স্থান অর্জন করতে যাচ্ছি। আমি এক সেকেন্ডের জন্য যাচ্ছি।
এটাই কি তুমি, মাইক? আপনি আমাদের শুনতে পারেন? নাহ। আমি মনে করি আমাদের এগিয়ে যেতে হবে এবং রবিনের সাথে প্রথমে যেতে হবে। সুতরাং, এক সেকেন্ড ধরে, ভাবেন। আমি কয়েক মিনিটের মধ্যে এখানে স্লাইডগুলির কয়েকটি লিঙ্ক টানবো। সুতরাং এটি দিয়ে, আমাকে কী রবিন ব্লুরের হাতে দিন let রবিন, আপনি মাইকের পরিবর্তে প্রথমে যেতে পারেন, এবং আমি মাইককে এক সেকেন্ডে কল করব।
রবিন: ঠিক আছে।
এরিক: ধর, রব। আমাকে এগিয়ে যেতে দিন এবং আপনার স্লাইডটি এখানে তুলতে দাও, রব। এটি এক সেকেন্ড নিতে চলেছে।
রবিন: ঠিক আছে।
এরিক: হ্যাঁ প্রশাসনের দিক দিয়ে আমরা এখানে যা ব্যবহার করছি তার বিষয়ে আপনি একধরনের কথা বলতে পারেন। আমি জানি আপনি প্রশাসনের বিষয়ে কথা বলতে যাচ্ছেন। এটি সাধারণত ছোট কর্পোরেট ডেটাগুলির বিষয়ে ধারণা করা হয়। তাই এখন, আমি স্লাইডটি পেয়েছি, রবিন। কিছু না সরানো। এবং এখানে আপনি যান। মেঝে তোমার। দূরে নিতে.
রবিন: ঠিক আছে। হ্যাঁ। আমার অর্থ, ভাল, আমরা আগে থেকেই সাজানো ছিলাম, মাইক বিশ্লেষণাত্মক দিক সম্পর্কে কথা বলবেন, এবং আমি প্রশাসনের পক্ষ সম্পর্কে কথা বলব। একটি নির্দিষ্ট পরিমাণে, প্রশাসন বিশ্লেষণগুলি এমন এক অর্থে অনুসরণ করে যে এটি একটি বড় কারণ যা আপনি বড় ডেটা স্টাফ করছেন এবং বিশ্লেষণ করার জন্য আপনি সমস্ত সফ্টওয়্যারকে একত্রিত করার কারণ হ'ল মানটি is
একটি সমস্যা আছে। এবং বিষয়টি হ'ল, আপনি জানেন, ডেটাটি বাকী হতে হবে। তথ্য মার্শাল করতে হবে। ডেটাটি একত্রে আনতে হবে এবং এমনভাবে পরিচালনা করতে হবে যা বিশ্লেষণকে পুরো আত্মবিশ্বাসের সাথে জায়গা করে নিতে সক্ষম করে - আমার ধারণা, এটিই শব্দ। সুতরাং, আমি ভেবেছিলাম আমি সমীকরণের প্রশাসনের দিকটি নিয়ে কথা বলব। আমার ধারণা, বলার মতো জিনিসটি, সত্যিই, আপনি জানেন যে, প্রশাসন আগে থেকেই একটি সমস্যা ছিল। শাসন ব্যবস্থা ইতিমধ্যে একটি সমস্যা ছিল এবং এটি পুরো ডেটা গুদাম গেমের একটি সমস্যা হয়ে উঠতে শুরু করে।
আসলে যা ঘটেছিল তা হ'ল এটি অনেক বড় ইস্যুতে পরিণত হয়েছে। এবং যেহেতু এটি আরও বৃহত্তর ইস্যুতে পরিণত হয়েছে তেমনি আরও ডেটা, তবে আমি বোঝাতে চাইছি এই কারণগুলি সত্যই। তথ্য উত্স সংখ্যা নাটকীয়ভাবে প্রসারিত হয়েছে। পূর্বে, আমাদের কাছে থাকা ডেটা উত্সগুলি বৃহত পরিমাণে ডেটা গুদামকে যা খাওয়ানো হয়েছিল তার দ্বারা সংজ্ঞায়িত করা হয়েছিল। আরটিপি সিস্টেমগুলি সাধারণত ডেটা গুদাম খাওয়াত। এটি সামান্য বাহ্যিক ডেটা সম্ভব, খুব বেশি না।
এখন, আমরা এমন এক জগতে চলে গিয়েছি যেখানে আপনি জানেন, একটি তথ্য বাজার এখনই অস্তিত্ব নিয়েছে, এবং সেইজন্য, ডেটাগুলিতে লেনদেন হবে। আপনি ইতিমধ্যে সংস্থায় আনতে পারেন এমন ডেটার বিভিন্ন স্ট্রিমিং উত্সের লোড এবং লোড পেয়েছেন। আমরা সোশ্যাল মিডিয়া ডেটা পেয়েছি যা সেগুলি নিয়েছে, নিজের অ্যাকাউন্টে তুলেছে, তাই বলে speak আমি বলতে চাইছি, সোশ্যাল মিডিয়া সাইটের মূল্যবোধগুলি হ'ল তারা একত্রিত হওয়া তথ্য এবং তাই লোকেদের কাছে উপলভ্য করতে পারে।
আমরা জানি যে এগুলি ইতিমধ্যে বিদ্যমান ছিল। স্প্লঙ্কের আবির্ভাবের মধ্যে আমাদের কাছে ইতিমধ্যে log লগ ফাইলগুলি ছিল you এবং শীঘ্রই, এটি স্পষ্ট হয়ে উঠেছে যে লগ ফাইলে এর মান আছে। সুতরাং, সংস্থার মধ্যে এমন ডেটা ছিল যা ছিল - যা আমরা নতুন ডেটা উত্সগুলির পাশাপাশি বহিরাগত উত্সগুলিকে কল করতে পারি। সুতরাং, এটি একটি জিনিস। এবং এর সত্যিকারের অর্থ হ'ল, আপনি জানেন যে আমাদের আগে ডেটা পরিচালনার যে কোনও নিয়মই ছিল, সেগুলি একরকম বা অন্যভাবে প্রসারিত হতে চলেছে, এবং প্রকৃতপক্ষে পরিচালিত করার জন্য এটি বাড়িয়ে দেওয়া দরকার ডেটা। তবে আমরা এখন একরকম বা অন্যভাবে একত্রিত হতে শুরু করি।
এবং এই তালিকাটি নীচে যাচ্ছে আমাদের স্ট্রিমিং এবং ডেটা আগমনের গতি আছে। এর মধ্যে একটি, আমি মনে করি, হ্যাডোপের জনপ্রিয়তার কারণগুলি হ'ল এটি প্রচুর পরিমাণে ডেটা ধরতে ব্যবহার করা যেতে পারে। এটি ডেটার গতিও হ্রাস করতে পারে, যদি আপনার যদি অবিলম্বে এটি অবিলম্বে ব্যবহারের প্রয়োজন না হয় তবে এটি একটি দুর্দান্ত সমান্তরাল, বিশাল সমান্তরাল পরিবেশ। তবে আপনি সত্যটি পেয়েছেন যে স্ট্রিমালিটি বিশ্লেষণের এখন যথেষ্ট পরিমাণে চলছে। এটি কেবলমাত্র ব্যাংকিং সেক্টরগুলিতে ব্যবহৃত হত যা স্ট্রিমিং অ্যাপ্লিকেশনগুলিতে আগ্রহী ছিল, তবে এখন এটি একধরণের বিশ্বব্যাপী। এবং প্রত্যেকে একরকম বা অন্য কোনও উপায়ে স্ট্রিমিং অ্যাপ্লিকেশনগুলির দিকে নজর রাখছে, ডেটা থেকে মূল্য অর্জনের এবং সংস্থার জন্য বিশ্লেষণ করার সম্ভাব্য উপায়।
আমরা অসংরক্ষিত ডেটা পেয়েছি। পরিসংখ্যান, সাধারণত বিশ্বের কেবলমাত্র 10% ডেটা অংশ সম্পর্কিত ডাটাবেসে ছিল। এখন, এর অন্যতম প্রধান কারণ ছিল এটি আসলেই কাঠামোগত ছিল, এবং এটি ছিল - এটির একটি ভাল চুক্তি ওয়েবে উপস্থিত ছিল, তবে বিভিন্ন ওয়েবসাইট সম্পর্কে যথেষ্ট পরিমাণে ছড়িয়ে পড়েছিল। এই তথ্যটি বিশ্লেষণযোগ্য, ব্যবহারযোগ্যও প্রমাণিত হয়েছে। এবং সিম্যানটেক প্রযুক্তির আবির্ভাবের সাথে ধীরে ধীরে পরিস্থিতি ক্রমশ ক্রমশ বাড়ছে, আরও বেশি করে হয়ে উঠছে।সুতরাং, অ-কাঠামোগত ডেটা সংগ্রহ ও পরিচালনা করার দরকার আছে এবং এর অর্থ এটি আগের চেয়ে অনেক বেশি। আমরা একটি সামাজিক ডেটা পেয়েছি যা আমি ইতিমধ্যে উল্লেখ করেছি, তবে এটি সম্পর্কে মূল বক্তব্য, এটি সম্ভবত পরিষ্কারের প্রয়োজন।
আমরা ইন্টারনেট অফ থিংস ডেটা পেয়েছি। এ রকম এক ধরণের পরিস্থিতি। এর মধ্যে অনেক কিছু হওয়ার সম্ভাবনা রয়েছে তবে এটির প্রচুর পরিমাণে এটি চালিত জায়গার কাছাকাছি কোথাও বিতরণ করতে হবে। তবে আপনি এক বা অন্য কোনও উপায়ে চাইলে এটিতে ডেটাতে সংস্থার মধ্যে বিশ্লেষণ করতে টানুন। সুতরাং, এটি আরও একটি ফ্যাক্টর যুক্ত হয়েছে। এবং সেই ডেটাটি বিভিন্নভাবে কাঠামোগত করা হবে, কারণ এটি সম্ভবত - এটি সম্ভবত জেএসএন বা এক্সএমএলে ফর্ম্যাট হবে, যাতে এটি নিজেই ঘোষণা করে। এবং কেবল না, এক উপায়ে বা অন্যভাবেই যে আমরা আসলে ডেটা টানছি এবং সেই নির্দিষ্ট উপাত্তের পড়ার জন্য এক ধরণের স্কিমা করতে সক্ষম হয়েছি।
আমরা প্রোভেন্যান্সের বিষয়টি পেয়েছি এবং এটি একটি বিশ্লেষণ সংক্রান্ত সমস্যা। আপনি ডেটা করছেন এমন কোনও বিশ্লেষণের ফলাফলগুলি যদি আপনি চান - যদি আপনি পছন্দ করেন - অনুমোদিত হন, বৈধ বলে বিবেচিত হন, যদি না আপনি ডেটা প্রভিশনটি জানেন না। আমি বলতে চাইছি এটি ডেটা বিজ্ঞানীদের ক্রিয়াকলাপের দিক থেকে কেবল পেশাদারি। তবে আপনি জানেন যে ডেটা প্রমাণ হিসাবে, এর অর্থ আমাদের আসলে ডেটা পরিচালনা করতে হবে এবং এর বংশের কাছে একটি নোট রাখতে হবে।
আমাদের কাছে কম্পিউটার পাওয়ার এবং সমান্তরাল সমস্যা এবং যা যা কিছু করে তা সবকিছুকে দ্রুত এগিয়ে যায় faster সমস্যাটি হ'ল স্পষ্টতই, কিছু নির্দিষ্ট প্রক্রিয়া যা আমরা পেয়েছি অন্য সব কিছুর জন্য খুব ধীর হতে পারে। সুতরাং, গতির ক্ষেত্রে সম্ভবত মেলে না।
আমরা মেশিন লার্নিংয়ের আগমন পেয়েছি। মেশিন লার্নিং এর প্রভাব বিশ্লেষণকে আগের চেয়ে আলাদা গেম হিসাবে তৈরি করার ছিল। আপনি যদি ক্ষমতা পেয়ে থাকেন তবে আপনি কেবল সত্যই এটি ব্যবহার করতে পারেন।
আমরা নতুন বিশ্লেষণমূলক কাজের চাপের সত্যতা অর্জন করেছি। আমরা একটি সমান্তরাল বিশ্ব পেয়েছি এবং সর্বাধিক প্রভাবের জন্য কিছু বিশ্লেষণাত্মক অ্যালগরিদমকে সমান্তরালে সম্পাদন করা দরকার। এবং সেইজন্য সমস্যাটি আসলে পরিচালনা করছে যে আপনি কীভাবে একরকম বা অন্য কোনও উপায়ে, তথ্যটিকে চারপাশে ঠেলাঠেলি করেন, তারা উপলব্ধ থাকলে ডেটা তৈরি করে। এবং যেখানে আপনি আসলে বিশ্লেষণাত্মক কাজের চাপ প্রয়োগ করেন কারণ আপনি এটি ডাটাবেসের মধ্যেই করতে পারেন। সুতরাং, আপনি এটি বিশ্লেষণাত্মক অ্যাপ্লিকেশনগুলির মধ্যে করছেন।
সুতরাং, প্রশাসনের চ্যালেঞ্জগুলির একটি পুরো সিরিজ রয়েছে। আমরা এই বছর যা করেছি - এই বছর আমরা যে গবেষণাটি করেছি তা সত্যই বড় ডেটা আর্কিটেকচারের কাছাকাছি ছিল। এবং যখন আমরা বাস্তবে এটি সাধারণকরণের চেষ্টা করি, তখন আমাদের যে উপসংহারে পৌঁছেছিল - চিত্রটি যা আমরা সামনে এসেছি তা দেখতে অনেকটা এরকমই দেখাচ্ছিল।
আমি এটিতে যাচ্ছি না, বিশেষত মাইক বিশ্লেষণের জন্য ডেটা আর্কিটেকচারের জন্য যথেষ্ট পরিমাণে করতে যাচ্ছেন। তবে আমি আসলে লোকেরা যেদিকে দৃষ্টি নিবদ্ধ করতে চাই তা হ'ল এই নীচের অঞ্চলটি যেখানে আমরা আছি, একরকম বা অন্য কোনও উপায়ে একত্রিত ling আমাদের কাছে এমন কিছু আছে যা আমি উল্লেখ করতে চাই তা হ'ল ডেটা রিফাইনারি বা ডেটা প্রসেসিং হাব। এবং এখানেই শাসন ব্যবস্থা নেওয়া হয়। সুতরাং, আপনি জানেন, আমরা যদি ধরণের দিকে মনোনিবেশ করি তবে এটি দেখতে এটির মতো লাগে। আপনি জানেন, এটি অভ্যন্তরীণ এবং বাহ্যিক উত্স থেকে প্রাপ্ত ডেটা দ্বারা খাওয়ানো হচ্ছে। তাত্ত্বিকভাবে হাবটি তৈরি হওয়া সমস্ত ডেটা গ্রহণ করা উচিত। আপনার যদি বিশ্লেষণ এবং স্ট্রিমিং ডেটা করার দরকার হয় এবং তারপরে হাবের কাছে পৌঁছে দেওয়া হয় তবে এটি স্ট্রিম হিসাবে এটি স্ট্রিম এবং পরিচালনা করা উচিত। নাহলে, এটি সবই হাবের মধ্যে চলে আসে। এবং এখানে চলছে এমন অনেকগুলি জিনিস - যা হাবগুলিতে চলছে। এবং আপনার কাছে একটি নির্দিষ্ট পরিমাণ বিশ্লেষণ এবং এসকিউএল হাবটিতে চলছে না। তবে অন্যান্য অঞ্চলে ডেটা ঠেলে দেওয়ার জন্য আপনি প্রতিটি কক্ষে ডেটা ভার্চুয়ালাইজেশনের প্রয়োজনীয়তা অর্জন করেছেন। তবে এর যে কোনও কিছু হওয়ার আগে আপনার অবশ্যই একরকম বা অন্য কোনও উপায়ে প্রস্তুতি নেওয়া দরকার। আপনি এটি ডেটা প্রস্তুতি বলতে পারেন। এটি তার চেয়ে অনেক বড়। এই জিনিসগুলির মধ্যে এটি আমার অন্তর্ভুক্ত বলে মনে হয়।
আমাদের কাছে সিস্টেম ম্যানেজমেন্ট এবং সার্ভিস ম্যানেজমেন্ট রয়েছে, এক অর্থে, যে এটি ডেটা স্তরের প্রধান অংশ, তবে আমরা আসলে সমস্ত অপারেটিং সিস্টেমের জন্য প্রচলিত পদ্ধতিতে পরিচালিত অপারেশনাল সিস্টেম পরিচালনার প্রচেষ্টা পরিচালিত সমস্ত সিস্টেমে প্রয়োগ করতে হবে। তবে আমাদের বিভিন্ন উপায়ে এই বিভিন্ন স্তরের স্তরগুলি পূরণ হচ্ছে কিনা তা নিশ্চিত করার জন্য আমাদের এক বা অন্যভাবে অন্যান্য বিষয়গুলি পর্যবেক্ষণ করাও প্রয়োজন, কারণ সেখানে পরিষেবা স্তর বা ক্রিয়াকলাপ হিসাবে বিশ্লেষণের কোনও ধরণের সংজ্ঞা দেওয়া আছে, বা বিআই তথ্য ব্যবস্থা নেওয়া হচ্ছে।
আমাদের পারফরম্যান্স মনিটরিং এবং ম্যানেজমেন্ট দরকার। অন্য কিছু যদি হয় তবে আমাদের আরও প্রয়োজন কম্পিউটারের আরও কী কী সময় জানতে আমাদের বিভিন্ন সময় বিভিন্ন সময়ে বরাদ্দ করতে পারে। তবে এছাড়াও, কাজের চাপের এক ভয়ঙ্কর পরিমাণ এখানে আসল বাস্তবে, মোটামুটি জটিল এবং সংস্থানগুলির জন্য একে অপরের সাথে প্রতিযোগিতা করে। এখানে বেশ পরিশীলিত কিছু রয়েছে যা সেই অঞ্চলে করা দরকার।
আমরা এখন ডেটা লাইফ চক্রটি এমনভাবে পেয়েছি যা আগে কখনও ছিল না। এখানে চুক্তিটি সত্যই যে কোনও কিছুর aboveর্ধ্বে এবং এর বাইরে, আমরা ডেটা সংগ্রহ করি নি এবং আগে ফেলে দিয়েছি। আমরা আমাদের প্রয়োজনীয় ডেটা সংগ্রহ করার প্রবণতা রেখেছিলাম এবং সম্ভবত এটি রেখেছিলাম এবং তারপরে আমরা এটি সংরক্ষণাগারভুক্ত করি। তবে আমরা এখান থেকে যা করবো তা ভয়াবহ হ'ল ডেটা অন্বেষণ করা। এবং যদি আপনি ডেটা না চান তবে এটি কবর দিন। সুতরাং, পরিস্থিতি অনুসারে ডেটা লাইফ চক্রগুলি পৃথক জিনিস, তবে ডেটা এক ভয়ঙ্কর আরও একত্রিত হবে। অতএব, আপনি জানেন যে, একটি সমষ্টি কোথা থেকে এসেছে ... জড়োকরণের উত্স কী, এবং আরও অনেক কিছু। এগুলি সবই প্রয়োজনীয়।
ডেটা বংশ স্বাভাবিকভাবে leণ দেয়। এটি ছাড়াই আপনাকে সমস্যাগুলি জানতে হবে, সুতরাং ডেটা ... আমাদের তথ্যটি বৈধ কিনা তা জানতে হবে, তবে এটি আসলে কতটা নির্ভরযোগ্য with
আমরা ডেটা ম্যাপিংও পেয়েছি, কারণ অনেকগুলি ডেটা আসলে বা অন্য কোনও উপায়ে হতে চলেছে। এবং এটি হ'ল যদি আপনি চান তবে এটি এমডিএমের একটি নির্দিষ্ট পরিমাণের সাথে সম্পর্কিত। এটি এখনই আরও জটিল, কারণ আপনি যখন JSON দ্বারা সংজ্ঞায়িত বা আমাদের এক্সএমএল স্কিমার উপর ভিত্তি করে পড়ার মতো ভয়ঙ্কর প্রচুর ডেটা পেয়ে গেছেন, তখন আপনাকে একরকম বা অন্য কোনও উপায়ে খুব সক্রিয় থাকতে হবে when ডেটা ম্যাপিং ক্রিয়াকলাপ চলছে।
এমডিএমের তুলনায় একটি মেটাডাটা পরিচালনার পরিস্থিতি রয়েছে, কারণ আপনার আগ্রহের বিষয়গুলির এক ধরণের মেটাডেটা গুদাম হিসাবে এখন যা ভাবতে চাই তা তৈরি করার জন্য একরকম বা অন্য কোনও প্রয়োজন রয়েছে met সেখানে মেটাডেটা রয়েছে আবিষ্কার, কারণ কিছু ডেটা অগত্যা এটির মেটাডেটা ঘোষণা করা হবে না এবং আমরা তা অবিলম্বে এটি ব্যবহার করতে চাই। এবং তারপরে, এখানে ডেটা ক্লিয়ারিং রয়েছে, যা এখানে যে কীভাবে করা যায় তা কীভাবে সিরিজের মতো বিশাল জিনিস। এবং পাশাপাশি ডেটা সুরক্ষা আছে। এই সমস্ত ডেটা একটি গ্রহণযোগ্য স্তরে সুরক্ষিত রাখতে হবে, এবং এর অর্থ কিছু নির্দিষ্ট ক্ষেত্রেও হতে পারে - উদাহরণস্বরূপ, প্রচুর মানগুলি এনক্রিপ্ট করা।
সুতরাং, এই কাজের চাপের সবই আসলে প্রশাসনের সাম্রাজ্য। এই সমস্ত কিছু একরকম বা অন্যভাবে চলতে হবে একই সাথে বা তার আগে আমাদের সমস্ত বিশ্লেষণমূলক ক্রিয়াকলাপ। এটি সমন্বিত অ্যাপ্লিকেশনগুলির একটি বিশাল সংখ্যা। এটি নিজস্বভাবে একটি সিস্টেম। এবং তারপরে, যাঁরা সময় মতো বিভিন্ন সময়ে এটি করেন না তারা এগিয়ে যাওয়ার সাথে সাথে অভাবের মুখোমুখি হবেন, কারণ এই বিষয়গুলির একটি ভয়াবহ সত্যিকার অর্থে optionচ্ছিক নয়। আপনি যদি এটি না করেন তবে আপনি কেবলমাত্র ক্রমবর্ধমান এনট্রপি সহ শেষ করবেন।
সুতরাং, ডেটা অ্যানালিটিক্স এবং পরিচালনার ক্ষেত্রে, আমি যে জিনিসটি বলতে চাই তা হ'ল সত্যই, এক হাত অন্য হাতকে ধুয়ে দেয়। পরিচালনা ব্যতীত, বিশ্লেষণ এবং বিআই সময়ে সময়ে ফ্লাওয়ার হবে না। এবং অ্যানালিটিক্স এবং বিআই ছাড়া, যাইহোক ডেটা পরিচালনার জন্য খুব বেশি প্রয়োজন হবে না। সুতরাং, দুটি জিনিস সত্যই হাতের মুঠোয় চলে। তারা যেমন মধ্য প্রাচ্যে বলে, "এক হাত অন্য হাত ধুয়ে দেয়।" এবং এটাই আসলে আমি যা বলতে চাইছিলাম। আমি আশা করি - আশা করি, আমরা এখন মাইকে ফিরে পেয়েছি।
এরিক: আমরা করি। মাইক, আমি ধরে নিয়েছি আপনি সেখানে আছেন। আমি আপনার স্লাইড উপরে ধাক্কা যাচ্ছে।
মাইক: আমি আছি ঠিক আছে, তুমি কি শুনতে পাচ্ছ?
এরিক: হ্যাঁ, আমি আপনাকে শুনতে পারি। আপনি দুর্দান্ত শোনেন। সুতরাং, আমাকে পরিচয় করিয়ে দিন ... আপনি সেখানে যান। এবং আপনি এখন উপস্থাপক। দূরে নিতে.
মাইক: ঠিক আছে, আপনাকে ধন্যবাদ! গুড মর্নিং, শুভ বিকাল, শুভ সন্ধ্যা আপনার সকলের বাইরে। শুরুতে হিচাপিটি ক্ষমা করুন। কিছু কারণে আমি নিজেকে নিঃশব্দ করে দিয়েছি এবং সবাইকে দেখতে পাচ্ছি কিন্তু তারা আমাকে শুনতে পেল না।
ঠিক আছে. সুতরাং, আমি দ্রুত যা করতে চাই তা হ'ল বড় তথ্য বিশ্লেষণাত্মক বাস্তুসংস্থান। আপনি যদি আমাকে প্রশ্ন জিজ্ঞাসা করতে চান তবে আমি বলব, এই অধিবেশনে বা তার পরে, আপনি আমার যোগাযোগের বিশদটি এখানে ধরে রাখতে পারেন। আমি যেমন বলেছি, রাতের মাঝামাঝি এখানে যুক্তরাজ্যে।
ভাল, আমি যা বলতে চাই তা পেতে দিন। স্পষ্টতই, গত কয়েক বছর ধরে, আমরা ব্যবসায়ীরা এখন বিশ্লেষণ করতে চাইছে এমন সমস্ত ধরণের নতুন-প্রাপ্ত ধরণের ডেটার উত্থান দেখেছি - ক্লিক করুন স্ট্রিম থেকে শুরু করে অনলাইন আচরণগুলি বোঝার জন্য, সামাজিক যোগাযোগের মাধ্যমের ডেটা যা এরিকের কথা বলছিল এখানে প্রোগ্রামের শুরু। আমি মনে করি রবিন জেএসএন, বিএসওএন, এক্সএমএল - তাই, আধা-কাঠামোগত ডেটা যা স্ব-বিবরণ দেয় mentioned অবশ্যই, আমরা পাশাপাশি অন্যান্য পুরো স্টাফ পেয়েছি - সবকিছুই কাঠামোগত ডেটা, আইটি অবকাঠামো লগস, সেন্সর ডেটা থেকে। এই অপেক্ষাকৃত নতুন ডেটা উত্সগুলির যে সমস্ত ব্যবসায় এখন আগ্রহ নিয়েছে কারণ এতে মূল্যবান অন্তর্দৃষ্টি রয়েছে যা আমাদের জানার সম্ভাব্যতাকে আরও গভীর করতে পারে।
সুতরাং, এর মূল অর্থ বিশ্লেষণাত্মক আড়াআড়িটি traditionalতিহ্যবাহী ডেটা গুদামের বাইরে চলে গেছে। আমরা এখনও কাঠামোগত এবং বহু-কাঠামোগত ডেটার সংমিশ্রণের বিশ্বে ডেটা গঠন করি, যেখানে বহু-কাঠামোগত ডেটা বহু ক্ষেত্রে ভিতরে থেকে বা এন্টারপ্রাইজের বাইরে আসতে পারে। এবং এই নতুন ডেটা ধরণের ফলাফল এবং বিশ্লেষণের জন্য নতুন প্রয়োজনগুলির ফলস্বরূপ আমরা নতুন বিশ্লেষণমূলক কাজের চাপের উত্থান দেখেছি - গতিতে ডেটা বিশ্লেষণ করা থেকে শুরু করে সবকিছু যা কিছুটা তার মাথায় headতিহ্যবাহী ডেটা গুদাম আর্কিটেকচারকে ঘুরিয়ে দেয়, যেখানে আমরা , traditionalতিহ্যবাহী চেনাশোনাগুলিতে, ডেটা সংহত করে, এটি পরিষ্কার করে, রূপান্তরিত করে, সঞ্চয় করে এবং বিশ্লেষণ করে। তবে গতিতে ডেটা বিশ্লেষণ করে আমরা ডেটা ক্যাপচার করছি, এটি সংহত করছি, এটি বিশ্লেষণের মাধ্যমে প্রস্তুত করছি এবং তারপরে এটি সংরক্ষণ করব। সুতরাং, কোথাও সংরক্ষণের আগে ডেটা নিয়ে বিশ্লেষণ চলছে।
আমরা কাঠামোগত ডেটাগুলির জটিল বিশ্লেষণ, সম্ভবত মডেল বিকাশের জন্য, পরিসংখ্যানগত এবং ভবিষ্যদ্বাণীমূলক মডেল বিকাশের জন্য, এটি traditionalতিহ্যবাহী ডেটা গুদামজাতকরণ জায়গাতে কিছু লোকের কাছে নতুন কিছু নয়। আমরা অন-মডেল ডেটার অনুসন্ধান বিশ্লেষণ পেয়েছি। এটি সেখানে কাঠামোগত ডেটার পরিমাণ। গ্রাফ বিশ্লেষণ আকারে আমরা নতুন কাজের চাপ পেয়েছি যা আর্থিক পরিষেবাগুলিতে আমার ক্লায়েন্টদের জন্য জালিয়াতির মতো জিনিস রয়েছে includes এটিতে সাইবার সুরক্ষাও অন্তর্ভুক্ত রয়েছে। এটিতে সোশ্যাল নেটওয়ার্কগুলি অবশ্যই রয়েছে বোঝার জন্য প্রভাবক এবং সেখানে স্টাফগুলি। আমি এমনকি এটি পরিচালনায় আয়ত্ত, গ্রাফ বিশ্লেষণ কয়েক বছর আছে।
আমরা তথ্য গুদাম অপ্টিমাইজেশন পেয়েছি বা ইটিএল প্রসেসিংয়ের অফলোডিং পেয়েছি, এটি আইটি ব্যবহারের ক্ষেত্রে আরও বেশি, সিআইও সেই অর্থের জন্য অর্থায়ন করতে পারে। এমনকি এটি হ্যাডোপের মতো জিনিসগুলিতে অনলাইনে রাখতে ডেটা এবং ডেটা গুদামগুলি সংরক্ষণাগারভুক্ত করা। সুতরাং, এই সমস্ত নতুন বিশ্লেষণমূলক কাজের চাপ বিশ্লেষণাত্মক ল্যান্ডস্কেপে নতুন প্ল্যাটফর্ম, নতুন স্টোরেজ প্ল্যাটফর্মগুলি যুক্ত করেছে। সুতরাং, কেবলমাত্র traditionalতিহ্যবাহী ডেটা গুদাম, ডেটা মার্ট না রাখার চেয়ে আমরা এখন যা পেয়েছি তা হ্যাডোপ। আমরা নফএসকিউএল ডাটাবেস পেয়েছি যেমন গ্রাফ ডাটাবেস যা প্রায়শই বিশ্লেষণাত্মক কাজের চাপের জন্য ব্যবহৃত হয়। অবশ্যই, আমরা এখন হ্যাডোপ হিসাবে পাশাপাশি কোনও নোএসকিউএল গ্রাফ ডিবিএমএসে গ্রাফ বিশ্লেষণ করতে পারি। আমরা স্ট্রিমিং বিশ্লেষণ পেয়েছি যা রবিন উল্লেখ করেছে। এবং আমরা পেয়েছি - যদি আপনি চান - মডেলগুলি তৈরি করা, সম্ভবত বিশ্লেষণী ডেটা গুদামের সরঞ্জামগুলিতেও। তবে এর সবগুলি বিশ্লেষণাত্মক আড়াআড়িটিকে জটিল করে তুলেছে, এখন একাধিক প্ল্যাটফর্মের প্রয়োজন। এবং আমি চ্যালেঞ্জটি অনুমান করি যে কোনও ফ্রন্ট অফিস বা পিছনের অফিস, বা ফিনান্স, সংগ্রহ, এইচআর এবং কোনও ধরণের অপারেশনগুলির জন্য কোনও ব্যবসায়িকের জন্য কোনও analyতিহ্যবাহী ডেটা গুদাম দৃশ্যের সাথে কোন বিশ্লেষণাত্মক প্রকল্পগুলি জড়িত তা নির্ধারণ করা। এবং একবার আপনি যখন জানতে পারবেন যে বিশ্লেষণী প্রকল্পগুলি এই নতুন বড় ডেটা প্ল্যাটফর্মগুলির সাথে সম্পর্কিত এবং কোথায় চালাবেন, আপনি জানেন যে কোন বিশ্লেষণাত্মক কাজের চাপ, কিন্তু এটি যে অর্থে ব্যবসায়ের দৃষ্টি হারাবেন না - আপনি এখন এটি বড় সংমিশ্রণে দেখবেন ডেটা অ্যানালিটিকাল প্রকল্পগুলি এবং traditionalতিহ্যবাহী বড় ডেটা গুদামজাত প্রকল্পগুলি যা গ্রাহকের আশেপাশে বা অপারেশনগুলির আশেপাশে, ঝুঁকির আশেপাশে বা অর্থ বা টেকসইকরণকে শক্তিশালী করার জন্য একত্রে প্রয়োজনীয়। এবং সেইজন্য, আমরা চাই যে এই সমস্তগুলি আমাদের কৌশলগত ব্যবসায়ের অগ্রাধিকারের সাথে একত্রিত করা হোক, আমরা জানি যে আপনি যে সূঁচগুলিকে ধাক্কা খাওয়ার দরকার রয়েছে তাতে চাপ দিন, আপনি জানেন, ব্যবসায়ের কার্যকারিতা উন্নতি করতে, ব্যয় হ্রাস করতে, সামগ্রিকভাবে আমাদের সংস্থার জন্য, ঝুঁকি ইত্যাদি হ্রাস করতে আপনি জানেন। সুতরাং, এটি এমন নয় যে একটি এখানে বড় ডেটা এবং traditionalতিহ্যবাহী দ্বারা অন্যটিকে প্রতিস্থাপন করে। এটি উভয়ই একসাথে ব্যবহৃত হচ্ছে। এবং এটি নাটকীয়ভাবে আর্কিটেকচারকে পরিবর্তন করে, আপনি জানেন।
সুতরাং, আমার কাছে যা আছে তা অপেক্ষাকৃত নতুন আর্কিটেকচার যা আমি আমার ক্লায়েন্টদের সাথে ব্যবহার করব। এবং সুতরাং, আপনি এখন নীচে বরাবর দেখতে পাচ্ছেন, কেবলমাত্র কাঠামোগত নয়, ডেটা উত্সের বিস্তৃত পরিসীমা। এর মধ্যে কিছু সেন্সর, যেমন বাজারের ডেটা, এ জাতীয় জিনিস যেমন লাইভ ডেটা প্রবাহিত করে। এটি সরাসরি ক্লিক স্ট্রিম ডেটাও হতে পারে। এটি লাইভ ভিডিও স্ট্রিমিং ডেটা হতে পারে। সুতরাং এটি কাঠামোগত করতে হবে না। সুতরাং, আমরা রিয়েল টাইমে স্বয়ংক্রিয় পদক্ষেপ নেওয়ার জন্য সেই ডেটাতে স্ট্রিম প্রসেসিং করতে পারি এবং আগ্রহের কোনও ডেটা ফিল্টার করে এমন একটি এন্টারপ্রাইজ তথ্য পরিচালন সরঞ্জামগুলিতে প্রেরণ করা যেতে পারে যা বিশ্লেষণী ডেটা স্টোরকে জনপ্রিয় করতে ব্যবহৃত হতে পারে। আপনি যদি এখানে মিশ্রণটি দেখতে না পান তবে এখন আমাদের কাছে traditionalতিহ্যবাহী ডেটা গুদাম, হ্যাডোপ এবং নোএসকিউএল ডাটাবেস রয়েছে। আমরা মিশ্রণে মাস্টার ডেটা পরিচালনাও পেয়েছি। এবং এটি পুরো ডেটা ম্যানেজমেন্ট সরঞ্জাম স্যুটকে আরও চাপ দেয়, কেবল এই ডেটা স্টোরকেই পপুলেটেড করতে নয় তবে তাদের মধ্যে ডেটা স্থানান্তরিত করতে।
তার উপরে, আমাদের অ্যাক্সেস সরঞ্জামগুলি সহজ করতে হবে। আমরা কেবল ব্যবহারকারীর দিকে ফিরে বলতে পারি না, "এই সমস্ত ডেটা স্টোর পান, এই এপিআইগুলি রাখুন - আপনার সমস্যা।" আপনি যা করতে পেরেছেন তা হল অ্যাক্সেসকে সরল করা। এবং তাই, সেখানে বিন্দুযুক্ত রেখাগুলিতে, আপনি দেখতে পাবেন ডেটা ভার্চুয়ালাইজেশন এবং অপ্টিমাইজেশন একাধিক ডেটা স্টোরেজের জটিলতা লুকিয়ে রাখার, চেষ্টা করুন এবং শেষ ব্যবহারকারীদের এটিকে অ্যাক্সেস করা সহজ করে দিন। এবং অবশ্যই, শীর্ষে বিভিন্ন ধরণের সরঞ্জাম রয়েছে, আপনি জানেন - wতিহ্যবাহী দ্বি দ্বি সরঞ্জাম থেকে সমস্ত কিছু যা ডাটা গুদামজাতের শীর্ষে শুরু হয়েছে, ধীরে ধীরে হ্যাডোপসের সাথে সংযোগ স্থাপনের জন্য আপনার চার্টের বাম দিকে এগিয়ে চলেছে everything এবং তারপরে বিশ্বের NoSQL ডাটাবেসগুলি।
আমরা বিশেষত শরীরের কাঠামোগত, অ-কাঠামোগত ডেটা যা প্রায়শই হাদুপে সঞ্চিত থাকে তার আশেপাশে জীবনের নতুন একটি ইজারা পেয়ে অনুসন্ধান পেয়েছি। আমরা ম্যাপ্রেডিউস সহ একটি হ্যাডোপ প্ল্যাটফর্মে কাস্টম অ্যানালিটিক অ্যাপ্লিকেশন পেয়েছি, সুতরাং স্পার্ক ফ্রেমওয়ার্ক, উদাহরণস্বরূপ। আমরা গ্রাফ অ্যানালিটিক্স সরঞ্জাম পেয়েছি, আপনি জানেন যে সেখানে খুব নির্দিষ্ট কাজের চাপের উপরে মনোনিবেশ করুন। সুতরাং, সরঞ্জামগুলির একটি পরিসীমা এবং ডেটা প্রবাহগুলিও আরও জটিল। এটি এখন ডেটা গুদামে কেবল একমুখী রাস্তা নয়। অবশ্যই এটি এখন মাস্টার ডেটা।
আমাদের কাছে নতুন ডেটা উত্সগুলি আসল, নোএসকিউএল-তে ধরা পড়েছে, আপনি জানেন, মংগাডিবি-র মতো ক্যাসান্দ্রার মতো এইচবিবাসের মতো ডেটা স্টোর। বিশ্লেষণ এবং ডেটা প্রস্তুতির জন্য আমাদের সরাসরি ডেডো হ্যাডোপে এনেছে। আমরা হ্যাডোপ এবং ডেটা গুদামগুলি থেকে নতুন অন্তর্দৃষ্টি পেয়েছি। আমরা সংরক্ষণাগার পেয়েছি ডেটা গুদামগুলি হাদুপে into আপনি এখন জানেন যে সমস্ত নোএসকিউএল ডাটাবেস এবং ডেটা মার্টেও যাচ্ছি ডেটা ফিডস। সুতরাং, আপনি এখানে যা দেখতে পাচ্ছেন তা হ'ল ডেটা ম্যানেজমেন্টে আরও অনেক বেশি ক্রিয়াকলাপ চলছে। এবং এর অর্থ এটি ডেটা ম্যানেজমেন্ট সফটওয়্যারটিকে যথেষ্ট চাপে ফেলেছে। এটি এখন কেবল একমুখী রাস্তা নয়। এটি দ্বিমুখী ডেটা চলাচল। এটি আরও অনেক বেশি ক্রিয়াকলাপ চলছে এবং তাই ডেটা-ম্যানেজমেন্ট-টুল ফ্রন্টের পাশাপাশি ডেটা উত্সেও স্কেলাবিলিটি গুরুত্বপূর্ণ।
সুতরাং, এই চার্টটি সেই আর্কিটেকচারে ফিরে যায় যা আমি কিছুক্ষণ আগে উল্লেখ করেছি। এটি আপনাকে এই স্থাপত্যের বিভিন্ন অংশে চলমান বিভিন্ন বিশ্লেষণাত্মক কাজের চাপ দেখায় load বামদিকে নীচে বাছাই করুন, আপনি রিয়েল-টাইম স্ট্রিমিং পেয়েছেন, তথ্য প্রবাহিত হয়ে স্ট্রিম প্রসেসিং চলে আসছে, আপনি জানেন যে কোনও ধরণের লাইভ ডেটা স্টোর। আমরা NoSQL গ্রাফ ডাটাবেসে ক্লাস বিশ্লেষণ পেয়েছি। এটি হাদুপতেও ঘটতে পারে। উদাহরণস্বরূপ স্পার্ক ফ্রেমওয়ার্ক এবং গ্রাফএক্সের সাহায্যে আমরা অনুসন্ধানী বিশ্লেষণ পেয়েছি এবং রবিন হ্যাডোপের ঘটনার বিষয়ে যে ডেটা রিফাইনারিটির কথা বলছিল তা পেয়েছি। আমরা এখনও traditionalতিহ্যবাহী কাজের চাপ এবং ডেটা গুদাম পেয়েছি, আপনি জানেন, বিদ্যুৎ ব্যবহারকারীরা সম্ভবত ডেটা গুদাম সরঞ্জামগুলিতে পরিসংখ্যান এবং ভবিষ্যদ্বাণীমূলক মডেল তৈরি করেন। এবং আমরা এখনও ব্যবহারকারীর পক্ষে এটি সহজ করার জন্য এগুলির অ্যাক্সেসকে সহজ করার চেষ্টা করছি।
সুতরাং, এই পুরো সেটআপটির চারপাশে সাফল্য কেবল বিশ্লেষণাত্মক দিকের চেয়ে বেশি। আপনি জানেন, আমরা বিশ্লেষণাত্মক প্ল্যাটফর্মগুলি স্থানে রাখতে পারি, তবে আমরা যদি ক্যাপচার এবং ইনজাস্ট করতে না পারি, তবে আপনি জানেন, উচ্চ বেগ এবং উচ্চ ভলিউম ডেটা, স্কেলটিতে, খুব বেশি পয়েন্ট নেই। আপনি জানেন, বিশ্লেষণ করার মতো কিছু আমার কাছে নেই। এবং তাই, বড় ডেটা বিশ্লেষণের সাফল্যের জন্য অপারেটিং সিস্টেমের আকার বাড়ানো দরকার। তার মানে, নতুন লেনদেনকে সমর্থন করতে সক্ষম হতে, আপনি জানেন, শিখর। আপনি জানেন যে কোনও অ-লেনদেনের তথ্য সেখানে ধরা পড়তে পারে, আপনি জানেন যে কোনও নতুন আগমন হার খুব সেন্সর বা কোনও ইনজেস্টের মতো উচ্চ-বেগের ডেটাতে খুব বেশি আগমনের হার হতে পারে। আমাদের সে সমস্ত কিছুর জন্য সক্ষম হতে হবে - এই জাতীয় ডেটা ক্যাপচার করতে এবং বিশ্লেষণের জন্য এনে দিতে সক্ষম হতে। আমাদের নিজের বিশ্লেষণগুলিও স্কেল করতে হবে, ডেটা অ্যাক্সেসকে সহজ করতে হবে যা আমি ইতিমধ্যে উল্লেখ করেছি। এবং তারপরে, এটি টাই। আপনি জানেন, এটি বন্ধ লুপ দেওয়ার জন্য আমাদের সেই অপারেশনাল সিস্টেমে পুনরায় সংশোধন করতে সক্ষম হতে হবে।
সুতরাং, ডেটা ক্যাপচারের জন্য ঘরের অপারেশনাল দিকটি স্কেলিং করা, আপনি জানেন, নোএসকিউএল ডাটাবেসের জগতে নিয়ে যায়। মানে, এখানে আপনি নোএসকিউএল ডাটাবেসের পাঁচটি বিভাগ দেখতে পাচ্ছেন। এই বিভাগটি কেবল উপরের অন্যান্য চারটির সংমিশ্রণ হিসাবে মডেল করা হবে। সাধারণভাবে, আপনি জানেন, এর মূল মানগুলি, সঞ্চিত নথি এবং কলাম পরিবার ডাটাবেস - সেখানে প্রথম তিনটি - যা আরও ধরণের ট্রানজেকশনাল এবং অ-লেনদেনের ডেটা ব্যবহার করার জন্য ধরণের ব্যবহৃত হয়।
সম্পত্তি হিসাবে সমর্থন করে এমন কিছু ডাটাবেস; তাদের কিছু না। তবে তবুও, আপনি জানেন, আমরা এই ধরণের অ্যাপ্লিকেশনগুলির স্কেল করার জন্য তাদের পরিচিতিটি দেখছি। এবং তাই, উদাহরণস্বরূপ, আমরা কী-বোর্ডগুলিতে কেবল গ্রাহকগণ এবং সাধারণ লোকেরা এটি করতে সক্ষম হতে নভেল ডিভাইস ব্যবহার করে জনগণের কাছে লেনদেন প্রবেশ করা স্রেফ কর্মচারীদের থেকে সরে এসেছি। আমরা উদ্যোগগুলিতে লেনদেনের সংখ্যাতে প্রভূত বৃদ্ধি পেয়েছি। এবং তাই, এটি করার জন্য আমাদের লেনদেনমূলক অ্যাপ্লিকেশনগুলি স্কেল করা দরকার।
এখন, সাধারণভাবে বলতে গেলে, এটি এখানে দেখানো নিউওডিবি এবং ভোল্টডিবি-র মতো সম্পর্কিত ডেটাবেস হিসাবে নিউএসকিউএল ডাটাবেজে করা যেতে পারে। বা এমন কিছু নোএসকিউএল ডাটাবেস যা সম্ভবত এসিডি বৈশিষ্ট্যগুলিকে সমর্থন করে যা লেনদেনের প্রক্রিয়াজাতকরণের গ্যারান্টি দিতে পারে তা কার্যকর হতে পারে। এটি কোনও লেনদেনের আগে শপিং কার্টের ডেটার মতো অ-ট্রানজেকশনাল ডেটাতেও প্রযোজ্য, আপনি জানেন, লোকেরা স্টাফ, সেন্সর ডেটা কেনার আগে, আপনি জানেন যে, কয়েক মিলিয়ন সেন্সর রিডিংয়ের মধ্যে আমি একটি সেন্সর পড়া হারিয়ে ফেলেছি। এটা কোন বড় চুক্তি. ক্লিকগুলি, আপনি জানেন যে ক্লিক স্ট্রিম জগতে - আমি যদি একটি ক্লিক ব্যবহার করি তবে এটি কোনও বড় বিষয় নয়।সুতরাং, আপনি জানেন যে, আমাদের সেখানে এসিডি বৈশিষ্ট্য থাকা দরকার নেই এবং প্রায়শই নোএসকিউএল ডাটাবেসগুলি কার্যকর হয়, এটি ছিল - এই নতুন ধরণের ডেটা ক্যাপচারের জন্য স্কেলটিতে খুব উচ্চ, সঠিক প্রক্রিয়াজাতকরণের ক্ষমতা।
একই সাথে, আমরা বিশ্লেষণগুলি স্কেল করতে চাই। এবং তাই, বিশ্লেষণাত্মক প্ল্যাটফর্মগুলিতে ডেটা স্টোর থেকে ডেটা টানতে এখন আর এটি হ্যাক করা যাচ্ছে না কারণ ডেটা খুব বড়। আমরা যা চাই তা হ'ল বিশ্লেষণগুলি অন্যভাবে, হ্যাডোপের এন্টারপ্রাইজ ডেটা গুদামের মধ্যে রেখে স্ট্রিম প্রসেসিংয়ের মাধ্যমে বিশ্লেষণগুলিকে ডেটাতে ধাক্কা দিতে সক্ষম করে। তবে, কেবলমাত্র কেউ বলেছেন যে এটি ডাটাবেস বিশ্লেষণে বা হাদুপ বিশ্লেষণে রয়েছে অগত্যা এটি সমান্তরালভাবে বিশ্লেষণগুলি চালানো বোঝায় না। এবং খুব প্রকৃতপক্ষে, আপনি যদি ক্লাস্টার স্ট্রিম প্রসেসিং ইঞ্জিনগুলির মতো ডেটা গুদাম সরঞ্জাম এবং হোয়াটনপের মতো এই নতুন বৃহত্তর সমান্তরাল স্কেলেবল প্রযুক্তিগুলিতে বিনিয়োগ করতে চলেছেন তবে আমাদের সমান্তরালে চলার জন্য আমাদের বিশ্লেষণের প্রয়োজন।
সুতরাং, এটি শুধুমাত্র চেক আউট। আপনারা জানেন, গ্রাহকদের জন্য, অপারেশনগুলির জন্য, ঝুঁকিপূর্ণ ইত্যাদির জন্য ভবিষ্যদ্বাণী করতে যদি আমাদের কাছে বিশ্লেষণ পাওয়া যায়, তবে আমরা তাদের কেবলমাত্র প্ল্যাটফর্মে না চালিয়ে সমান্তরালে চলতে চাই। আমরা উভয় চাই। এবং এটি কারণ, আপনি জানেন যে প্রযুক্তি এসএসএস-এর মতো এই নতুন ভিজ্যুয়াল আবিষ্কার সরঞ্জামগুলির মতো। এটি আসলে এখানে আমাদের অন্যতম স্পনসর।
লোকেরা যা চায় তা হ'ল হুপে এবং তারপরে ডাটাবেস বিশ্লেষণগুলিতে অন্তত সেগুলি কাজে লাগানো। এবং আমরা চাই যে এগুলি সমান্তরালভাবে চালিত হয় যাতে এই জাতীয় উচ্চ ডেটা ভলিউমের প্রয়োজনীয় পারফরম্যান্স সরবরাহ করতে সক্ষম হয়। একই সাথে, আমরা এই সমস্তটিতে অ্যাক্সেসকে সহজ করার চেষ্টা করছি। এবং তাই, এসকিউএল এখন আবার এজেন্ডায় ফিরে এসেছে। আপনি জানেন, এসকিউএল হ'ল - হ্যাডোপের এসকিউএল এখনই গরম। আমি এখনই এটি 19 এসকিউএল এবং হাদুপ উদ্যোগে ট্র্যাক করছি। এছাড়াও, আপনি দেখতে পাচ্ছেন, আমরা এই তথ্যটি পেতে পারি, আপনি জানেন, বেশ কয়েকটি উপায়ে যাতে সরাসরি হ্যাডোপে এসকিউএল অ্যাক্সেস করা হয়, আমরা এসকিউএল একটি অনুসন্ধান সূচীতে যেতে পারি। আপনি যেমন জানেন যে সেই জায়গার অনুসন্ধান সন্ধানকারীদের মধ্যে কিছু, আমরা বিশ্লেষণাত্মক সম্পর্কিত ডেটাবেজে এসকিউএল অ্যাক্সেস পেতে পারি যা হ্যাডোপের এক্সেল টেবিল রয়েছে।
আমাদের এখন ডেটা ভার্চুয়ালাইজেশন সার্ভারে এসকিউএল অ্যাক্সেস থাকতে পারে যা হ্যাডুপের একটি ডেটা গুদামের সাথে নিজেই সংযুক্ত করা যেতে পারে। আমি এখনই লাইভ স্ট্রিমিং ডেটাতে এসকিউএল অ্যাক্সেসের উত্থান দেখতে শুরু করছি। সুতরাং, এই সমস্তগুলিতে এসকিউএল অ্যাক্সেস দ্রুত বাড়ছে। এবং চ্যালেঞ্জের অংশটি হ'ল এসকিউএল অ্যাক্সেস কেবল সেখানে বাজারজাত করা হচ্ছে। প্রশ্নটি হল, এসকিউএল জটিল তথ্যগুলির সাথে ডিল করতে পারে? এবং এটি অগত্যা সহজবোধ্য নয়। জেএসওএন ডেটা বাসা বেধে যেতে পারে এই বিষয়টি সহ এখানে সমস্ত ধরণের জটিলতা রয়েছে। আমাদের স্কিমা বৈকল্পিক রেকর্ড থাকতে পারে। সুতরাং, প্রথম রেকর্ডটি পেয়েছে একটি স্কিমা। দ্বিতীয় রেকর্ডটি পেয়েছে অন্যরকম স্কিমা। রিলেশনাল ওয়ার্ল্ডে যা ঘটে তা থেকে এই জিনিসগুলি খুব আলাদা।
সুতরাং, আমরা কী ধরণের ডেটা যা আমরা বিশ্লেষণ করার চেষ্টা করছি এবং বিশ্লেষণাত্মক বৈশিষ্ট্যগুলি কী কী তা নিয়ে আমাদের প্রশ্ন করা উচিত। আপনি জানেন যে প্যানেলটি এটি করতে চান? এটা কি মেশিন লার্নিং? এটি কি গ্রাফ বিশ্লেষণ? আপনি এসকিউএল থেকে এটি করতে পারেন? আপনি কি জানেন যে এসকিউএল থেকে চালানো হয়? আমরা কতজন সমকালীন ব্যবহারকারী এটি করতে পেরেছি? আপনি জানেন, আমরা কয়েকশো সহমর্মী ব্যবহারকারী পেয়েছি। জটিল ডেটাতে কি তা সম্ভব? আপনি জানেন, এই সমস্ত জিনিসই মূল প্রশ্ন। সুতরাং, আমি ধরণের এখানে কয়েকজনের একটি তালিকা তৈরি করেছি যা আমার মনে হয় আপনার বিবেচনা করা উচিত। আপনি কি জানেন, কোন ধরণের ফাইল ফর্ম্যাট? আমরা কোন ধরণের ডেটা সম্পর্কে কথা বলছি? জটিল ডেটা পাওয়ার জন্য আমরা এসকিউএল থেকে কোন ধরণের বিশ্লেষণমূলক কাজ করতে পারি? এবং ধরণের ফাংশন সমান্তরালভাবে সঞ্চালিত হয়। মানে আমরা যদি এটি স্কেল করতে সক্ষম হয়ে থাকি তবে তারা সমান্তরালে চলতে পারে। এবং আমি কি আজ এর বাইরে হাদুপতে ডেটাতে যোগদান করতে পারি, আপনি জানেন, বা তা সম্ভব নয়? এবং এই সমস্ত বিভিন্ন ধরণের ক্যোয়ারী কাজের চাপগুলি নিয়ে আমি কী করব?
এবং আমরা যেমন দেখব, আপনি কি জানেন আমি যা দেখেছি তা থেকে এসকিউএল এবং হ্যাডোপ বিতরণে প্রচুর পার্থক্য রয়েছে। এই সমস্ত আমি ট্র্যাক করছি। এবং যাইহোক, এটি হ্যাডুপে খাঁটি এসকিউএল। এটি এমনকি এই সময়ে ডেটা ভার্চুয়ালাইজেশন অন্তর্ভুক্ত না। এবং তাই, সেখানে অনেক কিছু এবং একীকরণের জন্য প্রচুর জায়গা, যা আমি মনে করি পরের বছর, আঠারো মাস বা তারও বেশি সময় ধরে ঘটতে চলেছে। তবে এটি আরেকটি বিষয়ও খুলেছে, যা হ্যাডোপে একই ডেটাতে আমার একাধিক এসকিউএল ইঞ্জিন থাকতে পারে। এবং এটি এমন কিছু যা আপনি সম্পর্কের ক্ষেত্রে করতে পারেননি।
অবশ্যই, তার মানে আপনাকে তখন জানতে হবে, আপনি জানেন, আমি কী ধরণের কোয়েরি কাজের চাপ চালাচ্ছি? হ্যাডোপ উদ্যোগের কোনও বিশেষ এসকিউএল-তে আমার ব্যাচটি চালানো উচিত? হ্যাডোপ উদ্যোগ ইত্যাদির উপর অন্য এসকিউএল এর মাধ্যমে কি আমার ইন্টারেক্টিভ ক্যোয়ারির কাজের চাপগুলি চালানো উচিত, যাতে আমি জানতে পারি যে কোনটির সাথে সংযোগ স্থাপন করতে হবে? আদর্শভাবে, অবশ্যই, আমাদের এটি করা উচিত নয়। আমাদের কেবল এটি থাকা উচিত, আপনি জানেন, এটিতে একটি প্রশ্ন জিজ্ঞাসা করেছিলেন। আপনি জানেন, কিছু অপ্টিমাইজার এটি করার সর্বোত্তম উপায় বের করে। তবে আমার মতে আমরা এখনও পুরোপুরি সেখানে নেই।
তবে তবুও, আমি পূর্বে উল্লেখ করেছি ডেটা ভার্চুয়ালাইজেশনের একাধিক ডেটা স্টোর অ্যাক্সেসকে সহজ করার জন্য খুব গুরুত্বপূর্ণ ভূমিকা রয়েছে has এবং যদি আমরা হ্যাডোপে নতুন অন্তর্দৃষ্টি তৈরি করি তবে ডেটা-টু-ডেটা এবং traditionalতিহ্যবাহী ডেটা গুদামগুলিতে ডেটা ভার্চুয়ালাইজেশনের মাধ্যমে যোগদান করা আমাদের পক্ষে অবশ্যই প্রশংসনীয়, উদাহরণস্বরূপ, হ্যাডোপ থেকে ডেটাটি প্রথাগত ডেটা গুদামগুলিতে অগত্যা সরানো ছাড়াই without অবশ্যই, আপনি এটি করতে পারেন। যদি আমি চিরাচরিত ডেটা গুদামগুলি থেকে হ্যাডোপে সংরক্ষণ করি তবে এটি প্রশংসনীয়। আমি এখনও এটি পেতে পারি এবং এটিতে ডেটা ভার্চুয়ালাইজেশনে আমাদের ডেটা গুদামে থাকা স্টাফে ফিরে যেতে পারি। সুতরাং, আমার জন্য, আমি মনে করি এই সামগ্রিক স্থাপত্যে ডেটা ভার্চুয়ালাইজেশন একটি বড় ভবিষ্যত পেয়েছে এবং এই সমস্ত ডেটা স্টোরগুলিতে অ্যাক্সেসকে সহজ করে তুলেছে।
এবং এটি ভুলে যাবেন না যে আমরা যখন এই নতুন অন্তর্দৃষ্টি তৈরি করি, এটি রিলেশনাল বা নোএসকিউএল সিস্টেমের উপর নির্ভর করেই, আমরা এখনও এই অন্তর্দৃষ্টিগুলি আমাদের ক্রিয়াকলাপগুলিতে ফিরে চালাতে চাই, যাতে আমরা যা পেয়েছি তার মূল্য সর্বাধিকতর করতে পারি, যাতে আমরা পারি আমাদের ব্যবসায়ের অনুকূলকরণের জন্য সেই পরিবেশে আরও কার্যকর, আরও সময়োচিত সিদ্ধান্তের জন্য উত্সাহ দিন।
সুতরাং, তখন মোড়ানোর জন্য, আমি যা দেখছি, তখন আমাদের কী দরকার, আপনারা জানেন, নতুন ডেটা উত্স উদ্ভূত হচ্ছে। আমরা আরও জটিল আর্কিটেকচারে নতুন প্ল্যাটফর্ম পেয়েছি, যদি আপনি চান তবে এটি পরিচালনা করতে। এবং হ্যাডোপ খুব তাত্পর্যপূর্ণ হয়ে উঠেছে, আমাদের তরল স্যান্ডবক্সগুলির জন্য ডেটা প্রস্তুতির জন্য যথেষ্ট, আর্কাইভ কোয়েরি থেকে, ডেটা গুদাম থেকে সংরক্ষণাগার, এই সমস্ত প্ল্যাটফর্মের ডেটা পরিচালনা করার জন্য ডেটা গুদামজাতকরণ ছাড়িয়ে ডেটা ম্যানেজমেন্ট এর ডানাগুলিকে ছড়িয়ে দেয় এবং নতুন সরঞ্জাম হতে পারে এই পরিবেশগুলিতে ডেটা বিশ্লেষণ এবং অ্যাক্সেস করতে সক্ষম, ডেটা আরও ভালভাবে ইনজাইজ করার জন্য স্কেলযোগ্য প্রযুক্তি থাকতে সক্ষম হতে এবং বিশ্লেষণগুলিকে এগুলিকে আরও সমান্তরাল করে তুলতে প্ল্যাটফর্মগুলিতে নিচে ঠেলে দিয়ে স্কেলিং করতে সক্ষম। এবং তারপরে, আশা করি, শীর্ষে এসে আগত এসকিউএল এর মাধ্যমে এটির সকলের অ্যাক্সেসকে সহজ করে তুলতে। সুতরাং, এটি আপনাকে কোথায় চলেছে সে ধরণের ধারণা দেয়। সুতরাং, এর সাথেই আমি ফিরে যাব, আমার ধারণা, এরিক এখন, তাই না?
এরিক: ঠিক আছে, দুর্দান্ত। এবং লোকেরা, আমাকে বলতে হবে যে আপনি রবিন এবং মাইকের কাছ থেকে যা পেয়েছেন তার মধ্যে সম্ভবত আপনি যে কোনও জায়গায় সন্ধান করতে যাচ্ছেন এমনভাবে দেখার থেকে পুরো ল্যান্ডস্কেপটির ওভারভিউতে এটি প্রায় বিস্তৃত এবং সংক্ষিপ্ত। আমাকে এগিয়ে যেতে এবং জর্জ Corugedo প্রথম সারিবদ্ধ। এবং এটি আছে। আমাকে তাড়াতাড়ি সেকেন্ডের জন্য নেওয়া যাক। ঠিক আছে, জর্জ, আমি আপনার কাছে কীগুলি হস্তান্তর করতে চলেছি, এবং এটি নিয়ে যাচ্ছি। মেঝে তোমার।
জর্জ: দুর্দান্ত! আপনাকে অনেক ধন্যবাদ, এরিক এবং রব এবং মাইক আপনাকে ধন্যবাদ। এটি ছিল দুর্দান্ত তথ্য এবং প্রচুর যা আমরা সম্মতি দিয়েছি। সুতরাং, রবিনের আলোচনায় ফিরে যাওয়া, কারণ আপনি জানেন যে রেডপয়েন্ট এখানে রয়েছে এবং এসএএস এখানে রয়েছে এমন কোনও কাকতালীয় ঘটনা নয়। কারণ রেডপয়েন্ট, আমরা প্রশাসনের উপর ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণে ব্যবহারের প্রস্তুতির জন্য সত্যই এর ডেটা দিকের দিকে মনোনিবেশ করি। সুতরাং, আমাকে এই দুটি স্লাইডের মাধ্যমে কেবল বার্জ দেওয়া যাক। এবং এমডিএম সম্পর্কে রবিনের পয়েন্টটি সম্পর্কে সত্যই কথা বলুন এবং তা গ্রহণ করুন এবং এটি কতটা গুরুত্বপূর্ণ, এবং কতটা দরকারী তা আমি মনে করি - এবং আমরা মনে করি - হাদুপ এমডিএম এবং ডেটা গুণমানের বিশ্বে থাকতে পারে।
আপনি জানেন, রবিন কিছুটা কথা বলছিল, আপনি জানেন, এটি কীভাবে এন্টারপ্রাইজ ডেটা গুদাম বিশ্বের সাথে সম্পর্কিত এবং আমি আসি - আপনি জানেন, আমি অ্যাকেনচারে বেশ কয়েক বছর অতিবাহিত করেছি। এবং সেখানে আকর্ষণীয়টি ছিল যে আমাদের কতবার সংস্থাগুলিতে যেতে হয়েছিল এবং ডেটা গুদাম যে মূলত পরিত্যক্ত ছিল তা দিয়ে কী করতে হবে তা জানার চেষ্টা করতে হয়েছিল। এবং এর অনেক কিছুই ঘটেছিল কারণ ডেটা গুদাম দলটি তাদের বিল্ডটি ব্যবসায়ের ব্যবহারকারীর বা ডেটা গ্রাহকদের কাছে সত্যই সংযুক্ত করে না। অথবা, এটি এতটাই সুস্পষ্টভাবে সময় নিয়েছে যে তারা জিনিসটি তৈরি করার সময়, ব্যবসায়ের ব্যবহার বা এর জন্য ব্যবসায়ের যুক্তি বিকশিত হয়েছিল।
এবং আমি যে জিনিসগুলি মনে করি তার মধ্যে একটি হ'ল আমি খুব উত্সাহিত হয়েছি, মাস্টার ডেটা ম্যানেজমেন্ট, ডেটা কোয়ালিটির জন্য এবং ডেটা প্রস্তুতির জন্য হ্যাডোপ ব্যবহার করার ধারণাটি এই যে আপনি সর্বদা একটিতে পারমাণবিক ডেটাতে ফিরে যেতে পারেন হ্যাডোপ ডেটা হ্রদ বা ডেটা জলাধার, বা ডেটা সংগ্রহস্থল, বা হাব, বা আপনি যে বাজ ফর্মটি ব্যবহার করতে চান তা। তবে আপনি সর্বদা সেই পারমাণবিক ডেটা রাখার কারণে আপনার কাছে সর্বদা ব্যবসায়ীদের সাথে পুনরায় সাইন ইন করার সুযোগ থাকবে। কারণ, একজন বিশ্লেষক হিসাবে - কারণ আমি আসলে একটি পরিসংখ্যানবিদ হিসাবে আমার ক্যারিয়ার শুরু করেছি - আপনি জানেন, এর চেয়ে খারাপ কিছুই নয়, আপনি জানেন, এন্টারপ্রাইজ ডেটা গুদামগুলি রিপোর্ট চালনা করার জন্য দুর্দান্ত, তবে আপনি যদি সত্যিই ভবিষ্যদ্বাণীমূলক বিশ্লেষণ করতে চান তবে তারা সত্যই এটি কার্যকর নয়, কারণ আপনি যা চান তা হ'ল দানাদার আচরণগত ডেটা যা কোনওভাবে সংক্ষিপ্ত হয়ে ডেটা গুদামে একত্রিত হয়েছিল। সুতরাং, আমি মনে করি এটি সত্যিই একটি গুরুত্বপূর্ণ বৈশিষ্ট্য, এবং এটি আমি মনে করি যে আমি রবিনের সাথে একমত হতে পারি না তা হ'ল আমি ব্যক্তিগতভাবে যতটা সম্ভব ডেটা হ্রদে বা ডেটা হাবের মধ্যে ডেটা রেখে দেব, কারণ যতক্ষণ না ডেটা আছে এবং এটি পরিষ্কার, আপনি এটি এক দিক থেকে, অন্য দিক থেকে দেখতে পারেন। আপনি অন্যান্য ডেটার সাথে এটি মার্জ করতে পারেন। আপনার কাছে সর্বদা এটিতে ফিরে আসার এবং পুনর্গঠন করার সুযোগ রয়েছে এবং তারপরে নিজেকে একটি ব্যবসায়িক ইউনিট এবং এই ইউনিটটির যে প্রয়োজন হতে পারে তার সাথে নিজেকে পুনরায় সাজান।
এটির সম্পর্কে অন্য ধরণের একটি আকর্ষণীয় বিষয় হ'ল এটি একটি শক্তিশালী গণনা প্ল্যাটফর্ম, কারণ আমরা যে কাজের চাপের কথা বলছিলাম, আমরা হ্যাডোপে সরাসরি এসেছি see এবং আমার মনে হয়, মাইকের সমস্ত বিভিন্ন প্রযুক্তির কথা বলা হয়েছিল যা পৃথিবীতে রয়েছে - এই ধরণের বড় ডেটা ইকোসিস্টেমের মধ্যে, আমরা মনে করি যে হ্যাডোপ সত্যিই ভারী ঘোড়া হিসাবে গণতান্ত্রিকভাবে নিবিড় প্রক্রিয়াজাতকরণের সেই বৃহত স্কেলটি করার কাজ করে যা মাস্টার ডেটা এবং ডেটা মানের প্রয়োজন। কারণ আপনি যদি এটি সেখানে করতে পারেন তবে আপনি জানেন, আপনার ব্যয়বহুল ডাটাবেসগুলি এবং অর্থনৈতিক ডাটাবেসে ডেটা সরিয়ে নেওয়ার নিছক অর্থশাস্ত্র, এটি এখন বড় উদ্যোগগুলিতে এই মুহূর্তে উত্থানের অনেকটাই চালাচ্ছে।
এখন, অবশ্যই কিছু চ্যালেঞ্জ আছে, তাই না? প্রযুক্তিগুলির চারপাশে চ্যালেঞ্জ রয়েছে। তাদের অনেকগুলিই খুব অপরিণত। আমি বলব, আপনি জানেন, আমি কয়টি জানি না, তবে মাইকের উল্লেখ করা কয়েকটি প্রযুক্তি এখনও শূন্য-পয়েন্ট-কিছু প্রকাশের উপরে রয়েছে, তাই না? সুতরাং, এই প্রযুক্তিগুলি খুব অল্প বয়স্ক, খুব অপরিপক্ক, এখনও কোড ভিত্তিক। এবং এটি উদ্যোগের জন্য সত্যই একটি চ্যালেঞ্জ তৈরি করে। এবং আমরা সত্যিই এন্টারপ্রাইজ-স্তরের সমস্যাগুলি সমাধান করার দিকে মনোনিবেশ করি। এবং তাই, আমরা মনে করি যে একটি ভিন্ন উপায় থাকতে হবে, এবং আমরা প্রস্তাব করি এটি হ'ল কিছু অতিপ্রাকৃত প্রযুক্তি ব্যবহার করে কিছু স্টাফ নিয়ে যাওয়ার একটি ভিন্ন উপায়।
এবং তাই, এবং তারপরে এখানে অন্যান্য আকর্ষণীয় ইস্যুটি, যা আগে উল্লিখিত হয়েছে যা হ'ল হ্যাডোপ পরিবেশে আপনি যে কোনও ধরণের ক্যাপচার করছেন এমন তথ্য যখন আপনার কাছে থাকে তখন আপনি জানেন, এটি সাধারণত লেখার স্কিমা না হয়ে পড়ার ক্ষেত্রে স্কিমা হয় কিছু ব্যতিক্রম সহ। এবং এই পড়া, এটি পরিসংখ্যানবিদরা দ্বারা করা হচ্ছে। এবং সুতরাং, পরিসংখ্যানবিদদের এমন সরঞ্জাম থাকতে হবে যা বিশ্লেষণাত্মক উদ্দেশ্যে ডেটা সঠিকভাবে গঠন করতে দেয়, কারণ দিনের শেষে, ডেটা দরকারী করতে, কিছু দেখতে বা কোনও প্রশ্নের উত্তর দেওয়ার জন্য এটি কোনও আকারে কাঠামোগত হতে হয় বা একটি ব্যবসায়, কিছু ধরণের ব্যবসায়ের ব্যবসায়ের মান তৈরি করে।
সুতরাং, যেখানে আমরা আসি তা হ'ল আমাদের কাছে খুব বিস্তৃত-ভিত্তিক এবং পরিপক্ক ইপিএল, ইএলটি ডেটা মানের মানের মাস্টার কী এবং পরিচালনার অ্যাপ্লিকেশন রয়েছে। এটি অনেক, বহু বছর ধরে বাজারে রয়েছে। এবং এটির সমস্ত কার্যকারিতা বা অনেকগুলি কার্যকারিতা রয়েছে যা রবিন সেই বৃত্তাকার গ্রাফটিতে তালিকাভুক্ত করেছে - পুরো বিশুদ্ধরূপে এবং এক্সএমএল কাঠামোগুলি এবং হোয়নেটস থেকে সমস্ত পরিষ্কারকরণ করার ক্ষমতা থেকে পুরোপুরি খাঁটি কাঁচা তথ্য ক্যাপচার থেকে শুরু করে সমস্ত কিছু the তথ্য সমাপ্তি, তথ্য সংশোধন, উপাত্তের ভূগর্ভীয় কোর বিট। এটিই এমন কিছু যা আজকাল ইন্টারনেট অফ থিংসের সাথে আরও বেশি গুরুত্বপূর্ণ হয়ে উঠছে। আপনি জানেন যে, আমরা যা করি বা সেই ডেটার অনেক কিছুই এর সাথে ভূগোল যুক্ত। এবং তাই, পার্সিং, টোকেনাইজেশন, নির্মূলকরণ, সংশোধন, বিন্যাসকরণ, কাঠামো ইত্যাদির সমস্ত কিছুই আমাদের প্ল্যাটফর্মে করা হয়ে থাকে।
এবং তারপরে এবং সম্ভবত, আমরা সর্বাধিক গুরুত্বপূর্ণ মনে করি হ'ল প্রতিলিপি ধারণা। আপনি জানেন, মূলত, আপনি যদি মাস্টার ডেটা ম্যানেজমেন্টের কোনও সংজ্ঞা দেখেন তবে এর মূলটি হ'ল প্রতিলিপি। এটি ডেটা বিভিন্ন উত্স জুড়ে সত্তা সনাক্ত করতে সক্ষম হয় এবং তারপরে সেই সত্তার জন্য একটি মাস্টার রেকর্ড তৈরি করে। এবং যে সত্তা একটি ব্যক্তি হতে পারে। সত্তা উদাহরণস্বরূপ, একটি বিমানের অংশ হতে পারে। সত্তাটি এমন একটি খাবার হতে পারে যা আমরা আমাদের স্বাস্থ্য ক্লাব ক্লায়েন্টদের একটির জন্য করেছি। আমরা তাদের জন্য একটি মাস্টার ফুড ডেটাবেস তৈরি করেছি। সুতরাং, যে সত্তা সত্তা আমরা যেগুলির সাথে কাজ করছি - এবং অবশ্যই ক্রমবর্ধমানভাবে, এমন লোক এবং তাদের পরিচয়গুলির জন্য প্রক্সিগুলি রয়েছে যা হ্যান্ডলগুলি বা অ্যাকাউন্টগুলির মতো জিনিস, মানুষের সাথে সম্পর্কিত যে কোনও ডিভাইস, গাড়ি এবং কিছু জিনিস ফোন এবং আপনি যা কল্পনাও করতে পারেন whatever
আপনি জানেন, আমরা এমন ক্লায়েন্টের সাথে কাজ করছি যারা স্পোর্টওয়্যারগুলিতে সমস্ত ধরণের সেন্সর রাখে। সুতরাং, তথ্য প্রতিটি দিক থেকে আসছে। এবং এক বা অন্য কোনও উপায়ে এটি মূল সত্তার প্রতিচ্ছবি বা প্রতিনিধিত্ব। এবং ক্রমবর্ধমান, এই লোকেরা এবং ডেটাগুলির এই সমস্ত উত্সগুলির মধ্যে সম্পর্কগুলি সনাক্ত করার ক্ষমতা এবং কীভাবে তারা সেই মূল সত্তার সাথে সম্পর্কিত এবং তারপরে সময়ের সাথে সেই মূল সত্তাকে ট্র্যাক করতে সক্ষম হওয়ায় আপনি সেই সত্তার মধ্যে পরিবর্তনগুলি বিশ্লেষণ করতে এবং বুঝতে পারবেন এবং এই সমস্ত সত্তার যে উপস্থাপনাগুলিতে রয়েছে সেই সমস্ত উপাদান, উদাহরণস্বরূপ মানুষের দীর্ঘমেয়াদী এবং অনুদৈর্ঘ্য বিশ্লেষণের পক্ষে সত্যই সমালোচিত। এবং এটি সত্যিই একটি গুরুত্বপূর্ণ বেনিফিটগুলির মধ্যে একটি, যা আমি মনে করি যে, বড় ডেটা আমাদেরকে এনে দিতে পারে যা মানুষকে এবং দীর্ঘমেয়াদে আরও ভালভাবে বোঝা যায়, এবং কন কী বোঝায় এবং লোকেরা কী কী ডিভাইস ইত্যাদির মাধ্যমে আচরণ করছে সেগুলি বোঝাচ্ছে etc ।
সুতরাং, আমাকে দ্রুত এখানে যেতে দিন। এরিক ইয়ার্ন উল্লেখ করেছেন। আপনি জানেন, আমি এটিকে কেবলমাত্র এক সেকেন্ডের জন্য ফেলে দিয়েছি কারণ YARN করার সময় - লোকেরা YARN সম্পর্কে কথা বলে। YARN সম্পর্কে আমার মনে হয় এখনও অনেক অজ্ঞতা রয়েছে। এবং সত্যিই প্রচুর লোক নয় - ইয়ার্ন সম্পর্কে এখনও অনেক ভুল বোঝাবুঝি। এবং আসল বিষয়টি হ'ল যদি আপনার অ্যাপ্লিকেশনটি সঠিক উপায়ে আর্কিটেক্ট করা হয়েছে এবং আপনার অ্যাপ্লিকেশন আর্কিটেকচারে আপনার যথাযথ স্তর বা সমান্তরালতা রয়েছে, তবে আপনি আপনার স্কেলিং প্ল্যাটফর্ম হিসাবে হ্যাডোপটি ব্যবহার করতে ইয়ার্নের সুবিধা নিতে পারেন। এবং এটি আমরা ঠিক করেছি।
আপনি আবার জানেন, কেবল YARN এর আশেপাশে কয়েকটি সংজ্ঞা তুলে ধরতে। আমাদের কাছে, সত্যই যা ইয়ার্ন তা আমাদের নিজের এবং অন্যান্য সংস্থাগুলিকে ম্যাপ্রেডুস এবং স্পার্ক এবং সেখানে থাকা অন্যান্য সমস্ত সরঞ্জামের সমকক্ষ হয়ে উঠতে সক্ষম করেছে। তবে আসল বিষয়টি হ'ল আমাদের অ্যাপ্লিকেশনগুলি হ্যাডোপে সরাসরি ইয়ার্নে অনুকূলিত কোডটি ড্রাইভ করে। এবং মাইকের একটি সত্যই আকর্ষণীয় মন্তব্য রয়েছে, কারণ আপনি জানেন যে বিশ্লেষণ এবং আমাদের বিশ্লেষণগুলি সম্পর্কে প্রশ্নটি কেবল ক্লাস্টারে থাকার কারণে, তারা কি আসলেই সমান্তরালে চলছে? আপনি যে পরিমাণ ডেটা মানের গুণমান রয়েছে সেগুলি সম্পর্কে একই প্রশ্ন জিজ্ঞাসা করতে পারেন।
বেশিরভাগ দিন, মানসম্পন্ন সরঞ্জামগুলি যেগুলি বাইরে আছে সেগুলি ডেটা বের করে আনতে হবে বা তারা কোড ঠেলে দিচ্ছে And এবং অনেক ক্ষেত্রে, এটি আপনাকে একা একা প্রবাহের তথ্য দিয়ে প্রক্রিয়াকরণ করা হচ্ছে you রেকর্ডগুলির তুলনা করুন, কখনও কখনও ডেটা-মানের ধরণের ক্রিয়াকলাপে। এবং আসল বিষয়টি হ'ল আমরা ইয়ার্নকে ব্যবহার করছি বলে, আমরা সত্যই প্যারালাইজেশনটির সুবিধা নিতে সক্ষম হয়েছি।
এবং কেবল আপনাকে একটি দ্রুত পর্যালোচনা দেওয়ার জন্য, কারণ traditionalতিহ্যবাহী ডাটাবেসগুলি, নতুন ডাটাবেসগুলি ইত্যাদির সম্প্রসারণে সক্ষম হওয়ার গুরুত্ব সম্পর্কে আরেকটি মন্তব্য করা হয়েছে, আমরা ক্লাস্টারের বাইরে প্রয়োগ করি বা ইনস্টল করি। এবং আমরা আমাদের বাইনারিগুলি সরাসরি রিসোর্স ম্যানেজার, YARN- এর দিকে ঠেলে দিই। এবং এটি এবং তারপরে YARN এটি ক্লাস্টারের নোডগুলিতে বিতরণ করে। এবং এটি যা করে তা হ'ল ইয়ারান - আমরা ইয়ার্নকে তার কাজ পরিচালনা এবং করার অনুমতি দিই, যা ডেটা কোথায় রয়েছে তা নির্ধারণ করে কাজটি ডেটাতে, কোডকে ডেটাতে নিয়ে যায় এবং ডেটা চারপাশে স্থানান্তর না করে। আপনি যখন ডেটা মানের সরঞ্জামগুলি শুনতে পান এবং তারা আপনাকে সেরা অনুশীলনটি হাদুপ থেকে ডেটা সরিয়ে নেওয়া, আপনার জীবনের জন্য চালনা করাই বলে কারণ এটি ঠিক সেভাবে নয়। আপনি কাজটি ডেটাতে নিতে চান। YARN প্রথমে যা করে। এটি আমাদের বাইনারিগুলি নোডগুলিতে নিয়ে যায় যেখানে ডেটা থাকে।
এছাড়াও আমরা ক্লাস্টারের বাইরে থাকায়, আমরা প্রচলিত এবং সম্পর্কিত সমস্ত ডাটাবেসগুলিতে অ্যাক্সেস করতে পারি যাতে আমাদের কাছে এমন একটি চাকরী থাকতে পারে যেগুলি traditionalতিহ্যবাহী ডাটাবেসে 100% ক্লায়েন্ট সার্ভার, 100% হডোপ বা হাইব্রিড জব যা হ্যাডোপ ক্লায়েন্ট সার্ভার জুড়ে যায় , ওরাকল, টেরাদাতা - আপনি যা চান তা এবং একই কাজের জন্য সমস্ত কিছুই, কারণ এটি একটি বাস্তবায়ন বিশ্বের উভয় পক্ষকে অ্যাক্সেস করতে পারে।
এবং তারপরে, সরঞ্জামগুলির nascency সম্পর্কে পুরো ধারণাটিতে ফিরে গিয়ে আপনি এখানে দেখুন, এটি কেবল একটি সহজ উপস্থাপনা। এবং আমরা যা করার চেষ্টা করছি তা হল বিশ্বকে সরল করা। এবং আমরা যেভাবে করি এটি হ'ল এইচডিএফএসকে প্রায় তৈরি করার জন্য কার্যকারিতার একটি খুব বিস্তৃত সেট নিয়ে আসা… এবং এটি এর কারণ নয় যে আমরা সেখানে উদ্ভাবনী সমস্ত প্রযুক্তি মুছে ফেলার চেষ্টা করছি। এটি কেবলমাত্র উদ্যোগের স্থায়িত্ব প্রয়োজন এবং তারা কোড ভিত্তিক সমাধান পছন্দ করেন না। এবং তাই, আমরা যা করার চেষ্টা করছি তা হ'ল এন্টারপ্রাইজগুলিকে একটি পরিচিত, পুনরাবৃত্তযোগ্য, ধারাবাহিক প্রয়োগের পরিবেশ প্রদান যা তাদেরকে খুব পূর্বাভাসযোগ্য উপায়ে ডেটা তৈরি এবং প্রসেস করার ক্ষমতা দেয়।
দ্রুত, আমাদের প্রয়োগের সাথে আমরা এই ধরনের প্রভাব পাই। আপনি মানচিত্রে বনাম পিগ বনাম রেডপয়েন্ট দেখুন - রেডপয়েন্টে কোডের কোনও লাইন নেই। ম্যাপ্রেডুসে ছয় ঘন্টা বিকাশ, পিগের তিন ঘন্টা বিকাশ এবং রেডপয়েন্টে 15 মিনিটের বিকাশ। এবং সেখানেই আমরা সত্যিই একটি বিশাল প্রভাব ফেলেছি। প্রক্রিয়াকরণের সময়টিও দ্রুত, তবে মানুষের সময়, জনগণের উত্পাদনশীলতার সময় উল্লেখযোগ্যভাবে বৃদ্ধি পায়।
এবং এখানে আমার চূড়ান্ত স্লাইড, আমি এই ধারণাটিতে ফিরে যেতে চাই, কারণ এটি হ'ল কেন্দ্রীয় পয়েন্ট হিসাবে ডেটা হ্রদ বা একটি ডেটা হাব বা একটি ডেটা রিফাইনারি ব্যবহার করা। এই ধারণার সাথে আরও একমত হতে পারে না। এবং আমরা বর্তমানে প্রধান গ্লোবাল ব্যাংকগুলির প্রচুর প্রধান তথ্য আধিকারিকদের সাথে আলোচনায় আছি এবং এটি পছন্দসই আর্কিটেকচার।সমস্ত উত্স থেকে ডেটা ইনজেশন ডেটা লেকের অভ্যন্তরে ডেটা কোয়ালিটি প্রসেসিং এবং মাস্টার ডেটা ম্যানেজমেন্ট করে এবং তারপরে, বিআই সমর্থন করার জন্য, অ্যাপ্লিকেশনগুলিকে সমর্থন করতে যেখানে যেতে হবে সেখানে ডেটা চাপুন, যা-ই হোক না কেন। এবং তারপরে, বিআই-তে আপনার যদি বিশ্লেষণ থাকে তবে এগুলি সরাসরি ডেটা লেকের ভিতরে চলে যেতে পারে, যেখানে আরও ভাল, এটি এখনই শুরু হতে পারে। তবে এই ধারণাটি নিয়ে বোর্ডে খুব বেশি। এই টপোলজি এখানে একটি যা হ'ল - আমরা সন্ধান করছি যে বাজারটি প্রচুর পরিমাণে লক্ষ্য অর্জন করছে। এবং এটাই.
এরিক: ঠিক আছে, ভাল আসুন এখানে ডানদিকে সরানো যাক। আমি এগিয়ে যাব এবং এটি কিথের হাতে দেব। এবং, কিথ, আপনি এখানে ঘরটি রক করতে প্রায় 10, 12 মিনিট পেয়েছিলেন। এই শোগুলিতে আমরা কিছুটা দীর্ঘ যেতে পেরেছিলাম। এবং আমরা এটির জন্য 70 মিনিটের বিজ্ঞাপন দিয়েছি। সুতরাং, কেবল এগিয়ে যান এবং সেই স্লাইডের যে কোনও জায়গায় ক্লিক করুন এবং ডাউন তীরটি ব্যবহার করুন এবং এটিকে নিয়ে যান।
কিথ: অবশ্যই সমস্যা নেই, এরিক। আমি এটিকে সমর্থন করি. আমি এগিয়ে যাব এবং এসএএস সম্পর্কে মাত্র কয়েক টুকরো আঘাত করতে যাব, তারপরে আমি সরাসরি প্রযুক্তি আর্কিটেকচারে চলে যাব যেখানে এসএএস বড় ডেটা ওয়ার্ল্ডের সাথে ছেদ করে। এই সমস্ত স্টাফ মধ্যে ব্যাখ্যা করার অনেক আছে। আমরা এটির বিশদ বিবরণে ঘন্টার জন্য সময় কাটাতে পারি, তবে দশ মিনিট - এসএএস বিশ্লেষণ, ডেটা ম্যানেজমেন্ট এবং ব্যবসায়ের গোয়েন্দা প্রযুক্তিগুলি এই বড় ডেটা বিশ্বে কোথায় নিয়ে গেছে তার একটি সংক্ষিপ্ত বোঝার সাথে আপনি চলে যেতে সক্ষম হবেন।
প্রথমে, এসএএস সম্পর্কে কিছুটা। আপনি যদি এই সংস্থার সাথে পরিচিত না হন তবে আমরা গত 38 বছর ধরে উন্নত বিশ্লেষণ, ব্যবসায়িক বুদ্ধিমত্তা এবং ডেটা ম্যানেজমেন্টটি কেবলমাত্র বড় ডেটা নয়, তবে গত 38 বছর ধরে ছোট ডেটা এবং ডেটা সম্পদ দিয়ে চলেছি। আমাদের প্রচুর গ্রাহক পা রয়েছে, সারা বিশ্বের প্রায় 75,000 সাইট রয়েছে এবং সেখানে শীর্ষস্থানীয় কয়েকটি প্রতিষ্ঠানের সাথে কাজ করছে। আমরা প্রায় 13,000 কর্মচারী এবং 3 বিলিয়ন ডলার উপার্জন সহ একটি বেসরকারী সংস্থা। এবং ঠিক সত্যই, আমি অনুমান করি, গুরুত্বপূর্ণ অংশটি হ'ল আমাদের প্রচলিত উল্লেখযোগ্য পরিমাণে পুনর্নবীকরণের জন্য আমাদের দীর্ঘকালীন ইতিহাস ছিল আমাদের আর অ্যান্ড ডি সংস্থায়, যা সত্যই এই আশ্চর্যজনক প্রযুক্তি এবং প্ল্যাটফর্মগুলি আপনাকে বহন করে চলেছে '। আজ দেখতে যাচ্ছি।
সুতরাং, আমি সত্যিই এই সত্যিই ভীতিকর আর্কিটেকচার ডায়াগ্রামগুলিতে ঝাঁপিয়ে যাচ্ছি। আমরা আমার স্লাইডগুলিতে বাম থেকে ডানে কাজ করব। সুতরাং, এই প্ল্যাটফর্মের অভ্যন্তরে আপনি দেখতে যাচ্ছেন এমন কিছু জিনিস রয়েছে। বাম দিকে, সেই সমস্ত ডেটা উত্স যা আমরা এই বড় ডেটা প্ল্যাটফর্মগুলিতে প্রবেশের কথা বলছি। এবং তারপরে, আপনি এই বড় ডেটা প্ল্যাটফর্মটি পেয়েছেন।
আমি হ্যাডোপ শব্দটি কেবল সেখানে শীর্ষে রাখিনি, কারণ শেষ পর্যন্ত, যে উদাহরণগুলি আমি আজ দিতে যাচ্ছি তা হ'ল বিশেষত সমস্ত প্রযুক্তিগুলির মধ্যে যেখানে আমরা এই বড় ডেটা প্ল্যাটফর্মগুলির সাথে ছেদ করি। হ্যাডোপ কেবলমাত্র আমাদের মধ্যে সবচেয়ে শক্তিশালী মোতায়েনের বিকল্পগুলির মধ্যে একটি হয়ে ওঠে, তবে আমরা কিছুটা ছেদ করি এবং টেরাদাতার মতো আমাদের অন্যান্য এন্টারপ্রাইজ ডেটা গুদাম অংশীদারদের সাথে কিছু সময়ের জন্য এই প্রযুক্তিগুলির বেশ কিছুটা বিকাশ করেছি, ওরাকল, পিভোটাল এবং এর মতো। সুতরাং, আমি কোন প্ল্যাটফর্মে সমস্ত বিভিন্ন প্রযুক্তি সমর্থিত সেগুলি সম্পর্কে দুর্দান্ত বিবরণে যেতে পারি না, তবে কেবলমাত্র নিশ্চিত হয়েই থাকুন যে আমি আজ যে সমস্ত বর্ণনা করি সেগুলি বেশিরভাগই হাদুপ এবং সেগুলির একটি বিশাল পরিমাণ অন্যান্য প্রযুক্তি অংশীদারদের সাথে ছেদ করে যে আমাদের আছে. সুতরাং, আমরা যে বড় প্ল্যাটফর্ম সেখানে বসে আছে।
পরের ঠিক ডানদিকে, আমাদের রয়েছে আমাদের এসএএস এলএএসআর অ্যানালিটিক সার্ভার। এখন, এটি মূলত মেমরি অ্যানালিটিক অ্যাপ্লিকেশন সার্ভারে একটি বৃহত্তর সমান্তরাল। আমরা পরিষ্কার করব যে এটি কোনও মেমরির ডাটাবেস নয়। এটি সত্যই স্থলভাগ থেকে তৈরি করা হয়েছে। এটি কোয়েরি ইঞ্জিন নয়, তবে ব্যাপকভাবে সমান্তরাল উপায়ে বিশ্লেষণমূলক অনুরোধগুলি পরিষেবা দেওয়ার জন্য ডিজাইন করা হয়েছে। সুতরাং, সেই পরিষেবা কী অ্যাপ্লিকেশনগুলি আপনি ডানদিকে দেখতে পাচ্ছেন।
আমরা কীভাবে লোকেরা এই জিনিসগুলি স্থাপন করে তা আপনি জানেন যে আমরা আরও কিছু পছন্দ করতে পারি। তবে মূলত, অ্যাপ্লিকেশন - আপনি সেখানে দেখতে পাচ্ছেন - প্রথমটি হ'ল আমাদের এসএএস উচ্চ-পারফরম্যান্স বিশ্লেষণ। এটি হতে চলেছে - আমি আমাদের প্রচুর বিদ্যমান প্রযুক্তি এবং প্ল্যাটফর্মগুলি যেমন এন্টারপ্রাইজ মাইনার বা কেবল একটি এসএএস ব্যবহার করছি, এবং আমরা সেইসব অ্যালগরিদমের সাথে মাল্টিথ্রেডিং করছি না যা আমরা তৈরি করেছি সেই সরঞ্জামগুলির জন্য বছর, কিন্তু এগুলিও ব্যাপকভাবে সমান্তরাল। সুতরাং, সেই বড় ডেটা প্ল্যাটফর্ম থেকে ডেটাটিকে মেমরি স্পেসে সেই এলএএসআর অ্যানালিটিক সার্ভারে স্থানান্তরিত করতে, যাতে আমরা বিশ্লেষণী অ্যালগরিদমগুলি নির্বাহ করতে পারি - আপনি জানেন, প্রচুর পরিমাণে নতুন মেশিন লার্নিং, নিউরাল নেট, এলোমেলো বনভূমি, এই ধরণের জিনিস - আবার, মেমরি বসে ডেটা। সুতরাং, আমরা সেই প্ল্যাটফর্মগুলিতে যেখানে ফাইল ফাইল করব সেই নির্দিষ্ট মানচিত্রে প্যারাডিজমের বিড়ম্বনা থেকে মুক্তি পেয়ে আপনি বিশ্লেষণাত্মক কাজ করতে চান না। সুতরাং, আমরা একবারে ডেটাটিকে মেমরির স্পেসে তুলতে এবং এর মাধ্যমে পুনরাবৃত্তি করতে সক্ষম হতে চাই, আপনি জানেন, কখনও কখনও কয়েক হাজার সময়। সুতরাং, এটি সেই উচ্চ-পারফরম্যান্স অ্যানালিটিক এলএএসআর সার্ভার ব্যবহার করার ধারণা।
আমরাও - এর নীচে থাকা অন্যান্য অ্যাপ্লিকেশনগুলি, ভিজ্যুয়াল অ্যানালিটিক্স, যা আমাদের সেই ডেটা মেমরিতে ধরে রাখতে এবং একই ডেটাতে বৃহত্তর জনসংখ্যার পরিবেশন করতে দেয়। সুতরাং, লোকেরা বড় ডেটা এক্সপ্লোরেশন করতে দেয়। সুতরাং, আমাদের মডেল বিকাশের কাজগুলি করার আগে, আমরা ডেটা অন্বেষণ করছি, এটি বুঝতে পারি, পারস্পরিক সম্পর্ক চালাচ্ছি, ভবিষ্যদ্বাণী করা বা সিদ্ধান্তের গাছগুলি প্রবণতা করি those এই ধরণের জিনিস - তবে স্মৃতিতে বসে থাকা ডেটা সম্পর্কে খুব চাক্ষুষ, ইন্টারেক্টিভ পদ্ধতিতে প্ল্যাটফর্ম। এটি আমাদের বিআই সম্প্রদায়কে আরও বিস্তৃত ব্যবহারকারীর ভিত্তিতে সহায়তা করে যা আপনি দেখতে পাচ্ছেন এমন স্ট্যান্ডার্ড ধরণের রেকর্ডিং করতে সেই প্ল্যাটফর্মটিকে হিট করতে পারে - যা আপনি জানেন, বিআই বিক্রেতার বাইরে রয়েছে।
পরবর্তী পদক্ষেপ, আমরা সেবার পরে সরানো। এবং আমাদের পরিসংখ্যানবিদদের এবং আমাদের বিশ্লেষণকারীরা আমাদের ভিজ্যুয়াল পরিসংখ্যান অ্যাপ্লিকেশনটিতে ভিজ্যুয়াল অ্যানালিটিক্স এবং অন্বেষণ থেকে সরিয়ে মেমরিতে বসে ডেটা সহ এই জাতীয় অ্যাড-হক মডেলিং করতে সক্ষম হতে সহায়তা করতে। লোকেরা এই সুযোগগুলি গ্রহণ করবে, যে ব্যাচগুলিতে ধরণের পুনরাবৃত্তি হত, মডেলগুলি চালিত করত, ফলাফলগুলি দেখত সেগুলিতে পরিসংখ্যান চালানো না। সুতরাং, যে মডেল চালাতে পারেন, ফলাফল দেখুন। এটি দৃশ্যমানভাবে টানুন এবং ইন্টারেক্টিভ স্ট্যাটিস্টিকাল মডেলিংয়ের মধ্যে পড়ুন। সুতরাং, এটি আমাদের পরিসংখ্যানবিদদের এবং আমাদের ডেটা বিজ্ঞানীদের সেই প্রারম্ভিক অনুসন্ধানী ভিজ্যুয়াল পরিসংখ্যানমূলক কাজটি অনেক কাজ করতে সহায়তা করে।
এবং তারপরে, আমরা আমাদের কোডারগুলি ভুলে যাইনি - যে লোকেরা সত্যিকার অর্থেই থাকতে চায়, তার বিপরীতে ইন্টারফেসের স্তরগুলি ছুলাতে সক্ষম হতে পারে, অ্যাপ্লিকেশনগুলি লিখতে পারে এবং এসএএসে তাদের নিজস্ব কোড বেস লিখতে পারে। এবং এটি হ্যাডোপের জন্য আমাদের মেমরির পরিসংখ্যান। এবং এটি হ'ল - মূলত কোড স্তরটি আমাদের সেই অ্যানালিটিক এলএএসআর সার্ভারের সাথে সরাসরি কমান্ড জারি করতে এবং আমাদের অনুরোধের ভিত্তিতে সেই অ্যাপ্লিকেশনগুলি কাস্টমাইজ করার অনুমতি দেয়। এটি বিশ্লেষণী অংশ।
কীভাবে এই জিনিসগুলি সেট আপ হয়… ওফস, আমি দুঃখিত দুঃখিত ছেলেরা। আমরা শুরু করছি.
সুতরাং, এখানে বেশ কয়েকটি উপায় রয়েছে যা আমরা এটি করি। একটি হ'লডুপের সাথে - এক্ষেত্রে বড় ডেটা দিয়ে এটি করা। এবং সেই স্থানেই আমাদের কাছে রয়েছে যে এসএএস এলএএসআর অ্যানালিটিক সার্ভারটি হার্ড মেশিনের পৃথক ক্লাস্টারে চলছে যা হার্ডকোর বিশ্লেষণের জন্য অনুকূলিত। এটি খুব সুন্দরভাবে বসেছে এবং বড় ডেটা প্ল্যাটফর্মের খুব কাছে রয়েছে, আমাদের এটি বড় ডেটা প্ল্যাটফর্ম থেকে আলাদাভাবে স্কেল করতে দেয় to সুতরাং, আমরা লোকেদের এটি করতে দেখি যখন তারা ভ্যাম্পায়ার সফ্টওয়্যারগুলির মতো হডোপ ক্লাস্টারের প্রতিটি নোডে খায় এমন ভ্যাম্পায়ার সফ্টওয়্যার জাতীয় বৈশিষ্ট্যটি না চান। এবং তারা অবিচ্ছিন্নভাবে মেমরি বিশ্লেষণ ভারী উত্তোলন করার জন্য উপযুক্ত যে বড় ডেটা প্ল্যাটফর্মটি স্কেল করে না। সুতরাং, আপনার কাছে তাদের হাডোপ ক্লাস্টারের 120 টি নোড থাকতে পারে তবে তাদের 16 টি নোড বিশ্লেষণযোগ্য সার্ভার থাকতে পারে যা এই ধরণের কাজ করার জন্য ডিজাইন করা হয়েছে।
আমাদের এখনও ডেটা মেমোরিতে টানতে বড় ডেটা প্ল্যাটফর্ম থেকে সেই সমান্তরালতা বজায় রাখার অনুমতি দেওয়া হয়। সুতরাং, এটি হ্যাডোপ প্ল্যাটফর্ম সহ সত্যিই একটি ব্যবহার এসএএস। তারপরে একটি ভিন্ন অ্যাপয়েন্টমেন্টের মডেলটি বলতে হবে, ভাল, আমরা সেই পণ্য প্ল্যাটফর্মটিও ব্যবহার করতে পারি এবং এটিতে চাপ দিতে পারি - হ্যাডোপ প্ল্যাটফর্মগুলিতে অ্যানালিটিক্যাল এলএএসআর সার্ভারটি মূলত চালানো run সুতরাং, আমরা এখানেই আছি ... আপনি বড় ডেটা প্ল্যাটফর্মের অভ্যন্তরে কাজ করছেন। এটি আমাদের অন্যান্য সরঞ্জাম বিক্রেতাদের মধ্যেও। সুতরাং, আমাদের সেই পণ্যটি প্ল্যাটফর্মটি সেই কাজটি করার জন্য প্রয়োজনীয়ভাবে ব্যবহার করার অনুমতি দিয়েছে।
আমরা দেখতে পাই যে প্রায়শই উচ্চ-পারফরম্যান্স বিশ্লেষণের মতো জিনিস যেখানে এটি একক পরিবেশনকারী বা একক-ব্যবহারের ধরণের বিশ্লেষণাত্মক রান, আরও ধরণের ব্যাচ যেখানে আপনি যেখানে হন - আপনি অগত্যা হাদুপের স্মৃতি স্থানটি গ্রাস করতে চান না প্ল্যাটফর্ম। আমরা দুর্দান্ত ক্লাস্টার খেলছি কিনা তা নিশ্চিত করতে আমরা এই ধরণের মোতায়েনের মডেলটিতে অবশ্যই খুব নমনীয় definitely
ঠিক আছে, সুতরাং বিশ্লেষণী বিশ্বের এটি বিশ্লেষণমূলক অ্যাপ্লিকেশন দিয়ে কেবল পরিষ্কার হওয়া উচিত। তবে আমি উল্লেখ করেছি যে শুরুতে এসএএস হ'ল ডেটা ম্যানেজমেন্ট প্ল্যাটফর্মও। এবং এমন কিছু জিনিস রয়েছে যেখানে উপযুক্ত যেখানে প্ল্যাটফর্মটিতে লজিককে চাপ দেওয়া উপযুক্ত appropriate সুতরাং, বেশ কয়েকটি উপায় রয়েছে যা আমরা এটি করি। একটি হ'ল ডেটা ইন্টিগ্রেশন ওয়ার্ল্ডে, ডেটাতে ডেটা ট্রান্সফর্মেশন কাজ করা আমাদের আগে যেমন শুনেছি, এটিকে পিছনে টানতে বুদ্ধিমান হতে পারে না, যা ডেটা মানের রুটিনগুলি একটি বড় ’s আমরা অবশ্যই ডেটা মানের রুটিনের মতো জিনিসগুলিকে সেই প্ল্যাটফর্মের মধ্যে নামাতে চাই। এবং তারপরে, মডেল স্কোরিংয়ের মতো জিনিস। সুতরাং, আমি আমার মডেলটি বিকশিত করেছি। আমি সেই জিনিসটি মানচিত্রে পুনরায় লিখতে চাই না এবং আমার পক্ষে দেশীয় ডাটাবেস প্ল্যাটফর্মে কাজটি পুনরায় করতে অসুবিধাজনক এবং সময় সাপেক্ষ হতে চাই।
সুতরাং, উদাহরণস্বরূপ, যদি হ্যাডোপের জন্য আমাদের স্কোরিং এক্সিলারেটরটি লক্ষ্য করে তবে এটি আমাদের মূলত একটি মডেল নেবে এবং এসএএস গাণিতিক যুক্তিটিকে সেই হডোপ প্ল্যাটফর্মের মধ্যে নামিয়ে আনতে এবং সেখানে কার্যকর করার অনুমতি দেয়, সেই বড় ডেটা প্ল্যাটফর্মের অভ্যন্তরে সমান্তরালতাটি ব্যবহার করে। তারপরে হ্যাডোপ সহ বিভিন্ন প্ল্যাটফর্মগুলির জন্য আমাদের কোড এক্সিলারেটর রয়েছে এবং এটি আমাদের প্ল্যাটফর্মের অভ্যন্তরে এসএএস ডেটা স্টেপ কোডটি ব্যাপকভাবে সমান্তরাল উপায়ে চালাতে সহায়তা করে - সুতরাং, প্ল্যাটফর্মে ডেটা ট্রান্সফোরেশনের ধরণের কাজ করে। এবং তারপরে আমাদের এসএএস ডেটা মানের ত্বরণ যা আমাদের সেখানে একটি মানের জ্ঞান বেস থাকতে দেয় যা লিঙ্গ মেলানো, মানককরণের ম্যাচ কোডের মতো জিনিসগুলি করতে পারে - আপনি আজ ইতিমধ্যে শুনেছেন এমন সমস্ত ভিন্ন মানের মানের জিনিস।
এবং তারপরে, শেষ টুকরো, সেখানে ডেটা লোডার রয়েছে। আমরা জানি যে আমাদের ব্যবসায়িক ব্যবহারকারীরা কোড লিখতে হবে না, এই বড় ডেটা প্ল্যাটফর্মে ডেটা ট্রান্সফরমেশন কাজ করতে সক্ষম হবেন। ডেটা লোডার একটি দুর্দান্ত WYSIWYG জিইউআই যা আমাদের সেই সমস্ত প্রযুক্তিগুলি একসাথে গুটিয়ে রাখতে সহায়তা করে। এটি ওয়াক-থ্রো উইজার্ডের মতো, বলা, কোনও মাতাল কোয়েরি চালানো বা ডেটা মানের রুটিন চালানো এবং সেই ক্ষেত্রে কোডটি লেখার দরকার নেই।
আমি শেষ কথাটি উল্লেখ করব এটি হ'ল সামনের অংশ। আমাদের রয়েছে - যেমনটি আমি আগেই বলেছি - বিশ্বে সেখানে প্রচুর এসএএস ফুট foot এবং এটি, আমরা অবিলম্বে এই স্পেসে থাকার জন্য যে সমস্ত প্ল্যাটফর্মগুলি উপস্থিত রয়েছে কেবলমাত্র তা করতে পারি না। সুতরাং, আমাদের স্পষ্টতই ব্যবহারকারীদের একটি বিদ্যমান পা রয়েছে যা এই বড় ডেটা প্ল্যাটফর্মে যেমন ডেটা টেরাদাতা থেকে বের করে ডেটা ফিরিয়ে আনা এবং এটি হ্যাডোপে পুনরায় স্থাপন করা দরকার, এবং তদ্বিপরীত প্রয়োজন get মডেলগুলি চালানো আমি ইতিমধ্যে আমার এসএএস সার্ভারগুলিতে কীভাবে চালনা করব তা জানতে পেরেছি, তবে আমার একটি ডেটা পাওয়া দরকার যা এখন হ্যাডোপ প্ল্যাটফর্মে রাখা হচ্ছে। সুতরাং, সেখানে এই "আর্ট" নামে একটি ছোট আইকন রয়েছে এবং এটি আমাদের এসএএস অ্যাক্সেস ইঞ্জিনগুলি ব্যবহার করে - পোলাওয়ের হাদুপ থেকে ক্লৌডেরার, তেরেডাটা, গ্রিনপ্লাম থেকে… পর্যন্ত তালিকাতে অ্যাক্সেস ইঞ্জিনগুলি ব্যবহার করার অনুমতি দেয়। এটি আমাদের বিদ্যমান পরিপক্ক এসএএস প্ল্যাটফর্মগুলি ব্যবহার করতে সহায়তা করে যা এই প্ল্যাটফর্মগুলি থেকে ডেটা পেতে ইতিমধ্যে রয়েছে, আমাদের যে কাজটি করা দরকার তা করতে পারেন, ফলাফলগুলিকে এই অঞ্চলে ফিরিয়ে আনুন।
আমি শেষ কথাটি উল্লেখ করব তা হ'ল আপনি যে প্রযুক্তিগুলি দেখেন সেগুলি সমস্ত একই মানক সাধারণ মেটাটাটা দ্বারা নিয়ন্ত্রিত। সুতরাং, আমরা রূপান্তর কাজ পাওয়ার বিষয়ে কথা বলি, ডেটা কোয়ালিটির নিয়ম কাজ করে, এটিকে বিশ্লেষণ করতে সক্ষম হতে মেমরিতে স্থানান্তরিত করে, স্কোরিংয়ে মডেল বিকাশ করি। আমরা আজকের পূর্বের যে সমস্ত বিষয় নিয়ে কথা বলেছিলাম, সমস্ত সাধারণ বিশিষ্ট জীবনধারা, সাধারণ মেটাডেটা দ্বারা পরিচালিত জীবনচক্রটি পেয়েছি by
সুতরাং, কেবল একটি পুনরুদ্ধার, সত্যিই সেখানে তিনটি বড় জিনিস নিতে হবে। একটি হ'ল আমরা ডেটা প্ল্যাটফর্মটিকে অন্য যে কোনও ডেটা উত্সের মতোই চিকিত্সা করতে পারি, এটি থেকে যথাযথ এবং সুবিধাজনক হলে তাদের দিকে টান। আমরা সেই বড় ডেটা প্ল্যাটফর্মগুলির সাথে কাজ করতে পারি, মেমরি প্ল্যাটফর্মে একটি উদ্দেশ্য-নির্মিত উন্নত বিশ্লেষকগুলিতে ডেটা তালিকাবদ্ধ করি। সুতরাং, এটি LASR সার্ভার।
এবং তারপরে, সর্বশেষে, আমরা সেইসব বড় ডেটা প্ল্যাটফর্মগুলিতে সরাসরি কাজ করতে পারি, ডেটা ঘুরিয়ে না নিয়ে তাদের বিতরণ প্রক্রিয়াজাতকরণের দক্ষতা বাড়িয়ে তুলি।
এরিক: হ্যাঁ, এটি দুর্দান্ত জিনিস f হ্যাঁ, এই দুর্দান্ত! সুতরাং, আসুন কিছু প্রশ্নের ডুব দেই। আমরা সাধারণত এই ইভেন্টগুলিতে প্রায় 70 মিনিট বা খানিকটা বেশি সময় নিয়ে যাই। সুতরাং, আমি দেখতে পাচ্ছি যে আমাদের এখনও সেখানে দুর্দান্ত দর্শক বসে আছে। জর্জ, আমি অনুমান করি যে আমি আমাদের প্রথম প্রশ্নটি আপনার কাছে ফেলে দেব। যদি আপনি আপনার বাইনারি শব্দটিকে হাদোপকে ঠেলে দেওয়ার বিষয়ে কথা বলেন তবে আমি মনে করি যে আপনি আমার কাছে সত্যিই কম্পিউটেশনাল কর্মপ্রবাহকে অনুকূলিত করেছেন like এবং এই জাতীয় রিয়েল-টাইম ডেটা পরিচালনা, ডেটা মানের শৈলীর সাফল্য এই ধরণের করতে সক্ষম হওয়ার জন্য পুরো কী এটি সঠিক কারণ আপনি যে মূল্য পেতে চান তা তাই? আপনি যদি MDM- র পুরানো জগতে ফিরে যেতে না চান যেখানে এটি খুব জটিল এবং এটি অত্যন্ত সময়সাপেক্ষ এবং আপনার সত্যিই লোকদের কিছু নির্দিষ্ট উপায়ে কাজ করতে বাধ্য করতে হবে, যা প্রায়শই কার্যকর হয় না। এবং তাই, আপনি যা করেছেন তা হ'ল আপনি যা করেছিলেন তার চক্রকে ঘনীভূত করেছিলেন। আসুন একে কল করুন দিন, সপ্তাহ, কখনও কখনও কয়েক মাস এমনকি কয়েক সেকেন্ডও, ডান? এটি কি চলছে?
জর্জ: এটি ঠিক ঠিক, কারণ আমরা যে স্কেলটি পেয়েছি এবং একটি ক্লাস্টারের বাইরে আমরা যে পারফরম্যান্স পেয়েছি তা সত্যিই বিস্ময়কর, কেবলমাত্র আপনি জানেন, আমি বেনমার্ক সম্পর্কে সর্বদা কিছুটা দ্বিধা বোধ করি। তবে কেবল মাত্রার অর্ডারের জন্য, যখন আমরা এক বিলিয়ন, ১.২ বিলিয়ন রেকর্ড চালাব এবং একটি সম্পূর্ণ ঠিকানা মানীকরণ করব - আমি বলছি মিড-রেঞ্জের এইচপি মেশিন - এটি গ্রহণ করবে, যেমন আপনি জানেন, আটটি প্রসেসর মেশিন, আপনি জানেন , প্রতি কোর 2 গিগ র্যাম, আপনি জানেন, এটি চালাতে 20 ঘন্টা সময় লাগবে। আমরা এখন প্রায় আট মিনিটের মধ্যে এটি করতে পারি, আপনি জানেন, 12-নোড ক্লাস্টার। এবং সুতরাং, প্রসেসিংয়ের স্কেল যা আমরা এখন করতে পারি তা এত নাটকীয়ভাবে পৃথক - এবং এটি আপনার ধারণা অনুযায়ী এই সমস্ত ডেটা রয়েছে এই ধারণার সাথে এটি খুব সুন্দরভাবে চলে। সুতরাং, প্রক্রিয়াজাতকরণ করা ঝুঁকিপূর্ণ নয়। যদি আপনি এটি ভুল করে থাকেন তবে আপনি এটি আবারও করতে পারেন। আপনি সময় পেয়েছেন, আপনি জানেন। এটি এমডিএম সমাধানগুলি পরিচালনা করার চেষ্টা করার সময় এই প্রকৃতির স্কেলটি সত্যই যেখানে পরিবর্তিত হয়েছিল, এই ধরণের ঝুঁকিগুলি সত্যই ব্যবসায়ের সমস্যা হয়ে দাঁড়িয়েছে। আপনার কাছে 30 জন লোক অফশোর উপাত্তে ডেটা পরিচালনা এবং সমস্ত কিছু করতে হবে। এবং তাই, আপনার এখনও এর কিছু থাকতে হবে তবে আপনি যে গতি এবং স্কেলটি এখন এটি প্রক্রিয়া করতে পারবেন তা আপনাকে অনেক বেশি শ্বাসকষ্ট দেয়।
এরিক: হ্যাঁ, এটি সত্যই, সত্যই একটি ভাল পয়েন্ট। আমি মন্তব্য মন্তব্য পছন্দ। সুতরাং, আপনার এটি আবার পুনরায় করার সময় আছে। সেটা অসাধারণ ছিল.
জর্জ: হ্যাঁ।
এরিক: আচ্ছা, এটা গতি পরিবর্তন করে, তাই না? আপনি কী চেষ্টা করতে যাচ্ছেন সে সম্পর্কে আপনি কীভাবে চিন্তা করেন তা পরিবর্তিত হয়। আমি বলতে চাইছি, 18 বছর আগে বিশেষ এফেক্টগুলি করার শিল্পে এটি আমার মনে আছে, কারণ আমার একটি ক্লায়েন্ট ছিল that জায়গাতে was এবং আপনি এটি বোতামটি রেন্ডার করতে চাপ দিন এবং আপনি বাড়িতে চলে যাবেন। এবং আপনি ফিরে এসেছেন, শনিবার বিকেলে, কীভাবে চলছে তা দেখার জন্য। তবে আপনি যদি ভুলটি পেয়ে থাকেন তবে তা খুব, খুব, খুব বেদনাদায়ক। এবং এখন, এটি প্রায় নয় - এটি এমনকি বেদনাদায়ক হওয়ার কাছাকাছিও নয় তাই আপনার আরও জিনিস চেষ্টা করার সুযোগ রয়েছে। আমাকে বলতে হবে, আমি মনে করি এটি একটি সত্যই, সত্যই ভাল পয়েন্ট।
জর্জ: ঠিক ঠিক আছে। হ্যাঁ, এবং আপনি আপনার অতিরিক্ত পা উড়িয়ে দিন। আপনি জানেন, আপনি পুরানো দিনগুলিতে একটি কাজের মধ্য দিয়ে অর্ধেক পথ পাবেন এবং এটি ব্যর্থ হয়, আপনি আপনার এসওএস ফুটিয়ে তুলেছেন। এটাই.
এরিক: ঠিক এবং আপনি বড় সমস্যায় পড়েছেন, হ্যাঁ। সেটা ঠিক.
জর্জ: ঠিক আছে। সেটা ঠিক.
এরিক: কিথ, আমাকে আপনার কাছে ফেলে দিন। আমি মনে করি আপনার সিআইএল, কীথ কলিন্সের সাথে একটি সাক্ষাত্কার রেখেছিলাম, আমি বিশ্বাস করি, ফিরে আসব, আমি মনে করি, সম্ভবত 2011 2011 এবং এসএএস থেকে প্রাপ্ত বিশ্লেষণকে অপারেশনাল সিস্টেমে এম্বেড করার জন্য গ্রাহকদের সাথে কাজ করার ক্ষেত্রে বিশেষত এস.এ.এস. যে দিকনির্দেশনা নিয়েছিল সে সম্পর্কে তিনি বড় কথা বলেছেন। এবং অবশ্যই, আমরা মাইক ফার্গুসনকে মনে রাখার গুরুত্ব সম্পর্কে কথাটি শুনেছি। এখানে পুরো ধারণাটি হ'ল আপনি নিজের কাজগুলিতে এই স্টাফটি বেঁধে রাখতে সক্ষম হতে চান। আপনি এন্টারপ্রাইজ থেকে সংযোগ বিচ্ছিন্ন শূন্যে বিশ্লেষণ চান না। এটি কোন মূল্য নেই।
আপনি যদি এমন বিশ্লেষণ চান যা কার্যকরভাবে প্রভাব ফেলতে পারে এবং অপারেশনগুলি অনুকূল করতে পারে। এবং যদি আমি পিছনে ফিরে দেখি - এবং আমাকে বলতে হবে, আমি ভেবেছিলাম এটি তখন একটি ভাল ধারণা - এটি পূর্ববর্তী ক্ষেত্রে সত্যই, সত্যই স্মার্ট ধারণা বলে মনে হয়। এবং আমি অনুমান করছি, এটি আপনার ছেলেদের কাছে আসল সুবিধা। এবং অবশ্যই, এই দুর্দান্ত উত্তরাধিকার, এই বিশাল ইনস্টল বেস এবং আপনি এই বিশ্লেষণকে অপারেশনাল সিস্টেমে এম্বেড করার উপর দৃষ্টি নিবদ্ধ রেখেছেন, যার অর্থ এখন - এবং মঞ্জুর হয়েছে, এটি কিছুটা কাজ করবে - আমি নিশ্চিত আপনি ' এটি বেশ কঠোরভাবে কাজ করা হয়েছে। তবে এখন, আপনি এই নতুন উদ্ভাবনের সমস্তটি কাজে লাগাতে পারেন এবং আপনার গ্রাহকদের সাথে সমস্ত স্টাফ চালু করতে সক্ষম হওয়ার দিক থেকে সত্যই রয়েছেন। এটা কি ন্যায্য মূল্যায়ন?
কিথ: হ্যাঁ, একেবারে ধারণাটি হ'ল, আপনি সিদ্ধান্তের নকশা বা সিদ্ধান্ত বিজ্ঞানের এই ধারণাটি পান যা আপনি জানেন যে কিছুটা অনুসন্ধানী, বিজ্ঞান-ওয়াই জাতীয় জিনিস to আপনি প্রকৃতিকে প্রক্রিয়াটিতে প্রকৌশল না করতে পারলে ... যদি আপনি কোনও গাড়ি বিকাশের বিষয়ে চিন্তা করেন, আপনি এমন ডিজাইনার পেয়েছেন যা এই সুন্দর গাড়িটি তৈরি করে, তবে ইঞ্জিনিয়াররা সেই পরিকল্পনাটি স্থাপন না করে এবং আপনার সামনে একটি আসল কার্যকর পণ্য তৈরি না করা অবধি এটি নয় isn't জিনিসগুলি আসলে জায়গায় রাখতে পারে এবং এটি এসএএস যা করেছে তা মূলত। এটি সিদ্ধান্তগুলি - ইঞ্জিনিয়ারিং প্রক্রিয়াটির সাথে সিদ্ধান্তের নকশা প্রক্রিয়াটিকে একত্রে একীভূত করে তুলেছে, যাতে আপনি যখন ত্বরণকারীদের সম্পর্কে, বিশেষত স্কোরিং ত্বরণকারীদের নিয়ে কথা বলবেন, আপনি জানেন, আপনি যদি এমন একটি মডেল নিয়ে থাকেন যা আপনি বিকাশ করেছেন এবং এটি এগিয়ে নিতে সক্ষম হন টেরাদাতাতে, বা মডেল স্থাপনার শূন্য ডাউনটাইম সহ ওরাকল বা হ্যাডোপকে এড়িয়ে যান model এটি কী, কারণ মডেলগুলি সময়ের সাথে সাথে এই মডেলগুলির যথার্থতা হ্রাস করে। সুতরাং, এটি নিতে এবং এটি উত্পাদন করতে আপনার যত বেশি সময় লাগবে, এটিই মডেলের যথার্থতা ক্ষতি loss
এবং তারপরে, অন্য অংশটি হ'ল আপনি সময়ের সাথে সাথে সেই প্রক্রিয়াটি নিরীক্ষণ ও পরিচালনা করতে সক্ষম হতে চান। আপনি যখন মডেলগুলি পুরানো এবং ত্রুটিযুক্ত হয়ে যান তখন আপনি তাকে হ্রাস করতে চান। আপনি এটি দেখতে চান, সময়ের সাথে সাথে তাদের যথার্থতা পরীক্ষা করে পুনরায় তৈরি করতে চান want এবং তাই, আমাদের কাছে এমন মডেল ম্যানেজমেন্ট সরঞ্জাম পাওয়া গেছে যা সর্বোপরি বসে থাকে যা মডেলিং প্রক্রিয়াটির চারপাশে সত্যই মেটাডেটা ট্র্যাক করে। এবং লোকেরা বলেছে যে মডেলিং, আপনি জানেন, এই ধরণের ধারণাটি একটি মডেল কারখানার মতো বা আপনি যা কিছু কল করতে চান তা। বিষয়টি হ'ল এটি মেটাটাটা এবং পরিচালনা প্রক্রিয়াজাতকরণ করছে এবং এটিই আমরা তিনটি বড় জিনিসকে আঘাত করি - আমরা লোকজনকে অর্থোপার্জন, অর্থোপার্জন এবং জেল থেকে দূরে রাখতে সহায়তা করি।
এরিক: শেষটিও বেশ বড় is আমি সব এড়াতে চাই। তো, চলুন ...আমি একটি চূড়ান্ত প্রশ্ন দিচ্ছি, সম্ভবত আপনি প্রত্যেকেই এ জন্য উভয় ধরণের লাফ দিতে পারেন। আমাদের বিশ্বের বৈচিত্র্য কেবল বৃদ্ধি পাবে, এটি আমার কাছে মনে হয়। আমি মনে করি আমরা অবশ্যই হাইব্রিড মেঘের পরিবেশের আশেপাশে কিছু স্ফটিক দেখতে পাচ্ছি। তবে তা সত্ত্বেও, আপনি প্রচুর বড় বড় খেলোয়াড়কে ঘুরে দেখছেন। আইবিএম কোথাও যাচ্ছে না। ওরাকল কোথাও যাচ্ছে না। স্যাপ কোথাও যাচ্ছে না। এবং আরও অনেক বিক্রেতারাই এই গেমের সাথে জড়িত।
এছাড়াও, অপারেশনাল পক্ষ থেকে, যেখানে আপনি আক্ষরিক হাজার এবং হাজার হাজার বিভিন্ন ধরণের অ্যাপ্লিকেশন পেয়েছেন। এবং আমি শুনেছি - আপনারা বেশিরভাগই এটি সম্পর্কে কথা বলেন তবে আমি মনে করি আপনি উভয়ই আমি যা বলছি তার সাথে একমত হবেন। বিশ্লেষণাত্মক ইঞ্জিন, আর্কিটেকচারে কেবল গণনা শক্তির পদে আমরা এখন এই প্রবণতাটি দেখেছি। সংস্থাগুলি বছরের পর বছর ধরে সেখানে অন্যান্য ইঞ্জিনগুলিতে আলতো চাপতে এবং একধরনের অর্কেস্ট্রেশন পয়েন্ট পরিবেশন করার বিষয়ে কথা বলছে। এবং আমার ধারণা, জর্জ, আমি আপনাকে প্রথমে এটি ফেলে দেব। আমার কাছে মনে হচ্ছে এটি এমন কিছু যা পরিবর্তিত হবে না। আমরা এই ভিন্নধর্মী পরিবেশে যাচ্ছি যার অর্থ এখানে রিয়েল-টাইম সিআরএম এবং ডেটা গুণমান এবং ডেটা প্রশাসনের মতো স্টাফ রয়েছে। এই সমস্ত বিভিন্ন সরঞ্জামের সাথে ইন্টারফেস করার জন্য আপনার একজন বিক্রেতার হিসাবে প্রয়োজন হবে। এবং গ্রাহকরা এটাই চান। তারা এমন কিছু চাইবে না যা এই সরঞ্জামগুলির সাথে ঠিক আছে এবং সেই সরঞ্জামগুলির সাথে ঠিক আছে না। তারা এমডিএম এবং সিআরএমের সুইজারল্যান্ড চাইবে, তাই না?
জর্জ: ঠিক আছে। এবং এটি আকর্ষণীয়, কারণ আমরা এটি অনেকটা গ্রহণ করেছি। এর একটি অংশটি আমাদের মহাকাশে থাকা ইতিহাস। এবং স্পষ্টতই, আমরা ইতিমধ্যে অন্যান্য সমস্ত ডাটাবেস, তেরদাতাস এবং বিশ্বের টুকরাগুলিতে কাজ করছিলাম। এবং তারপরে, বাস্তবায়ন প্রক্রিয়াতে, বিশেষভাবে আমরা যেমনটি করেছি, ঠিক তেমনভাবে তৈরি করেছি - এই সমস্ত বিভিন্ন ডাটাবেস জুড়ে আপনার স্প্যান রয়েছে। আমি আকর্ষণীয় জিনিসগুলির মধ্যে একটি হ'ল, আমাদের কাছে এমন কিছু ক্লায়েন্ট রয়েছে যা সমস্ত রিলেশনাল ডেটাবেসগুলি সরিয়ে নেওয়ার জন্য কেবল নরক-বাঁকানো। এবং এটি আকর্ষণীয়। তুমি জানো, আমি বলতে চাইছি, এটা ঠিক আছে। এটা মজার. তবে আমি কেবল এটি বড় এন্টারপ্রাইজ স্কেলে আসলেই দেখছি না। আমি এটি দীর্ঘদিন ধরে ঘটতে দেখছি না। সুতরাং, আমি মনে করি হাইব্রিডটি এখানে একটি দীর্ঘ দীর্ঘ সময় এবং আমাদের আবেদনের অন্যদিকে রয়েছে যেখানে আমাদের প্রচার প্রচারণার প্ল্যাটফর্মটিতে আমাদের মেসেজিং প্ল্যাটফর্ম রয়েছে। আমরা আসলে এটি নির্দিষ্টভাবে ডিজাইন করেছি। এখন, আমরা একটি সংস্করণ প্রকাশ করেছি যা এটি করে এবং এটি হাইব্রিড ডেটা এনভায়রনমেন্টের সাথে সংযোগ স্থাপন করতে এবং হ্যাডোপকে জিজ্ঞাসা করতে পারে বা কোনও ডাটাবেস, যেকোন বিশ্লেষণী ডাটাবেসকে জিজ্ঞাসা করতে পারে। সুতরাং, আমি মনে করি এটি কেবল ভবিষ্যতের তরঙ্গ। এবং আমি সম্মত হই যে ভার্চুয়ালাইজেশন অবশ্যই এতে একটি বড় ভূমিকা পালন করবে, তবে আমরা কেবল - আমাদের সমস্ত অ্যাপ্লিকেশনগুলির ডেটা থেকে বেরিয়ে যাচ্ছি।
এরিক: ঠিক আছে, দুর্দান্ত এবং, কিথ, আমি এটি আপনার হাতে ফেলে দেব। বিভিন্ন ধরণের পা হিসাবে অভিনয় করার জন্য আমরা যে ভিন্ন ভিন্ন জগতের মুখোমুখি হয়েছি সে সম্পর্কে আপনার কী ধারণা?
কিথ: হ্যাঁ, এটি সত্যই আকর্ষণীয়। আমি মনে করি, আমরা আরও কী সন্ধান করি - কেবলমাত্র তথ্যের ডেটা ম্যানেজমেন্টের দিক থেকে নয় - তবে এখনই যা সত্যই আকর্ষণীয় তা হ'ল বিশ্লেষণ ভিত্তির মুক্ত-উত্স প্রকৃতি। সুতরাং, আমরা স্পার্কের মতো প্রযুক্তি বোর্ডে আসা এবং পাইথন এবং আর এবং এই সমস্ত ওপেন সোর্স প্রযুক্তি ব্যবহার করে এমন লোকেরা দেখতে পাই। আমি মনে করি এটির সংঘাত বা কিছুটা হুমকি হিসাবে ব্যাখ্যা করা যেতে পারে। তবে বাস্তবতাটি হ'ল, আমাদের সেই সমস্ত ওপেন সোর্স প্রযুক্তির সাথে কিছু সত্যিই দুর্দান্ত অভিনন্দন রয়েছে। আমি বোঝাতে চাইছি, একটির জন্য আমরা খোদার উত্সের জন্য ওপেন সোর্স প্ল্যাটফর্মগুলির শীর্ষে কাজ করছি।
তবে এছাড়াও, উদাহরণস্বরূপ, সংহত করতে সক্ষম হওয়ার মতো, কোনও এসএএস দৃষ্টান্তের মধ্যে একটি আর মডেল আপনাকে উভয় বিশ্বের সেরা ব্যবহার করতে দেয়, তাই না? লাইক, সুতরাং আমরা জানি যে একাডেমিক জগতের কিছু পরীক্ষামূলক জিনিস এবং কিছু মডেল বিকাশের কাজ মডেল বিকাশের প্রক্রিয়াটিতে অসাধারণ এবং সুপার সহায়ক। এছাড়াও, যদি আপনি এটি একটি উত্পাদন শ্রেণীর ধরণের সরঞ্জামের সাথে জুড়তে পারেন তবে এটি অনেকগুলি ক্লিনিজিং এবং গুণমান এবং পরীক্ষণ করে এবং মডেলকে দেওয়া ডেটাটি নিশ্চিত করে তোলে তা সঠিকভাবে প্রিপেইড হয়েছে তাই এটি ব্যর্থ হয় না doesn't কার্যকর করা এবং তারপরে, ওপেন সোর্স মডেলগুলির সাথে চ্যাম্পিয়ন চ্যালেঞ্জার মডেলগুলির মতো কাজ করতে সক্ষম হচ্ছেন। এগুলি সেই বিষয়গুলি যা আমরা সক্ষম করতে সন্ধান করছি এবং এই সমস্ত প্রযুক্তির সত্যই ভিন্নজাতীয় বাস্তুতন্ত্রের অংশ হিসাবে। হ্যাঁ, সুতরাং এটি আরও বেশি - আমাদের জন্য, এই প্রযুক্তিগুলি আলিঙ্গন করা এবং প্রশংসা সন্ধানের বিষয়ে আরও বেশি।
এরিক: ভাল, এটি দুর্দান্ত জিনিস হয়েছে, ভাবেন। আমরা এখানে কিছুটা দীর্ঘ গেলাম, তবে আমরা যতটা সম্ভব প্রশ্ন পেতে চাই। আমরা প্রশ্নোত্তর ফাইলটি আজ আমাদের উপস্থাপকদের কাছে ফরোয়ার্ড করব। সুতরাং, আপনার জিজ্ঞাসিত কোনও প্রশ্নের যদি উত্তর না দেওয়া হয়, আমরা তা নিশ্চিত হয়ে যাব যে এটি উত্তর পেয়েছে। এবং লোকেরা, এটি 2014 এর জন্য এটি গুটিয়ে রাখে tomorrow আগামীকাল এবং পরের সপ্তাহে ডিএম রেডিওতে সত্যই আপনার এবং তারপর এটি শেষ হয়ে গেছে এবং এটি ছুটির বিরতি holiday
আপনার সমস্ত সময় এবং মনোযোগের জন্য আপনাকে ধন্যবাদ, এই দুর্দান্ত ওয়েবকাস্টগুলি জুড়ে থাকার জন্য। আমরা 2015 সালের জন্য এক দুর্দান্ত বছর কাটিয়েছি ol এবং শিষ্যরা, আমরা শীঘ্রই আপনার সাথে কথা বলব। আবার ধন্যবাদ. আচ্ছা, নিজের যত্ন নিও. বাই-বাই।