SQL على Hadoop - خارطة طريق جديدة

A+ A-

Hadoop هي واحدة من أدوات معالجة البيانات الكبيرة الأكثر نفوذا في العالم. فهو سريع للغاية وقوية. ومع ذلك، يمكن إجراء أدائها أفضل حتى مع مساعدة من SQL على Hadoop.

SQL على Hadoop عبارة عن مجموعة من الأدوات التي يمكن تبسيط تجربة Hadoop الخاص بك عن طريق الجمع بين ذلك مع قاعدة البيانات وتجهيز SQL مثل. ويمكن اعتبار هذا بمثابة اختراق في تاريخ إدارة البيانات الكبيرة، كما أنها تتيح المزيد من المستخدمين للتفاعل مع واجهة Hadoop من خلال أوامر SQL سهلة.

كما يسمح سهلة المعالجة من قطع كبيرة من البيانات مع مساعدة من قواعد البيانات SQL. مما يجعل من السهل بالنسبة للأشخاص الذين يستخدمون لغات الاستعلام والذين يريدون قوية إطار تحليلات مثل Hadoop. هذه الأداة يمكن بالتالي، تساعد المستخدم لحفظ رأس المال النفيس على تدريب العاملين في وسائل Hadoop.

SQL-hadoop

ما هي SQL على Hadoop؟

SQL على Hadoop هو مجموعة التطبيقات التي يمكن أن تتيح استخدام أوامر SQL في Hadoop لتقييم ومعالجة البيانات الكبيرة. مع وصولها، فقد أحدث ثورة في عالم المعلوماتية كبير على إطار Hadoop وتجهيزها، والاستعلام عن البيانات وتحليلها هو الآن أسهل بكثير. لSQL الاستعلام، فإن المرء بحاجة للحصول على الكثير من العمل المنجز، وتحديدا خريطة-تقليل ميزة و(نظام الملفات الموزعة Hadoop) HDFS الميزات.

مستودع بيانات الخلية هي واحدة من أولى التطبيقات التي تم المبذولة لإدماج SQL مع Hadoop. تم تصميم HiveQL، واحدة من تطبيقاته، وتحديدا لتحويل المدخلات لغة الاستعلام إلى تعليمات مابريديوس.

بعض أمثلة أخرى لمثل هذه التطبيقات هي حفر أباتشي، ستينغر، Hawq، إمبالا، اباتشي سبارك، آلة لصق، H-SQL، BigSQL، JethroData، المعزوفة، Polybase، Hadapt، تيز (دمج خلية وتيز) والقرش (التكامل من خلية وسبارك).

SQL على Hadoop: كيف وظيفة؟

أدوات SQL على العمل Hadoop في هذه الطريقة:

  • أولا، يتم تحويل الأمر نوع SQL- تعطى من قبل المستخدم إلى تعليمات مابريديوس قراءة بمساعدة من وصلات مختلفة من Hadoop. بعض من هذه الروابط هي 'خادم SQL Hadoop مايكروسوفت موصل'، 'أوراكل موصل SQL لHadoop "... إلخ. وهذا يجعل الأمر أكثر التأويل ومتوافقة مع إطار Hadoop.
  • بعد الترجمة الناجحة، تتم معالجة أمر SQL معينة من قبل المستخدم مثل أي أمر آخر مابريديوس بمساعدة أنظمة الدفع إلى أسفل من Hadoop.
  • وتنقسم الاستعلامات عبر عدد من محطات العمل لمعالجة أسرع وأكثر دقة مع Hadoop وظيفة HDFS، أو نظام الملفات الموزعة Hadoop. ويتم توزيع هذه البيانات إلى آلات مختلفة وفقا لقدراتها وحجم العمل الحالي الخاص بهم.

الاستعلام SQL من قبل المستخدم لا يزال هو نفسه، Hadoop يترجم الأمر الاستعلام إلى لغة التي يمكن تفسيرها بسهولة ومعالجتها.

لماذا استخدام SQL على Hadoop؟

ويمكن اعتبار SQL على Hadoop بمثابة ثورة في مجال معالجة البيانات الكبيرة. هذا التكامل الذكي يمكن أن تسمح المزيد والمزيد من المستخدمين لاستخدام نظام Hadoop لمعالجة البيانات بشكل أسرع كبير.

Hadoop هي واحدة من أفضل تطبيقات معالجة البيانات الكبيرة المتاحة في العالم. ولكن المشكلة الرئيسية مع Hadoop هو أن لديها منحنى التعلم الصعب بشكل محبط، لذلك الكثير من رأس المال يجب أن تنفق على تدريب العاملين على استخدامها. أيضا، كان لديه التوافق محدود مع SQL وغيرها من المنصات. لذلك، SQL على Hadoop يساعد على حل جميع هذه المشاكل مع Hadoop، وجعلها متاحة للمستخدمين أكثر وأكثر.

Hadoop هو أسهل للاستخدام مع SQL على Hadoop

مع ظهور SQL على Hadoop، والإطار الأولي من Hadoop أصبحت أكثر شعبية مما كان عليه في السابق. Hadoop وأصبحت أكثر وأكثر مقيد. في وقت سابق، فإن المرء بحاجة إلى معرفة واسعة في مناطق مختلفة من إطار Hadoop مثل HDFS، HBase أو ميزة مابريديوس، للاستفادة من Hadoop بشكل صحيح. ولكن الآن، مع مساعدة من SQL على Hadoop، يحتاج المستخدم فقط لمعرفة SQL. مع مساعدة من SQL على Hadoop، وقد تم القضاء على العديد من القضايا التوافق مثل اتصال قاعدة البيانات، وتوليد استعلام معقد، والأداء، وزمن الاستجابة الخ.

معالجة البيانات الكبيرة في Hadoop

الآن، فإن المستخدم لا يحتاج إلى معرفة كل شيء عن إطار Hadoop من أجل استخدامها، وهناك حاجة فقط عدد قليل من فروع المعرفة في مجال SQL والعمل على انجاحه. يتم تحويلها حتى SQL بسيط لتخزين البيانات إلى معالج بيانات قوية. Hadoop فقط يترجم استعلامات SQL في شكل مقروء الخاصة بها ويعالجها بشكل طبيعي. أيضا، يتم دمج العديد من العناصر التي يصعب جدا العمل بشكل طبيعي مع SQL لتسهيل عملية. ومن الأمثلة على هذا العنصر هو HDFS، الأمر الذي يتطلب في الواقع العلماء بيانات خبير لإتمام هذه العملية. ومع ذلك، فقد أصبح الآن أسهل وأسرع بكثير.

عيوب SQL على Hadoop

على الرغم من أنه هو SQL على Hadoop التي يمكن أن تحل العديد من المشاكل، وكثير من الناس يعتقدون أيضا أنه سوف تخلق المزيد من المشاكل. يعتبر SQL ببساطة جدا من قبل الكثيرين وليس بالقوة الكافية لتكون متكاملة مع Hadoop. هذا هو في المقام الأول لأن SQL ينفذ ببطء شديد عندما يتم وضع كمية كبيرة من البيانات الموجودة عليها. ويعتبر البعض هذا التكامل على أنها مضيعة للوقت والمال على حد سواء. وهم يعتقدون أن Hadoop يجب أن تكون متكاملة مع أدوات أكثر الكبيرة معالجة البيانات الموجهة مثل أدوات جافا وبيثون القائم.

استنتاج

لا يزال هناك الكثير من النقاش حول موضوع التكامل بين SQL وHadoop. ومع ذلك، فمن الواضح أن Hadoop لديها قدرات الاستعلام محدودة جدا ويحتاج الى شيء لتعزيز هذا الجانب. لذلك، فإن معظم مؤسسات في اختيار SQL على Hadoop، كما هو أقرب يمكن للمرء الحصول على تحقيق ذلك.

Ads

شارك

الأخيرة

أفضل البدائل أوبونتو للبحث عن إذا كنت لينكس العشاق

دعونا نبدأ عن طريق الحصول على دراية شيء. الأساسية ولكن قليل...

كيفية إضافة التوقيع في علبة بريد جوجل - إضافة التوقيع جوجل في Gmail

وكان صندوق البريد الوارد من قبل جوجل واحدة من أفضل الأمور ق...

أسبوعية أخبار تكنولوجيا المعلومات: نوكيا وغوغل ونينتندو

مرحبا بالجميع، انها الجمعة 3 مارس وتماما مثل دائما نعود مع ...

مشاريع بي التوت للمبتدئين - ماذا يمكن أن تفعل مع التوت بي

التوت بي هو عبارة عن سلسلة من الطاقة المنخفضة، وأجهزة الكمب...

أفضل VPN لالروبوت 2017 - كيفية استخدام VPN في الروبوت

لقد ولت الأيام التي كانت فيها الشبكات الخاصة الإفتراضية فقط...

تعليقات