في هذا الدليل، سنأخذك خطوة بخطوة خلال عملية إنشاء أول Kafka ClickPipe.يمكن Deploy لـ Kafka ClickPipes وإدارتها يدويًا باستخدام ClickPipes UI، أو برمجيًا باستخدام OpenAPI وTerraform.
1
انتقل إلى مصادر البيانات
اختر زرData Sources من القائمة الجانبية اليسرى، ثم انقر على “Set up a ClickPipe”.2
اختر مصدر البيانات
اختر مصدر بيانات Kafka من القائمة.3
إعداد مصدر البيانات
املأ النموذج بإدخال اسم لـ ClickPipe، ووصف (اختياري)، وبيانات الاعتماد، وتفاصيل الاتصال الأخرى.4
تهيئة schema registry (اختياري)
يلزم وجود schema صالح لموضوعات Avro وProtobuf. راجع Schema registries لمزيد من التفاصيل حول كيفية تهيئة schema registry.5
تكوين Reverse Private Endpoint (اختياري)
قم بتكوين Reverse Private Endpoint للسماح لـ ClickPipes بالاتصال بعنقود Kafka لديك عبر AWS PrivateLink. راجع وثائق AWS PrivateLink لمزيد من المعلومات.6
تكوين نفق SSH (اختياري)
يمكنك استخدام نفق SSH إذا كان وسيط Kafka لديك غير متاح عبر الإنترنت العام. وبدلًا من الاتصال المباشر، ينشئ ClickPipes اتصال SSH إلى مضيف Bastion (وهو خادم في شبكتك متاح عبر الإنترنت العام)، ثم يمرّر الحركة من خلاله إلى وسيط Kafka على شبكتك الخاصة.- فعّل زر التبديل “SSH Tunnel”.
- أدخل تفاصيل اتصال SSH:
- SSH Host: اسم المضيف أو عنوان IP الخاص بمضيف Bastion — وهو الخادم المتاح عبر الإنترنت العام الذي يعمل كبوابة إلى شبكتك الخاصة.
- SSH Port: المنفذ المستخدَم لـ SSH على مضيف Bastion (الافتراضي هو
22). - SSH User: اسم المستخدم المستخدم للمصادقة على مضيف Bastion.
- لاستخدام المصادقة المستندة إلى المفتاح، انقر على “Revoke and regenerate key pair” لإنشاء زوج مفاتيح جديد، ثم انسخ المفتاح العام الذي تم إنشاؤه إلى خادم SSH لديك ضمن
~/.ssh/authorized_keys. - انقر على “Verify Connection” للتحقق من الاتصال.
تأكد من السماح لـ ClickPipes IP addresses في قواعد جدار الحماية الخاصة بمضيف SSH Bastion حتى يتمكن ClickPipes من إنشاء نفق SSH.
7
حدّد الموضوع
حدّد الموضوع، وستعرض واجهة المستخدم مستندًا نموذجيًا منه.8
هيّئ جدول الوجهة
في الخطوة التالية، يمكنك تحديد ما إذا كنت تريد إدخال البيانات إلى جدول ClickHouse جديد أو إعادة استخدام جدول حالي. اتبع الإرشادات المعروضة على الشاشة لتعديل اسم الجدول وبنيته وإعداداته. ويمكنك رؤية معاينة فورية لتغييراتك في جدول العينة بالأعلى.يمكنك أيضًا تخصيص الإعدادات المتقدمة باستخدام عناصر التحكم المتاحة9
تكوين الأذونات
سينشئ ClickPipes مستخدمًا مخصصًا لكتابة البيانات إلى جدول الوجهة. يمكنك اختيار دور لهذا المستخدم الداخلي باستخدام دور مخصص أو أحد الأدوار المحددة مسبقًا:Full access: يمنح وصولًا كاملًا إلى العنقود. قد يكون ذلك مفيدًا إذا كنت تستخدم Materialized View أو Dictionary مع جدول الوجهة.Only destination table: يمنح أذوناتINSERTعلى جدول الوجهة فقط.
10