← Arabic conversations
Arabic · technology · advanced · 129 words · ~1 min

هَنْدَسَةُ الْبَيَانَاتِ وَالْحَوْسَبَةُ الْمُوَزَّعَةُ

วิศวกรรมข้อมูลและการประมวลผลแบบกระจาย
Data Engineering and Distributed Computing

Two data engineers compare Apache Spark and Flink for large-scale real-time data pipelines.

لُؤَيّ
: ؟
เราต้องตัดสินใจสถาปัตยกรรมสำคัญ จะใช้ Spark Streaming หรือ Apache Flink สำหรับไปป์ไลน์ใหม่?
وَفَاء
، .
ขึ้นอยู่กับความต้องการเวลาแฝงเป็นหลัก Flink รองรับการประมวลผลเรียลไทม์จริงต่างจากโมเดลมินิแบตช์ของ Spark
لُؤَيّ
، ؟
แต่ทีมเรามีประสบการณ์ลึกกว่าในระบบนิเวศ Spark จะคุ้มค่ากับเวลาแฝงเพิ่มเติมไหม?
وَفَاء
، .
ถ้าความต้องการเวลาแฝงเกินหนึ่งวินาที Spark ยอมรับได้ แต่ต่ำกว่านั้นต้องใช้ Flink
لُؤَيّ
؟
แล้วการกู้คืนสถานะเมื่อเกิดข้อผิดพลาดในสภาพแวดล้อมการผลิตล่ะ?
وَفَاء
، .
ทั้งสองรองรับจุดตรวจสอบ แต่การจัดการสถานะใน Flink มีความสมบูรณ์และขยายได้ดีกว่า
لُؤَيّ
؟
คุณแนะนำให้ทดลองทั้งสองกับข้อมูลตัวแทนก่อนตัดสินใจไหม?
وَفَاء
، .
แนวทางนี้ถูกต้อง และแนะนำให้ทดสอบสถานการณ์ช่วงพีคโดยเฉพาะเพื่อเปิดเผยคอขวด
لُؤَيّ
.
ฉันจะประสานงานกับทีมโครงสร้างพื้นฐานเพื่อเตรียมสภาพแวดล้อมทดสอบสัปดาห์นี้
وَفَاء
، .
ดี และตรวจสอบให้แน่ใจว่าพาร์ติชันและจำนวนโหนดเท่ากันเพื่อการเปรียบเทียบที่ยุติธรรม
colour key NounVerbAdjectiveAdverbPronounParticleConjunctionDeterminer