ระบบไปป์ไลน์ข้อมูลและ ETL อัตโนมัติ

ดึงจากแหล่งข้อมูลที่องค์กรมีอยู่จริง

เราเริ่มจากแหล่งข้อมูลที่คุณมีอยู่ตอนนี้ ไม่ใช่จากการขอให้เปลี่ยนระบบต้นทางก่อน ข้อมูลจริงขององค์กรมักกระจายอยู่ทั้งในฐานข้อมูลของระบบหลัก ใน API ของบริการที่เช่าใช้ ในไฟล์ Excel ที่มีคนดูแลด้วยมือ ในไฟล์ที่ส่งกันทางอีเมลหรือ SFTP และบางส่วนมีอยู่บนหน้าเว็บเท่านั้น ซึ่งต้องใช้การเก็บข้อมูลจากหน้าเว็บเข้ามาช่วย แต่ละแหล่งมีข้อจำกัดต่างกัน ทั้งปริมาณที่ดึงได้ต่อครั้ง สิทธิ์การเข้าถึง และความถี่ที่ต้นทางอัปเดตจริง เราจึงออกแบบวิธีดึงของแต่ละแหล่งแยกกัน ก่อนจะรวมให้มาอยู่ในเส้นเดียว

• ฐานข้อมูลภายใน เช่น PostgreSQL, MySQL และ SQL Server
• API ของระบบที่ใช้อยู่ ทั้งระบบขาย ระบบบัญชี และเครื่องมือการตลาด
• ไฟล์ Excel และ Google Sheets ที่ยังมีคนดูแลด้วยมือ
• ไฟล์ที่เข้ามาทางอีเมล SFTP หรือโฟลเดอร์ที่แชร์กันไว้
• การเก็บข้อมูลจากหน้าเว็บ ในกรณีที่ข้อมูลมีอยู่บนหน้าเว็บเท่านั้น

ทำความสะอาด จัดรูป แล้วโหลดเข้าที่เดียวกับที่แดชบอร์ดอ่าน

ข้อมูลจากหลายระบบแทบไม่เคยพูดภาษาเดียวกัน วันที่คนละรูปแบบ รหัสลูกค้าคนละชุด ชื่อสินค้าที่สะกดไม่ตรงกัน และรายการซ้ำที่ติดมาจากการส่งข้อมูลรอบก่อน งานชั้นนี้คือการทำให้ทุกอย่างเทียบกันได้ก่อนถึงมือคนใช้ แถวที่ไม่ผ่านเงื่อนไขจะถูกกันไว้ในตารางแยกให้ตรวจย้อนได้ ไม่ใช่ถูกทิ้งไปเงียบ ๆ จนยอดขาดหายโดยไม่มีใครรู้ ปลายทางคือฐานข้อมูลหรือคลังข้อมูลที่ทีมวิเคราะห์และเครื่องมือ BI อ่านโดยตรง จะเป็น PostgreSQL บนเซิร์ฟเวอร์ของคุณเอง หรือคลังข้อมูลบน GCP, Azure และ AWS ตามที่องค์กรใช้อยู่ก็ได้

• จัดรูปแบบวันที่ ตัวเลข และหน่วยให้เป็นมาตรฐานเดียวกัน
• รวมรหัสลูกค้าและรหัสสินค้าที่เขียนไม่ตรงกันในแต่ละระบบ
• ตัดรายการซ้ำ และรองรับข้อมูลย้อนหลังที่เข้ามาทีหลัง
• แถวที่ไม่ผ่านการตรวจถูกเก็บไว้ในตารางแยก ไม่ถูกทิ้งเงียบ ๆ
• เลือกโหลดเฉพาะส่วนที่เปลี่ยน หรือโหลดใหม่ทั้งชุดตามความเหมาะสม

ตั้งรอบเวลาและควบคุมลำดับการทำงาน

เครื่องมือที่เลือกใช้ขึ้นอยู่กับว่าใครต้องดูแลงานนั้นต่อ งานที่เป็นการต่อบริการเข้าหากันเป็นหลัก เราวางบน n8n หรือ Make.com เพราะทีมคุณเปิดดูเองได้ว่าขั้นไหนทำอะไร และแก้เงื่อนไขเล็ก ๆ ได้โดยไม่ต้องรอทีมพัฒนา ส่วนงานที่ต้องแปลงข้อมูลหนัก มีเงื่อนไขทางธุรกิจซับซ้อน หรือมีปริมาณมากจนต้องคุมประสิทธิภาพ เราเขียนเป็นงานด้วย Python เก็บไว้ในระบบควบคุมเวอร์ชันและทดสอบได้ ทั้งสองแบบอยู่ในระบบเดียวกันได้ สิ่งที่ขาดไม่ได้คือลำดับ ขั้นถัดไปต้องไม่เริ่มทำงานบนผลลัพธ์ของขั้นก่อนหน้าที่ยังไม่จบจริง

• n8n และ Make.com สำหรับงานที่ทีมคุณควรเปิดดูและปรับเองได้
• งานที่เขียนด้วย Python สำหรับการแปลงข้อมูลที่ซับซ้อนหรือปริมาณมาก
• ตั้งรอบรายชั่วโมง รายวัน หรือให้เริ่มเมื่อมีไฟล์หรือ webhook เข้ามา
• บังคับลำดับขั้น ให้ขั้นถัดไปเริ่มต่อเมื่อขั้นก่อนหน้าทำงานจบจริง

รอบที่ล้มเหลว คือจุดที่ไปป์ไลน์ส่วนใหญ่พลาด

ความล้มเหลวที่ทุกคนเตรียมรับมือคือแบบที่หยุดไปเลย ซึ่งเห็นได้ง่าย แต่แบบที่อันตรายกว่าคือรอบที่สำเร็จไปได้ครึ่งทาง แล้วทิ้งข้อมูลไม่ครบไว้ในตารางที่หน้าตาเหมือนข้อมูลครบ ระบบที่เราวางจึงเขียนข้อมูลเป็นชุดเดียว ถ้าไม่สำเร็จทั้งชุดก็ยกเลิกทั้งหมดและคงข้อมูลรอบก่อนหน้าไว้ ปัญหาชั่วคราวอย่างเครือข่ายสะดุดหรือ API ไม่ตอบจะลองใหม่ตามจำนวนครั้งที่กำหนดไว้ ถ้ายังไม่ผ่านจึงแจ้งเตือนพร้อมระบุว่าเป็นแหล่งไหน ขั้นตอนไหน และรอบเวลาใด ที่สำคัญคือความเงียบไม่ใช่สัญญาณว่าทุกอย่างปกติ ระบบจึงแจ้งเตือนกรณีที่ถึงเวลาแล้วรอบยังไม่เริ่มด้วย ทุกรอบถูกบันทึกไว้ทั้งเวลาเริ่ม เวลาจบ จำนวนแถวเข้าและออก และสถานะ เพื่อให้ตอบได้ว่าตัวเลขของวันนี้มาช้าหรือมาผิด นี่คือวิธีเดียวกับที่เราดูแลระบบของเราเอง ซึ่งรันแอปพลิเคชันราวยี่สิบตัวบนเครื่องเดียว ใช้สคริปต์แทนการทำด้วยมือ และตรวจสถานะถึงระดับพอร์ตแทนการเชื่อว่ามันยังทำงานอยู่

• ลองใหม่อัตโนมัติเมื่อเจอปัญหาชั่วคราว เช่น เครือข่ายหรือ API ไม่ตอบ
• เขียนข้อมูลเป็นชุดเดียว ถ้าไม่สำเร็จทั้งชุดก็ไม่เขียนลงเลย
• แจ้งเตือนทั้งกรณีรอบล้มเหลว และกรณีที่ถึงเวลาแล้วยังไม่เริ่ม
• บันทึกทุกรอบ ทั้งเวลาเริ่ม เวลาจบ จำนวนแถว และสถานะ
• ตรวจย้อนได้ว่าข้อมูลชุดไหนเข้ามาเมื่อไร และมาจากรอบใด