คนทำงานสาย Data โดยเฉพาะ Data Engineer น่าจะเคยได้ยินเครื่องมืออย่าง dbt (Data Build Tool) กันบ้างแล้ว แต่มันคืออะไร? แล้วทำไมเราควรสนใจสิ่งนี้กันล่ะ?
🧑💻 ดร. กานต์ อุ่ยวิรัช Community Organizer ของ Data Council Bangkok เคยเขียนในบล็อกไว้ว่า “dbt เป็นเครื่องมือที่ช่วยให้ชีวิตของชาว Data Analysts และ Data Engineers ในการทำ Data Transformation หรือเปลี่ยนแปลงรูปแบบของข้อมูลใน Data Warehouse ดีขึ้น” ซึ่งส่วนหลักๆ ที่ dbt จะเข้ามาทำหน้าที่คือการทำ Transform ใน ELT นั่นเอง
🟠 dbt คืออะไร?
dbt เป็น Free Open-Source Tool ที่เปิดโอกาสให้คนทำงานกับข้อมูล สามารถเขียนและจัดการกับโค้ด SQL ได้ดีมากยิ่งขึ้น โดยช่วยแก้ไขปัญหาคอขวดในการทำงานของ Data Engineer ทำให้ Data Engineer และ Data Analyst สามารถทำงานแยกกัน และไม่ต้องรอใครทำงานไหนเสร็จก่อนได้ โดย dbt ช่วยให้คุณเอาเทคนิคของ Software Engineer มาใช้ได้เช่น Testing, Documentation และ Version Control
นอกจากนี้ dbt ยังช่วยทีม Data ในอีกหลายๆ เรื่องเช่น
✅ ทดสอบ Data Quality ได้ง่ายขึ้นว่ามีจุดบกพร่องอะไรบ้างไหมใน Data Pipeline หรือในตารางข้อมูลที่นำมาเชื่อมต่อกัน
✅ สร้าง Data Document ให้แบบอัตโนมัติ ทำให้เห็น Data Lineage และที่มาของแหล่งข้อมูลได้เลยว่ามาจากไหนบ้าง และยังรวมไปถึงการทำสิ่งอื่นๆ ที่ปกติคุณต้องทำอยู่แล้วให้แบบอัตโนมัติด้วย ไม่ว่าจะเป็นการ Run test หรือการเปลี่ยนแปลงต่างๆ