Blockdit Logo (Mobile)
Datacookie
•
6 ก.ค. เวลา 13:00 • ธุรกิจ

ได้บีบมันส์ๆเพลินๆเหมือนกันนะ 555 🤏🤣

แอดคุ้กกี้🍪 มีเทคนิคดีๆ มาแชร์สำหรับคนทำ Data ที่วันๆ ต้องเจอกับไฟล์ขนาดมหาศาลจนคอมแทบจะร้องขอชีวิต 💻🔥 โดยเฉพาะเวลาจะดึงข้อมูลทีไรโปรแกรมชอบหมุนติ้วๆ หรือใครที่เขียน Python แล้วเจอปัญหา Memory Error บ่อยๆ 😵‍💫 วันนี้เรามาทำความรู้จักกับเทคนิค #DataSqueezing หรือการ "บีบขนาดชุดข้อมูล" ให้ฟิตเปรี๊ยะกันดีกว่าาา 😆
#DataSqueezing คืออะไร? 🤔
พูดง่ายๆ มันคือเทคนิคการลดขนาดไฟล์หรือชุดข้อมูล โดยการกำจัดข้อมูลที่ซ้ำซ้อน ไม่จำเป็น หรือคอลัมน์ที่ไม่ได้ใช้งานออกไป เหมือนการเคลียร์ตู้เสื้อผ้าที่เต็มบ้านนั่นแหละครับบ ตัวไหนไม่ได้ใส่มา 5 ปีแล้วก็คัดทิ้งไปซะ จะได้มีพื้นที่เหลือๆ 😉
วันนี้แอดสรุป 3️⃣ เทคนิครีดขนาดข้อมูลแบบเข้าใจง่ายๆ ที่จะช่วยรักษาสุขภาพแรม (RAM) ของคุณให้ปลอดภัยจากการโดนสูบพลังงาน 👇
1️⃣ Downcasting (ลดขนาดประเภทข้อมูล) 📉
เป็นวิธีที่สายปั้นโมเดลชอบมองข้ามครับ เช่น ข้อมูลตัวเลขจำนวนเต็มที่มีค่าแค่หลักสิบหลักร้อย แต่โปรแกรมดันจองพื้นที่จัดเก็บแบบจัดเต็มเป็น int64 (ซึ่งรองรับตัวเลขได้เป็นล้านล้าน!) การปรับสเปกข้อมูลให้เป็น int8 หรือ int16 ก็ช่วยประหยัดพื้นที่แรมไปได้มหาศาลเลยทีเดียว 👍
2️⃣ Drop Unused Columns & Rows (ตัดส่วนเกินที่ไร้ประโยชน์) 🧹
ลองเช็กตารางข้อมูลดูดีๆ ว่ามีคอลัมน์ประเภท "มีไว้ทำไมก่อน?" อยู่ไหม 555 🤣 เช่น คอลัมน์ที่ว่างเปล่า (Null) ทั้งหมด หรือคอลัมน์ที่มีข้อมูลซ้ำกันไปหมด การลบออกหรือใช้ฟังก์ชันกรองเอาเฉพาะตัวที่ต้องวิเคราะห์จริงๆ จะช่วยให้ไฟล์เบาลงไปเยอะมว๊ากกก
3️⃣ Converting to Categorical (แปลงเป็นกลุ่มข้อมูล) 🗂
หากในคอลัมน์มีข้อมูลประเภทตัวอักษรซ้ำๆ กันเยอะ เช่น ชื่อจังหวัด "กรุงเทพมหานคร", "เชียงใหม่" วนไปวนมา แทนที่จะเก็บเป็นข้อความดิบๆ (String) ที่กินพื้นที่เยอะ ลองแปลงชนิดข้อมูลให้เป็น Category ดูสิครับ น้องจะแอบสร้างรหัสตัวเลขสั้นๆ มารันแทนเบื้องหลัง ช่วยลดขนาดเมมโมรี่ได้ดีทีเดียว
ปล. การทำ Data Squeezing นอกจากจะช่วยลดพื้นที่เก็บไฟล์แล้ว ยังช่วยให้โมเดล AI หรือการรันโค้ด Pandas ของเราประมวลผลได้เร็วขึ้นแบบรู้สึกได้เลยนะเอออ ⚡️
🧹คอร์ส Data preparation with python : จัดการข้อมูลให้พร้อมก่อนวิเคราะห์ด้วย Pandas 👉 https://bit.ly/3hP2D6v
📍นี้เป็นเพจที่ให้ความรู้การวิเคราะห์ข้อมูล รับปรึกษาทุกอย่างด้านข้อมูลทั้งแบบบุคคลและร้านค้า ฟรี! ไม่มีค่าใช้จ่าย ❤️ (ดูผลงานของเพจได้ที่👉http://1ab.in/IeN)
📍เพจเรามีกลุ่ม FB ละน้าา เข้าจอยได้นะจ้ะ
👥:https://www.facebook.com/groups/368943434100378
#datacookie #Data #BigData #Datascience #Datascientist #Dataanalyst #Datastudio #Dataanalytics #Database #SQL #Excel
โฆษณา