9 ก.พ. 2024 เวลา 10:58 • วิทยาศาสตร์ & เทคโนโลยี

HBM vs DDR

Memory แบบไหนที่ตอบโจทย์การมาของ AI ?
ในยุคที่ Generative AI กำลังมา เราอาจจะได้ยินการพูดถึง HBM บ่อยขึ้น วันนี้เรามาทำความเข้าใจความแตกต่างของ DRAM 2 ประเภทนี้กันครับ
เพื่อความเข้าใจที่ง่ายขึ้น อยากให้ลองจินตนาการภาพทั้ง HBM และ DDR เป็นทางด่วนที่ให้ Data วิ่งผ่าน
#HMB
คือการนำ Memory Chip มาซ้อนกัน (3D Chip Stacking)
เปรียบเหมือนเป็นทางด่วนที่มีจำนวนเลนหลายเลน ทำให้ Data สามารถ ไหลผ่านได้มากกว่าในช่วงเวลาเดียวกัน (Bandwidth สูงกว่า) แต่ HBM เปรียบเสมือนทางด่วนที่สั้นมากโดยปัจจุบันมักจะมีความจุต่ำกว่า
(Capacity ต่ำกว่า โดย HMB3 สูงสุด 192GB เทียบกับ 1TB ของ DDR5)
คิดเหมือนทางด่วนที่สั้นกว่า ดังนั้น แม้ข้อมูลจะเคลื่อนที่เร็ว แต่มีพื้นที่จัดเก็บน้อยกว่าในขณะเดียวกัน
#DDR:
จินตนาการราวกับทางด่วนเลนเดียวที่ยาวกว่า: ด้วย Capacity สูงกว่า (สูงสุด 1TB!) ทำให้มีพื้นที่จัดเก็บข้อมูลมากขึ้น สามารถส่งข้อมูลไปยังปลายทางหลาย ๆ ส่วนได้อย่างมีระเบียบกว่า
แม้ข้อมูลจะเคลื่อนที่ไว แต่อาจไม่เร็วที่ขนาด HBM ทำให้เมื่อมีการดึงข้อมูลจำนวนมากพร้อมกัน Data อาจติดขัดเป็นคอขวด แต่ในขณะเดียวกัน ทางด่วน DDR เป็นทางด่วนที่ค่าก่อสร้างราคาไม่แพง
จากรูปแบบการสร้างที่ไม่ซับซ้อนเท่า และการใช้อย่างแพร่หลาย ทำให้ DDR ราคาถูกกว่า HBM
นอกจากนี้เมื่อพิจารณาจากประสิทธิภาพต่อพลังงาน DDR สามารถ Balance ได้ดีกว่าระหว่าง Performance และ Efficiency
#ความแตกต่างในการใช้งาน
ข้อดีของ HBM ที่ Bandwidth สูงนั้น ทำให้เหมาะกับการดึง Data มหาศาลในเวลาพร้อม ๆ กัน จึงทำให้ HBM เหมาะกับการนำไปใช้ประกอบชิป สำหรับทำ AI Training เพื่อสามารถส่งข้อมูลจำนวนมากไปที่หน่วยประมวลผลของชิปโดยไม่สนเรื่องการประหยัดไฟใด ๆ เน้น performce เป็นหลัก
แต่ในขณะเดียวกันหลังจากการฝึก AI เสร็จสิ้นและได้ AI ที่ฉลาดแล้ว
การใช้ HBM ต่อในช่วงของการนำ AI ไปใช้ (AI Inferencing) จะเป็นการสิ้นเปลืองเกินความจำเป็น
(ให้นึกภาพเหมือนเอาการ์ดจอที่ใช้ใน Data Center มาเล่นเกมที่บ้าน)
DDR จึงเหมาะกว่าในช่วง AI Inferencing เนื่องจากมีประสิทธิภาพและประหยัดพลังงานกว่า ทำให้ลด cost ได้ตั้งแต่ราคาชิปไปจนถึง ค่าไฟต่าง ๆ ที่ใช้ในการใช้งาน data center
ถ้ายกตัวอย่างจากชิป Logic
HBM จะคล้าย GPU ที่เก่งในเรื่องการประมวลผลงานยาก ๆ (แต่น้อยงาน) ให้มี Performance สูงสุด แต่ DDR จะเหมาะการทำงานที่อาจจะไม่ซับซ้อนเท่าแต่ทำหลายงานพร้อม ๆ กัน คล้าย CPU
สรุปคือทั้ง HBM และ DDR เป็นรูปแบบของ Memory ที่มีความเก่งคนละด้าน
ที่จำเป็นต่อการทำงานของ Generative AI ทั้งคู่ แต่มี Use case ที่แตกต่างกัน
ยกตัวอย่าง ถ้าเป็นเรื่องการฝึก AI ให้เก่ง ชิปที่นำมาใช้จะเป็น HBM เนื่องจาก มี Bandwidth ที่สูงกว่า
แต่กรณีที่เป็นการนำ AI ไปใช้ในที่ต่าง ๆ เช่นใน data center ที่ทำระบบ CRM/ Web Hosting หรือทำ งานหลาย ๆ Task พร้อม ๆ Memory แบบ DDR อาจถูกพิจารณามากกว่า
นอกจากนี้ยังมีปัจจัยอื่น ๆ ที่ไม่ได้กล่าวในบทความนี้ เช่น การ Upgrade ใน data center ซึ่งส่วนใหญ่ จะเป็น DRAM แบบ DDR4 อยู่แล้ว การเปลี่ยนมาเป็น DDR5 จึงทำได้ง่ายกว่า ไม่ยุ่งยาก ในขณะที่หากต้องการเปลี่ยน Memory ที่มีอยู่ให้เป็น HBM อาจต้องรื้อระบบทั้งหมดและเริ่มใหม่
.
BottomLiner
โฆษณา