25 เม.ย. เวลา 05:31 • วิทยาศาสตร์ & เทคโนโลยี

Google เปิดตัวชิป TPU รุ่น 8 แยกเป็นรุ่นสำหรับฝึก (8t) และรัน (8i) โดยเฉพาะ

โดย
Google เปิดตัวชิปประมวลผลเทนเซอร์ (TPU) รุ่นที่ 8 โดยแยกเป็น TPU 8t สำหรับฝึกโมเดล และ TPU 8i สำหรับรันโมเดล แม้ชื่อคล้ายกันแต่มีสถาปัตยกรรมที่แตกต่างกันอย่างสิ้นเชิง
  • ​TPU 8t (สำหรับฝึกโมเดล)
- เพิ่ม SparseCore : ควบคุมการเข้าถึงหน่วยความจำ
- MXU core : รองรับการคูณเมทริกซ์แบบ FP4 ในตัว
- การเชื่อมต่อ : Virgo Network เชื่อมชิปได้สูงสุด 134,000 ชิป ที่แบนด์วิธรวม 47 เพตาบิต/วินาที
- พลังประมวลผล : สูงสุด 1.6 ล้าน ExaFLOPS
- ความสามารถ : TPUDirect RDMA (อ้างหน่วยความจำระหว่างกันโดยไม่ผ่าน CPU), ส่งข้อมูลจากสตอเรจเข้า TPU โดยตรง
- ประสิทธิภาพต่อราคา : ดีกว่า Ironwood รุ่นก่อนหน้า 2.7 เท่า
  • ​TPU 8i (สำหรับรันโมเดล)
- เพิ่ม SRAM บนชิป : ขึ้น 3 เท่า แก้ปัญหา memory bandwidth (คอขวดของ LLM)
- เพิ่ม Collectives Acceleration Engine (CAE) : เร่งความเร็วช่วง decoding ของโมเดล
- การเชื่อมต่อใหม่ : Boardfly ICI ออกแบบมาเฉพาะสำหรับโมเดลแบบ MoE (Mixture of Experts)
- ประสิทธิภาพการรันโมเดล : ดีขึ้น 80% โดยเฉพาะกับโมเดล MoE ขนาดใหญ่
  • ​ซอฟต์แวร์
- Pallas : ภาษาสำหรับรีดพลัง TPU สูงสุด
- PyTorch รุ่น TPU : อยู่ในช่วงพรีวิว
  • ​การเข้าถึง
- ผู้สนใจต้องลงทะเบียนแสดงความสนใจล่วงหน้า
✏️ Shoper Gamer
  • ​TPU คืออะไร 👇
Credit :
👇
  • ​https://www.blognone.com/node/150325
โฆษณา