Xiaomi + TileRT ทำ MiMo-V2.5-Pro รันเร็ว 1,000 token/s บนเครื่องเดียว
โดย
Xiaomi ประกาศความร่วมมือกับ TileRT ผู้พัฒนารันไทม์สำหรับรัน LLM ความเร็วสูง โดยสามารถรัน MiMo-V2.5-Pro ได้ที่ระดับ 1,000 token/วินาที บนเครื่องเดียว โดยไม่ต้องใช้ชิปพิเศษ
- ★เทคนิคที่ใช้
- ใช้โมเดลเวอร์ชันย่อ (MXFP4 สำหรับ MoE ส่วนที่เหลือ FP8)
- DFlash ทำนายโทเค็นเป็นบล็อกล่วงหน้า ตรวจสอบความถูกต้องทีเดียว
- Persistent Engine Kernel ของ TileRT ช่วยออปติไมซ์การเคลื่อนย้ายข้อมูลต่อเนื่อง
- ★ประสิทธิภาพ
- ความเร็ว ~1000 token/s
- ความฉลาดใกล้เคียงโมเดลเต็ม (MiMo-V2.5-Pro) ตามข้อมูลของ Xiaomi
- ★สถานะการเปิดตัว
- โอเพนซอร์ส: โมเดล MiMo-V2.5-Pro-FP4-DFlash ที่ออปติไมซ์ร่วมกับ TileRT
- รุ่น Ultraspeed (บริการความเร็วสูง): ต้องขอใช้งานล่วงหน้า (waitlist) และ ราคาแพงกว่ารุ่นปกติ 3 เท่า
✏️ Shoper Gamer
Credit :
👇
- ●https://www.blockdit.com/posts/69f0a71aa354489af62601fa
- ●https://mimo.xiaomi.com/blog/mimo-tilert-1000tps
- ●https://www.tilert.ai/blog/breaking-1000-tps.html
- ●https://www.blognone.com/node/150859
- 2
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2026 Blockdit
