23 มี.ค. เวลา 12:19 • วิทยาศาสตร์ & เทคโนโลยี

Cloudflare เปิดให้บริการโมเดลขนาดใหญ่ Kimi K2.5 บน Workers AI

โดย
Cloudflare ปรับบริการ Workers AI เพิ่มความสามารถให้บริการโมเดลขนาดใหญ่ โดยเริ่มต้นที่ Kimi K2.5 ซึ่งมีขนาดถึง 1.1 ล้านล้านพารามิเตอร์ พร้อมระบบที่ออกแบบมาเพื่อประสิทธิภาพ และ ความคุ้มค่า
  • ​จุดเด่นของ Kimi K2.5 บน Cloudflare
1) ราคาและความคุ้มค่า
- ราคา : $0.6/ล้านโทเค็น (อินพุต), $3/ล้านโทเค็น (เอาต์พุต)
- ราคาแคช : $0.1/ล้านโทเค็น
- ความคุ้มค่า : ช่วยลดต้นทุนลงได้ถึง 77% เมื่อเทียบกับโมเดลชั้นนำ
2) เทคโนโลยี
- ใช้เอนจิน Infire ที่พัฒนาขึ้นเอง
- รองรับ context window 256k เต็ม
- ระบบแคช : เพิ่มข้อมูลการใช้งานแคช และ รองรับ HTTP header x-session-affinity เพื่อให้ใช้แคชได้มากขึ้น
3) การเข้าถึง
- Asynchronous API : สำหรับงานที่รอได้ ไม่ติด Rate Limit (รอไม่เกิน 5 นาที)
- เปิดให้บริการแล้วบน Workers AI
  • ​สถิติภายใน Cloudflare
- ระบบรีวิวโค้ดภายในประมวลผล 7 พันล้านโทเค็น/วัน
- หากใช้โมเดลชั้นนำจะมีค่าใช้จ่าย $2.4 ล้าน/ปี
- ใช้ Kimi K2.5 จะประหยัดขึ้นอย่างมาก
✏️ Shoper Gamer
Credit :
👇
  • ​https://www.blognone.com/node/150088
  • ​https://blog.cloudflare.com/workers-ai-large-models/
โฆษณา