8 มี.ค. เวลา 02:50 • วิทยาศาสตร์ & เทคโนโลยี

ไมโครซอฟท์รองรับโมเดล DeepSeek-R1 บน NPU

โดย
○ ไมโครซอฟท์ประกาศรองรับการรันโมเดล DeepSeek-R1 แบบกลั่น (distilled) ที่มีขนาดพารามิเตอร์ 1.5B, 7B และ 14B บนชิป NPU ของพีซีกลุ่ม Copilot+ PC
○ การรันโมเดลบน NPU ช่วยประหยัดต้นทุนค่าเช่าคลาวด์ เนื่องจากพีซีรุ่นใหม่มี NPU ในตัว และ ประมวลผลได้ดีกว่า CPU/GPU แบบเดิม
○ ไมโครซอฟท์ใช้เทคนิคต่างๆ เช่น 4-bit block wise quantization, QuaRot, ONNX QdQ เพื่อลดขนาดโมเดลให้เล็กลง โดยอิงจากเทคนิคของโมเดล Phi Silica
○ พีซีที่รองรับจะเริ่มจากกลุ่ม Snapdragon X ก่อน ตามด้วย Intel Core Ultra 200V และ AMD Ryzen
○ สเปกขั้นต่ำคือแรม 16GB ขึ้นไป และ ใช้งานผ่าน AI Toolkit for Visual Studio Code
✏️ Shoper Gamer
  • ​NPU คืออะไร 👇
Credit :
👇
  • ​https://www.blognone.com/node/145073
โฆษณา