การมีฮาร์ดแวร์ที่ทรงพลังอย่างเดียวนั้นไม่เพียงพอ การสร้างชุดซอฟต์แวร์ที่มีประสิทธิภาพเพื่อใช้ประโยชน์จากสถาปัตยกรรมของฮาร์ดแวร์อย่างเต็มที่เป็นสิ่งสำคัญไม่แพ้กัน นี่คือหนึ่งในกุญแจสำคัญที่ทำให้ NVIDIA เป็นผู้นำในด้านฮาร์ดแวร์ AI
NVIDIA ประสบความสำเร็จในการเปลี่ยนจากยักษ์ใหญ่ด้านเกมมาเป็นยักษ์ใหญ่ด้าน AI ด้วยการพัฒนาชุดซอฟต์แวร์ CUDA ของพวกเขา ควบคู่ไปกับการลงทุนอย่างหนักในการพัฒนาฮาร์ดแวร์สำหรับเทคโนโลยี Deep Learning เช่น Tensor Core ด้วยการปรับแต่งทั้งชุด NVIDIA ได้พัฒนาการประมวลผลอัลกอริทึม Deep Learning ที่มีประสิทธิภาพมากขึ้น และตอนนี้ด้วยการเติบโตของเทคโนโลยี Generative AI ทำให้ NVIDIA กำลังได้รับประโยชน์อย่างมากจากกลยุทธ์ระยะยาวของพวกเขา
อีกหนึ่งบริษัทที่น่าสนใจคือ Moore Threads ซึ่งกำลังพัฒนา GPU สำหรับเกมและศูนย์ข้อมูลมาสองสามปีแล้ว GPU รุ่นล่าสุดของพวกเขา S4000 ถูกออกแบบมาสำหรับการเร่งความเร็ว AI ในศูนย์ข้อมูล แม้ว่าประสิทธิภาพของมันอาจจะยังไม่สูงมากนัก แต่มันก็ถูกนำไปใช้ในการฝึกฝนแบบจำลอง Large Language Model แล้ว โดยมีการสร้างคลัสเตอร์จาก GPU 1,000 ตัวเพื่อฝึกฝนแบบจำลองที่มีพารามิเตอร์เจ็ดหมื่นล้านตัวในเวลาหนึ่งเดือน