16 เม.ย. เวลา 16:52 • วิทยาศาสตร์ & เทคโนโลยี

Demo ของ Devin AI ถูกขุดว่าปลอม

หลังจากที่คนตื่นเต้นกันกับ demo ของ Devin AI ที่โฆษณาตัวเองว่าเป็น the first AI software engineer จนคนตื่นเต้นกันเมื่อเดือนที่แล้ว
ล่าสุด Internet of Bugs youtuber คนหนึ่งได้นำคลิปของทางบริษัทมาวิเคราะห์ดูและพบว่ามีความไม่สอดคล้องกันหลายแห่ง และดูเหมือนเป็นการจัดฉากมากกว่าเป็นความสามารถของ AI ที่ถูกทำให้ดูเหนือจริง
เริ่มต้นจากคลิปแรก
ที่ Devin ช่วยรับทำงานที่มีผู้จ้างให้ทำบน Upwork แทนที่จะเลือกจากงานแบบสุ่มๆ นักพัฒนากลับ search คำว่า road damage เพื่อเลือกงานที่ Devin อาจจะถูก train มาระดับหนึ่งแล้ว
และพอเริ่มการคุยกับ Devin มันกลับถูกตั้งคำถามแบบที่ง่ายๆ ไม่ลงรายละเอียด จนผิดปกติ แถมมันยังทำงานผิดอีกด้วย เพราะโจทย์บอกให้ทำบน AWS แต่มันกลับ generate project ให้ใช้แบบ locally แทน ไม่ต่างกับการถามหมูตอบหมา ถ้าทำงานแบบนี้มาส่ง คงไม่เข้าข่ายที่จะได้รับเงินค่าจ้าง เพราะทำงานไม่ตรงกับโจทย์
และส่วนที่อ้างว่ามันสามารถ debug และแก้โค้ดได้เองนั้น เขาก็ไม่ค่อยประทับใจ เพราะมันเป็น bug ที่ Devin generate ขึ้นมาเอง จากการเขีบนโค้ดมั่วๆ เต็มไปด้วยโค้ดที่ไม่จำเป็น และเต็มไปด้วยข้อผิดพลาด เหมือนการสร้างปัญหาขึ้นมาให้ตัวเองแก้ไข
ใครที่สนใจไปฟังฉบับเต็มได้ที่
โฆษณา