[ด.ดล Blog] ประวัติ TikTok ตอนที่ 3 : Recommendation Engine ในปี 2011 Google ได้เริ่มใช้ระบบ Machine Learning ใหม่ที่เรียกว่า Sibyl เพื่อให้คำแนะนำบน Youtube ผลกระทบของ Sibyl นั้นเกิดขึ้นแทบจะทันที วิศวกรของ Yout

สำรวจ
ลงทุน
คำถาม

มีบัญชีอยู่แล้ว?หรือ

•

21 ธ.ค. 2022 เวลา 00:09 • ธุรกิจ

ประวัติ TikTok ตอนที่ 3 : Recommendation Engine

ในปี 2011 Google ได้เริ่มใช้ระบบ Machine Learning ใหม่ที่เรียกว่า Sibyl เพื่อให้คำแนะนำบน Youtube ผลกระทบของ Sibyl นั้นเกิดขึ้นแทบจะทันที วิศวกรของ Youtube พบว่าตัวเลขการเข้าชมของ Youtube พุ่งกระฉูดขึ้นแบบฉุดไม่อยู่

ประวัติ TikTok ตอนที่ 3 : Recommendation Engine

Machine Learning ทำงานได้ดีจนในไม่ช้าผู้คนจำนวนมากเลือกว่าจะดูอะไรตาม “วีดีโอแนะนำ” มากกว่าวิธีการอื่น ๆ ในการเลือกวีดีโอ เช่น การค้นหาทางเว็บหรือการอ้างอิงทางอีเมล

Google พบขุมทรัพย์ทำเงินใหม่ผ่านอัลกอริธึม Machine Learning พวกเขาได้พัฒนาพวกมันขึ้นไปอีกขั้น โดยสิ่งที่เรียกว่า Google Brain ซึ่งพัฒนาโดยกลุ่ม Moonshot อันโด่งดังของบริษัท Google X ที่นำโดยศาสตราจารย์ Andrew Ng จากสแตนฟอร์ด

Google Brain ใช้ประโยชน์จากความก้าวหน้าครั้งใหม่ของเทคโนโลยี Deep Learning แม้ผลกระทบจาก Sibyl นั้นจะน่าประทับใจ แต่ผลกระทบจาก Google Brain นั้นสร้าง Impact ที่สูงกว่ามาก

ศาสตราจารย์ Andrew Ng สุดยอดปรมาจารย์ด้าน AI จากสแตนฟอร์ด (CR:IEEE Spectrum)

ในช่วงสามปี 2014-2017 เวลารวมที่ใช้ในการดูวีดีโอบนหน้าแรกของ Youtube เพิ่มขึ้น 20 เท่า คำแนะนำผลักดันมากกว่า 70% ของเวลาทั้งหมดบน Youtube วีดีโอแนะนำของ Youtube กลายเป็นเรื่องน่าขนลุกที่จะคาดเดาสิ่งที่คุณสนใจได้อย่างแม่นยำ

ที่ประเทศจีน Yiming ได้กลายเป็นผู้นำในเทคโนโลยีดังกล่าว เขาไม่เพียงแค่เห็นถึงศักยภาพอันยิ่งใหญ่ของมันเท่านั้น แต่ยังดำเนินการขั้นเด็ดขาดกับมันอย่างรวดเร็วอีกด้วยเพื่อไม่ให้ยักษ์ใหญ่รายอื่น ๆ รู้ตัวทัน

ปัจจัยที่สำคัญที่สุดที่ขับเคลื่อนความสำเร็จของ ByteDance คือวิสัยทัศน์ที่ชัดเจนในช่วงต้นของ Yiming ที่พวกเขามุ่งมั่นที่จะใช้เทคนิคใหม่ ๆ เหล่านี้ และจังหวะเวลาของตัดสินใจนั้นมีองค์ประกอบร่วมกันก็คือ การเติบโตอย่างบ้าคลั่งของสมาร์ทโฟนและการพัฒนาอย่างก้าวกระโดดของเทคโนโลยี AI

มันได้กลายเป็นเครื่องจักรที่ทรงพลังอย่างเหลือเชื่อ Yiming มองว่าสิ่งที่เขาจะต้องทำโดยด่วนก็คือ การเปลี่ยนจาก “คนที่กำลังมองหาข้อมูลเป็นข้อมูลกำลังหาผู้คน”

อัลกอริธึมคำแนะนำรูปแบบใหม่ จะฉีกหนีไปจากเดิมอย่างชัดเจน ที่สถานการณ์ในตอนนั้นโลกถูกขับเคลื่อนด้วยพลังของโซเชียลมีเดียที่ต้องการคำแนะนำเพียงเล็กน้อยแต่จะถูกขับเคลื่อนด้วยพลังของการเชื่อมต่อเพื่อการสื่อสารระหว่างกลุ่มคนเพียงเท่านั้น

อัลกอริธึมคำแนะนำรูปแบบใหม่ กำลังใกล้จะสุกงอมเต็มที่ Yiming ต้องคว้าโอกาสนี้ไว้ เนื่องจากคำแนะนำแทบไม่ต้องการข้อกำหนดในการติดตามเพื่อการเชื่อมต่อเหมือนในเครือข่ายโซเชียลมีเดีย

วิธีการกระจายเนื้อหาหลัก ๆ ที่ใช้โดยแพลตฟอร์มต่าง ๆ ของจีนในช่วงปี 2013 (CR:หนังสือ Attention Factory)

คำแนะนำที่ดีต้องใช้เทคโนโลยีขั้นสูง ด้วย search engine ผู้ใช้จะแสดงเจตจำนงที่ชัดเจนโดยสิ่งที่พวกเขาพิมพ์ลงในแถบค้นหา และมีการตั้งค่าของผู้ใช้ตามพฤติกรรมก่อนหน้าเพียงอย่างเดียว

โดยทั่วไประบบการแนะนำต้องอาศัยกระบวนการหลักสองประการ : “content-based filtering (การกรองตามเนื้อหา)” และ “collaborative filtering (การกรองการทำงานร่วมกัน)”

แนวคิดทั้งสองนี้ค่อนข้างง่ายต่อการเข้าใจ ระบบการกรองตามเนื้อหาจะแนะนำเนื้อหาให้กับผู้ใช้ ในสิ่งที่คล้ายกับที่พวกเขาต้องการอยู่แล้ว หากผู้ใช้สนุกกับการดูวีดีโอสุนัขและถูกแท็กว่าเป็น “คนรักสุนัข” ระบบจะแนะนำวีดีโอสุนัขเพิ่มเติม

ส่วนระบบการกรองการทำงานร่วมกันจะยึดตามคำแนะนำในการค้นหากลุ่มผู้ใช้ที่ชอบเนื้อหาที่คล้ายคลึงกัน ตัวอย่างเช่น ความสนใจของ Jane และ Tracey มีความสัมพันธ์กันอย่างมาก หาก Jane ดูวีดีโอซ้ำ ๆ จนจบ ซึ่งเป็นตัวบ่งชี้ความสนใจที่เชื่อถือได้ ระบบจะแนะนำวีดีโอนั้นให้กับ Tracey ด้วย

ในช่วงกลางปี 2012 Yiming ได้ส่งอีเมลไปยังทีมเทคนิคของ ByteDance ด้วยชื่อที่เป็นลางไม่ดี “Recommended Engine General Meeting”

Yiming มุ่งมันที่จะผลักดันในหัวข้อที่เขาเห็นว่ามีความสำคัญต่ออนาคตของบริษัท ในเนื้อหาอีเมลยังระบุด้วยว่า “ในการเป็นแพลตฟอร์มข้อมูล จำเป็นต้องทำงานได้ดีกับเครื่องมือแนะนำส่วนบุคคล พวกคุณต้องการเริ่มต้นสิ่งนี้ในตอนนี้หรือไม่”

ระบบการแนะนำเบื้องต้นของ Toutiao ซึ่งเรียกว่า “personalization technology (เทคโนโลยีการปรับเปลี่ยนในแบบของคุณ)” โดยเมื่อเปิดแอปขึ้นมา แล้วผู้ใช้จะได้รับบทความที่อ่านแล้วติดอันดับต้น ๆ เพื่อให้พวกเขาติดใจในทันที

หลังจากนั้นจะเป็นการรวมบทความ clickbait ที่ตรงเป้าหมายมากขึ้นซึ่งดึงดูดผู้ใช้เฉพาะกลุ่มเพื่อทดสอบและตัดสินใจว่าใครคือผู้อ่าน ผู้ใช้ที่คลิกบทความที่มีภาพตัวอย่างขนาดใหญ่ของนางแบบรถยนต์น่าจะเป็นผู้ชาย ผู้ใช้รายอื่นที่อ่านบทความ “ซุปไก่เพื่อจิตวิญญาณ” น่าจะเป็นผู้สูงอายุ การเสริมการคาดเดานี้คือข้อมูลพื้นฐาน เช่น รุ่นโทรศัพท์ของผู้ใช้ ตำแหน่งทางภูมิศาสตร์ และวันเวลาที่พวกเขาเปิดแอป

นั่นเป็นการเริ่มต้นที่ดี แต่ยังห่างไกลจากจุดที่ Yiming คิดว่าบริษัทจำเป็นต้องไปให้ถึง เขาหวังว่า ByteDance จะกลายเป็นบริษัทที่ดีที่สุดในอุตสาหกรรมและเพิ่มศักยภาพของเทคโนโลยีดังกล่าวนี้ให้ได้มากที่สุดเพื่อสร้างความได้เปรียบเหนือบริษัทอื่น ๆ

แต่ปัญหาก็คือใน ByteDance แทบจะไม่มีผู้เชี่ยวชาญโดยตรงในเรื่องดังกล่าว หรือมีความสามารถระดับเทพในการพัฒนาเอ็นจิ้นการแนะนำส่วนบุคคลสุดล้ำอย่างที่ Yiming ใฝ่ฝัน

หลายคนในทีมแสดงความกังวลอย่างมากเกี่ยวกับการขาดความสามารถทางเทคนิคของทีมงานเพื่อให้บรรลุเป้าหมายของ Yiming การแสวงหาผู้เชี่ยวชาญจากภายนอกที่มีราคาแพงเข้ามานั้นก็แทบเป็นไปไม่ได้ เนื่องจากบริษัทยังอยู่ในช่วงเริ่มต้นเพิ่งย้ายสำนักงาน รวมถึงแทบไม่มีใครในประเทศจีนตอนนั้นที่มีความเชี่ยวชาญในสิ่งที่พวกเขากำลังมองหา

ในการขับเคลื่อนเพื่อให้บรรลุเป้าหมายนั้น Yiming ได้พบกับหนังสือเล่มใหม่ที่กำลังจะออกวางจำหน่าย “Putting Into Practice Recommender Systems” ซึ่งเขียนโดย Xiang Liang หนึ่งในผู้เชี่ยวชาญชั้นนำของจีนด้าน Machine Learning ในขณะนั้น

Xiang ทำงานเป็นนักวิจัยที่เว็บไซต์สตรีมมิ่งวีดีโอ Hulu ซึ่ง Yiming ได้ติดต่อ Xiang เพื่อขอสำเนาของหนังสือเล่มดังกล่าว แต่ถูกปฏิเสธเนื่องจากหนังสือเล่มนี้ยังไม่ได้ตีพิมพ์อย่างเป็นทางการ

Yiming พยายามที่จะศึกษาด้วยตนเอง แต่ก็พบกับความล้มเหลว จึงเบนเข็มไปใช้วิธีในการหาผู้เชี่ยวชาญที่มีประสบการณ์จากองค์กรอื่นแทน

Yiming ได้เล็งเห็นถึงวิสัยทัศน์ในการสร้างเครื่องมือแนะนำที่ดีที่สุดในระดับเดียวกัน มีบริษัทหนึ่งที่สามารถจัดหาพนักงานที่มีความสามารถระดับเทพในเรื่องดังกล่าวได้มากที่สุดนั่นก็คือ Baidu

Yiming ถือว่า Baidu เป็นคู่แข่งที่สำคัญที่สุดของเขา เขากลัวความสามารถด้านอัลกอริธึมของ Baidu เป็นอย่างมาก และมองว่า Baidu เป็นบริษัทที่มีความสามารถมากที่สุดในประเทศจีนที่จะมาแย่งตลาดในสิ่งที่เขาหวังจะครอบครอง

เป็นเรื่องโชคดีที่ Baidu นั้น แทบยังไม่สนใจเรื่องของคำแนะนำส่วนบุคคล ธุรกิจการค้นหาของ Baidu นั้นไม่มีใครเทียบได้และเป็นเครื่องจักรทำเงินแบบสบายๆ ให้กับพวกเขาจนแทบจะไม่เดือดเนื้อร้อนตัวแต่อย่างใด

นั่นทำให้ความก้าวหน้าทางเทคโนโลยีครั้งแรกเกิดขึ้นในปี 2014 เมื่อ ByteDance ได้ไปขโมยตัว Yang Zhenyuan รองผู้อำนวยการฝ่ายการค้นหามาจาก Baidu ซึ่งเขาทำงานกับ Baidu มาเป็นเวลา 9 ปีแล้ว Yang ได้รับตำแหน่งรองประธานฝ่ายเทคโนโลยีของ ByteDance ทันที และเตรียมพร้อมสำหรับการอัปเกรดทางเทคนิคครั้งใหญ่

การได้พนักงานระดับเรือธงอย่าง Yang เข้ามานั้น กลายเป็นจุดเปลี่ยนครั้งสำคัญของ ByteDance ซึ่งเปิดประตูให้กับวิศวกรของ Baidu คนอื่น ๆ ที่ติดตามเขามาร่วมงานด้วย

ด้วยความเชี่ยวชาญด้านเทคนิคที่เพิ่มขึ้นจากทีมของ Baidu ภายในปี 2016 พวกเขาสามารถทดลองวิธีการต่าง ๆ ในการสร้างเนื้อหาด้วยอัลกอริธึม ในระหว่างการแข่งขันกีฬาโอลิมปิกปีนั้น บอทที่พัฒนาโดย ByteDance ได้เขียนข่าวต้นฉบับ เผยแพร่เรื่องราวเกี่ยวกับเหตุการณ์สำคัญ ๆ ได้เร็วกว่าสื่อแบบดั้งเดิม และเพลิดเพลินกับระดับของการมีส่วนร่วมจากผู้ใช้ที่เทียบได้กับบทความที่เขียนขึ้นโดยนักเขียนที่เป็นมนุษย์จริง ๆ

ในเดือนมกราคมปี 2018 ByteDance ได้จัดประชุมสาธารณะในกรุงปักกิ่งเพื่อเปิดเผยว่าอัลกอริธึมของพวกเขาทำงานอย่างไร เป้าหมายเพื่อบรรเทาการวิพากษ์วิจารณ์จากสื่อของรัฐและหน่วยเฝ้าระวังทางอินเทอร์เน็ตเกี่ยวกับการเผยแพร่ภาพลามกอนาจารควบคู่ไปกับความกังวลเกี่ยวกับการขาดการดูแลของมนุษย์ที่เกี่ยวข้องกับเนื้อหา

ในงานดังกล่าวผู้นำทีมอัลกอริธึมระดับอาวุโสของบริษัท Cao Huanhuan ได้ลงรายละเอียดเกี่ยวกับหลักการของระบบการแนะนำของ ByteDance

ระบบของ ByteDance ใหม่นั้นมีศูนย์กลางอยู่ที่ 3 โปรไฟล์ : content profile (โปรไฟล์เนื้อหา) , user profile (โปรไฟล์ผู้ใช้) และ environment profile (โปรไฟล์สภาพแวดล้อม)

สำหรับโปรไฟล์เนื้อหา Cao ได้ยกตัวอย่างบทความข่าวเกี่ยวกับการแข่งขันฟุตบอลพรีเมียร์ลีกอังกฤษระหว่างลิเวอร์พูลกับแมนเชสเตอร์ยูไนเต็ด โดยคำหลักจะถูกดึงออกมาจากบทความโดยใช้เทคโนโลยี Natural Language Processing (NLP)

ซึ่งในกรณีดังกล่าวก็คือ “สโมสรฟุตบอลลิเวอร์พูล” “สโมสรฟุตบอลแมนเชสเตอร์ยูไนเต็ด” “พรีเมียร์ลีกอังกฤษ” และชื่อผู้เล่นหลักหลายคนจากเกมดังกล่าว เช่น “ดาวิด เด เคอา”

จากนั้นจะมีการกำหนดค่าความเกี่ยวข้องกับคำหลัก ในตัวอย่าง “สโมสรฟุตบอลแมนเชสเตอร์ยูไนเต็ด” เท่ากับ 0.9835 และ “ดาวิด เด เคอา” เท่ากับ 0.9973 ซึ่งทั้งคู่ถือว่าสูงมากตามที่คาดไว้ โปรไฟล์เนื้อหายังรวมถึงเวลาที่เผยแพร่บทความ ซึ่งช่วยให้ระบบคำนวณว่าบทความนั้นล้าสมัยเมื่อใดและหยุดการแนะนำ

โปรไฟล์ผู้ใช้สร้างขึ้นจากแหล่งต่าง ๆ รวมถึงประวัติการท่องเว็บ ประวัติการค้นหา ประเภทของอุปกรณ์ที่พวกเขาใช้ ตำแหน่งของอุปกรณ์ อายุ เพศ และลักษณะพฤติกรรม ผู้ใช้ถูกแบ่งออกเป็นละติจูดหลายหมื่นตามข้อมูลโซเชียลและการขุดพฤติกรรมผู้ใช้เพื่อสร้างโปรไฟล์ที่แตกต่างกัน

เมื่อคุณอ่านโพสต์ที่แพลตฟอร์มแนะนำ มันจะเรียนรู้การตั้งค่าของคุณโดยติดตามพฤติกรรมของคุณ : สิ่งที่คุณเลือกอ่าน สิ่งที่คุณเลือกที่จะยกเลิกอ่าน คุณใช้เวลานานแค่ไหนกับเนื้อหา บทความที่คุณแสดงความคิดเห็น และเรื่องราวใดที่คุณ เลือกที่จะแชร์

สุดท้ายโปรไฟล์สภาพแวดล้อมจะขึ้นอยู่กับตำแหน่งที่ผู้ใช้เสพเนื้อหา เช่น ที่ทำงาน ที่บ้าน หรือระหว่างการเดินทางบนรถไฟใต้ดิน เนื่องจากความชอบของผู้คนแตกต่างกันไปตามสถานการณ์ต่าง ๆ ลักษณะด้านสิ่งแวดล้อมอื่น ๆ ได้แก่ สภาพอากาศและแม้กระทั่งความเสถียรของการเชื่อมต่ออินเทอร์เน็ตของผู้ใช้และเครือข่ายที่พวกเขาใช้ ( เช่น Wi-Fi หรือ China Mobile 4G)

ระบบจะคำนวณการจับคู่ทางสถิติที่รัดกุมที่สุดระหว่างโปรไฟล์เนื้อหา โปรไฟล์ผู้ใช้ และโปรไฟล์สภาพแวดล้อม ซึ่งจะเพิ่มประสิทธิภาพเปอร์เซ็นต์ของบทความที่อ่านและเปอร์เซ็นต์ของบทความที่อ่านเสร็จสิ้นแล้ว (เช่นเวลาที่ใช้)

จากนั้นกระบวนการเผยแพร่เนื้อหาจะจัดสรร “ค่าคำแนะนำ” ให้กับเรื่องราวที่ตีพิมพ์ใหม่แต่ละรายการโดยพิจารณาจากคุณภาพและจำนวนผู้อ่านที่เป็นไปได้ ยิ่งมีมูลค่าสูงเท่าใด ก็จะยิ่งแจกจ่ายบทความให้คนที่เหมาะสมมากขึ้นเท่านั้น

ค่าการแนะนำจะเปลี่ยนไปเมื่อผู้ใช้ตอบโต้กับมัน ปฏิสัมพันธ์ในเชิงบวก เช่น การชอบ การแสดงความคิดเห็น และการแชร์ ช่วยเพิ่มมูลค่าของคำแนะนำ

ส่วนการกระทำเชิงลบ เช่น ไม่ชอบและเวลาในการอ่านสั้น ค่าจะลดลงเมื่อเวลาผ่านไปเนื่องจากเนื้อหาเริ่มล้าสมัย สำหรับหมวดหมู่ข่าวด่วน เช่น ข่าวกีฬา หรือ ราคาหุ้น วันหรือสองวันอาจเพียงพอสำหรับมูลค่าที่จะลดลงอย่างมีนัยสำคัญ สำหรับเนื้อหาหมวดหมู่ที่มีระยะเวลายืนยาว (Evergreen Content) เช่น ไลฟ์สไตล์หรือการทำอาหาร กระบวนการจะช้าลง

ความสวยงามของการพึ่งพาคำแนะนำในการปรับปรุงการมีส่วนร่วมคือการสร้างวัฏจักรที่ดีของการปรับปรุงอย่างต่อเนื่องเมื่อเวลาผ่านไป ซึ่งมักเรียกกันว่า “data network effect” ยิ่งใช้เวลากับแอปมากเท่าไหร่ โปรไฟล์ผู้ใช้ก็จะยิ่งสมบูรณ์ยิ่งขึ้นเท่านั้น ซึ่งนำไปสู่การจับคู่เนื้อหาที่แม่นยำยิ่งขึ้นและประสบการณ์ผู้ใช้ที่ดีขึ้น

Recommendation Engine คือเครื่องจักรอันทรงพลังใหม่ของ ByteDance ที่พวกเขาสามารถที่จะคิดการณ์ใหญ่ มันผลักดันให้ Toutiao แอปอ่านข่าวของพวกเขาแตกต่างอย่างสิ้นเชิงกับแพลตฟอร์มอื่นๆ

Toutiao ที่ได้ recommendation engine พร้อมที่จะติดปีก (CR:Y Combinator)

ในขณะที่แพลตฟอร์มรวมรวมข่าวชั้นนำของตลาดจำนวนมากยังอาศัยเจ้าหน้าที่กองบรรณาธิการที่เป็นมนุษย์ เพื่อคัดเลือกเนื้อหาที่โดดเด่น

มีช่องว่างการตลาดที่ใหญ่มาก ๆ ในสภาพแแวดล้อมการแข่งขันดังกล่าวนี้ มันมีพื้นที่สำหรับ Toutiao ที่จะโจมตี เช่นเดียวกับผู้ร่วมทุนทุกคนที่ปฏิเสธ Yiming สำหรับรอบการลงทุนซีรีส์ B ในตอนนั้นไม่มีแพลตฟอร์มขนาดใหญ่ใดให้ความสำคัญกับการแนะนำเนื้อหาอย่างจริงจัง แม้กระทั่ง Wechat ผู้เล่นรายใหญ่ที่สุดในวงการมือถือ ก็ยังสงสัยเกี่ยวกับเทคโนโลยีดังกล่าวนี้

ต่างจาก Yiming ที่เห็นศักยภาพอันมหาศาลของเครื่องจักรทำเงินใหม่นี้ ByteDance กำลังจะพิสูจน์ให้ยักษ์ใหญ่ทางอินเทอร์เน็ตของจีนทั้งหลายว่าพวกเขาคิดผิด และพวกเขาจะต้องช็อกกับสิ่งที่จะเกิดขึ้นตามมาหลังจากนี้

อ่านตอนที่ 4 : Video, The New Frontier

https://www.blockdit.com/posts/63a341f805945b56b97c2d08

ย้อนไปอ่านตั้งแต่ตอนแรก & Credit แหล่งข้อมูลบทความ

https://www.blockdit.com/posts/639f665b67653c193f1c5ca5

◤━━━━━━━━━━━━━━━◥

หากคุณชอบคอนเทนต์นี้อย่าลืม 'กดไลก์'

หากคอนเทนต์นี้โดนใจอย่าลืม 'กดแชร์'

คิดเห็นอย่างไรคอมเม้นต์กันได้เลยครับผม

◣━━━━━━━━━━━━━━━◢

The original article appeared here https://www.tharadhol.com/tiktok-boom-part2-recommendation-engine/

——————————————–

ติดตาม ด.ดล Blog เพิ่มเติมได้ที่