20 มิ.ย. 2019 เวลา 18:14
มาต่อครับ
กล้องมือถือทำงานยังไงนะ2
ไปอ่านโพสแรกด้วยนะ เดี๋ยวงงครับ
เจ้าเม็ดไดโอดที่อยู่ในเซนเซอร์
จะเรียกกันว่า Sensel(เซนเซล)
ซึ่งเมื่อได้ข้อมูลจากเซนเซอร์มาแล้ว
ถ้าคุณแอบดูภาพที่ได้จะไม่มีคำว่า
“ภาพสวย” อยู่ในหัวเลยล่ะครับ
เพราะข้อมูลที่ออกมามันเป็นข้อมูลดิบๆ
ที่ต้องเอาไปทำอะไรต่อมิอะไร
หลายอย่างมากๆครับ
ซึ่งกระบวนการพวกนี้ จะเรียกรวมๆว่า
“post processing” ซึ่งจะเป็นการใช้ software ทำล้วนๆ
และก็เป็นพระเอกของงานนี้ด้วยครับ
หลังจากได้ข้อมูลมาแล้ว เจ้าแผงวงจรทั้งหลายก็จะจัดการแปลงข้อมูลที่ได้มาซึ่งเป็นข้อมูลอนาล็อก ให้กลายเป็นข้อมูลดิจิตอลซะก่อนครับ
(ให้กลายเป็น 0 กับ 1 จะได้คุยกับ cpu รู้เรื่อง)
ต่อมาก็จับข้อมูลมาทำการ correction ต่างๆ เช่น
Black-level adjustment(การปรับค่าขาวดำ) หรือ
Color scaling(การเพิ่มค่าสีให้ตรงความเป็นจริง) เป็นต้น
หลังจากทำ linear transform แล้ว ซึ่งก็คืออันเดียวกับที่เขียนไว้ข้างบน
และหลังจากนั้นก็ส่งต่อไปยังกระบวนการ
Demosaicing(เดโมไซซิ่ง) ซึ่งก็คือกระบวนการเติมสีที่หายไป
จุดสำคัญที่จะงงกันมันอยู่ตรงนี้ครับ
ต้องท้าวความก่อนว่า(อีกละ) เมื่อเราลั่นชัตเตอร์ ตอนที่แสงตกกระทบเจ้าเซนเซอร์ เราจะได้ข้อมูลมาครั้งเดียว และชุดเดียว
เนื่องจากเราไม่สามารถไปนั่งคุยกับเจ้าโฟตอนที่อยู่ในแสง ว่าให้มันอยู่ใน
เซนเซอร์นานๆ เพื่อที่เจ้าพิกเซลแต่ละเม็ดจะมานั่งเก็บค่าสีทีละค่าจนครบสามสีได้
ค่าแสงที่เม็ดพิกเซลแต่ละเม็ดเก็บได้ จึงมีแค่ค่าของสีเดียวเท่านั้น
ช่องขาวๆคือส่วนที่ว่างเปล่า ไม่สามารถเก็บค่าสีได้ เพราะใช้เก็บค่าสีอื่นไปแล้ว จึงต้องนำมาจำลองค่าสี หลังจากนั้นจึงจะได้ทั้งสามสีแบบครบๆ
อันนี้สำหรับคนงง
สมมุติว่าเรายัดเงินให้เจ้าโฟตอนที่อยู่ในแสง ให้มันนั่งอยู่ในเม็ดพิกเซลนานๆได้ แล้วก็ให้เจ้าเม็ดพิกเซลค่อยๆ เก็บค่าแสงทีละค่า
“สีแดง..เข้ม25..สีเขียว..เข้ม100..
สีน้ำเงิน..เข้ม250..อ่ะจดไว้นะ”
หลังจากนั้นก็เอาค่าสีมารวม
กลายเป็น 1 พิกเซล
รวมแต่ละพิกเซล ได้รูป 1 รูป
จบ
ง่ายเกินครับ
แต่ในความเป็นจริงเราทำไม่ได้ครับ
แสงวิ่งเข้ามาแล้วก็ไป หยุดไม่ได้
จึงต้องเก็บค่าแสงแบบขาดๆเกินๆมานั่นแหละ
แล้วใช้ซอฟแวร์ช่วยเอา(Demosaicing)
กลับมาต่อ
เมื่อเราเอาข้อมูลที่ได้มาแยกสีดู เป็นสามภาพ
ภาพนึงสีแดงล้วน
ภาพนึงสีเขียวล้วน
ภาพนึงสีน้ำเงินล้วน จะสังเกตุว่า มีส่วนที่ขาดหายไป(ช่องสีขาวในภาพ)
ช่องสีขาวๆนี้จะถูกจำลองค่าสีและยัดใส่ให้ครบ นั่นก็แปลว่าภาพบนมือถือท่านแต่ละภาพจะมีส่วนที่ถูกปลอมขึ้นมาปนอยู่ด้วย
ซึ่งเราจะใช้การประมาณค่า โดยอาศัยพิกเซลข้างเคียง
เห็นลูกศรสี่อันที่ชี้เข้ามาตรงกลางมั้ยครับ
เจ้าสีเขียวโดยรอบสี่พิกเซลจะถูกนำค่าแสงมาเฉลี่ยแล้วยัดเยียดค่าสีเขียวที่ได้ ให้เจ้าพิกเซลสีขาวตรงกลางซะ
สีอื่นก็ทำแบบเดียวกันครับ และที่ขอบก็จะเหลือแค่สองพิกเซลที่ถูกนำมาใช้ครับ
ทีนี้เราก็จะได้ภาพแบบเต็มๆ ไม่มีช่องว่างสีขาวทั้งสามภาพละ พอเอามาซ้อนกันแต่ละพิกเซลก็จะมีข้อมูลของทั้งสามสี และจะสามารถนำไปทำเป็นภาพสีได้แล้วครับ
หลังจากทำ demosaicing แล้ว เริ่มดูดีละ
แต่ทว่า... 555 มันยังไม่จบแค่นั้นครับ หลังจากนั้นจึงเข้าสู่ขั้นตอน gamma correction และ ปรับค่าสีให้เข้าสู่ค่า sRGB
ได้ภาพมาซะที55
โดยใช้ metric(เมทริก) 3X3 ถึงจะครบถ้วนกระบวนความ ได้ภาพสวยๆมาเก็บไว้ในมือถือของเราครับ
บอกแล้ว ตอนม.5 อย่าโดดเรียน
เพิ่มเติม
กระบวนการ Demosaicing ที่ผมอธิบายนี้
เป็นเพียง 1 ในอัลกอริทึมหลายๆตัวที่ใช้เพื่อทำให้ภาพสมบูรณ์
และตัวนี้เป็นวิธีที่ง่ายที่สุดแล้ว
ยังมีการ Demosaicing อีกมากมายหลายแบบที่ให้ภาพที่ดีกว่านี้ เช่น AMaZE ,DCB ,RCD และบางแบบก็ใช้ได้ดีกับบางสถานการณ์เท่านั้น
ในโทรศัพท์รุ่นใหม่ เราจึงเห็นว่ามีการนำ AI เข้ามาช่วยในการบอกว่าภาพนี้เป็นภาพแบบไหน ควรใช้อัลกอริทึมตัวไหนถึงดีที่สุด
และนำภาพจำนวนมหาศาลมาฝึกเจ้า AI ให้เก่งขึ้นนั่นเองครับ
แถม
เมื่อเวลาผ่านไป เทคโนโลยีดีขึ้น
กล้องก็สามารถถ่ายได้เร็วขึ้น
ซึ่งมีเทคนิคนึงที่ชื่อว่า Pixel shift resolution ซึ่งเป็นการถ่าย 4 รอบแบบเร็วๆ ซึ่งในแต่ละรอบก็จะเลื่อนเซนเซอร์ไปข้างๆทีละ 1 พิกเซล ทำให้เม็ดพิกเซล หนึ่งตัว ได้รับค่าสีจริงๆครบทั้งสามสี จึงไม่ต้องทำ Demosaicing ซึ่งใช้กันทั้ง Hasselblad ,Pentax ,Apple
แต่ถ้าเจอวัตถุเคลื่อนไหวเร็วๆ ก็เอาไม่อยู่เหมือนกัน
ถ้าอ่านจนจบจะสังเกตุเห็นว่ากระบวนการของการถ่ายรูปจะไปเน้นหนักที่ส่วน software ใช่มั้ยล่ะครับ
นี่ก็คงเป็นอีกเหตุผลที่เจ้ามือถือ Pixel 3 ของ Google สามารถดันตัวเองขึ้นไปอยู่ระดับท็อปแรงค์ได้ โดยใช้แค่กล้องตัวเดียวเท่านั้น
จนได้ฉายาว่า “พลังแห่ง AI” (ผมตั้งเอง555)
Pixel จาก Google
ซึ่งที่เขียนไปทั้งหมดนี้คือขั้นตอนพื้นฐานในการทำงานของกล้องมือถือนะครับ
จริงๆแล้วยังมีรายละเอียดปลีกย่อยหลายๆอย่างที่ยังไม่ได้พูดถึง
ถ้าไม่เข้าใจก็ถามได้นะ
ตอนหน้าจะมาอธิบายเรื่องเซนเซอร์ 48 ล้านพิกเซล ที่ทำไมมาอยู่ในมือถือราคาถูกอย่าง redmi note 7 ได้ แล้วมันดียังไง ทำไมมือถือแพงๆบางตัวไม่เอาไปใช้มั่ง
ตอนนี้ปวดมือครับ พิมพ์ในโทรศัพท์ยากจริงจัง555
ขอบคุณที่อ่านจนจบคร้าบบบบ

ดูเพิ่มเติมในซีรีส์

โฆษณา