กล้องตาบอด: การแสดงภาพฉากจากเสียงเพียงอย่างเดียว

เมื่อเราเห็นรูปถ่ายหรือรูปถ่ายของฉากหนึ่งๆ เรามักจะนึกภาพออกว่าเสียงใดที่มาพร้อมกับเสียงนั้น แต่จะเป็นอย่างไรหากกลับด้าน และเราต้องจินตนาการถึงฉากที่ประกอบกับเสียง เราจะเข้าใกล้แค่ไหนในการสร้างฉากขึ้นมาใหม่ในความคิดของเรา โดยปราศจากอคติของการเลี้ยงดูและภูมิหลังของเราที่ทำให้สิ่งนี้กลายเป็นงานที่แทบจะเป็นไปไม่ได้ นี่คือจุดเน้นของโครงการโดย [ดีเอโก้ ทรูจิลโล ปิซานตี] ที่เขาเรียกว่า Blind Camera.

จากข้อมูลวิดีโอที่บันทึกในเม็กซิโกซิตี้ โครงข่ายประสาทเทียมที่สร้างขึ้นโดยใช้ Tensorflow 3 ได้รับการฝึกโดยใช้ GPU RTX 3080 บนชุดข้อมูลที่มีเฟรมจากวิดีโอเหล่านี้ซึ่งเชื่อมโยงกับเสียง ผลที่ตามมาคือ เมื่อโครงข่ายประสาทที่ได้รับการฝึกฝนมาแสดงด้วยโปรไฟล์เสียง ("ภาพถ่าย") ก็จะพยายามสร้างฉากขึ้นใหม่ตามอินพุตนี้และโมเดลของมัน ซึ่งทั้งหมดได้รับการปรับให้ทำงานบนเครือข่ายเดียว บอร์ด Raspberry Pi 3B

อย่างไรก็ตาม เนื่องจากตัวแบบทั้งหมดรู้ว่าเป็นภาพและเสียงของเม็กซิโกซิตี้ ภาพที่ได้จะถูกนำเสนอเป็นส่วนประกอบของฉากจากเมืองนี้เสมอ อย่างที่ [ดิเอโก] พูดไว้: สำหรับอุปกรณ์ทุกอย่างคือเมือง เป็นวิธีที่ดีในการแสดงให้เห็นว่าโครงข่ายประสาทเทียมไม่เพียงถูกจำกัดโดยข้อมูลการฝึกอบรมเท่านั้น แต่มนุษย์เราก็เช่นกัน

[เนื้อหาฝัง]

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• การเงิน EVM ส่วนต่อประสานแบบครบวงจรสำหรับการเงินแบบกระจายอำนาจ เข้าถึงได้ที่นี่.
• กลุ่มสื่อควอนตัม IR/PR ขยาย เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
• ที่มา: https://hackaday.com/2023/06/12/blind-camera-visualizing-a-scene-from-its-sounds-alone/