تصویرسازی هوش مصنوعی از خیابان‌ها با گوش دادن به صدای آنها

به گزارش ایسنا، در حالی که هم اکنون مدل‌های هوش مصنوعی وجود دارند که جلوه‌های صوتی را برای مطابقت با تصاویر بی‌صدا از خیابان‌ها و مکان‌های دیگر تولید می‌کنند، یک فناوری جدید آزمایشی دقیقاً برعکس عمل می‌کند و تصاویر را با دقت عجیبی از صدای خیابان‌ها تولید می‌کند.

به نقل از نیو اطلس، پروفسور یوهائو کانگ و همکارانش از دانشگاه تگزاس در آستین، یک مدل تبدیل صدا به تصویر را بر روی مجموعه داده‌ای از کلیپ‌های صوتی و تصویری ۱۰ ثانیه‌ای آموزش داده‌اند.

این کلیپ‌ها شامل تصاویر ثابت و صدای محیطی بود که از ویدیوهای یوتیوب از خیابان‌های شهری و روستایی در آمریکای شمالی، آسیا و اروپا گرفته شده بود.

این سیستم با استفاده از الگوریتم‌های یادگیری عمیق، نه تنها یاد گرفت که کدام صداها با کدام موارد درون تصاویر مطابقت دارند، بلکه همچنین تشخیص داد که کیفیت صدا با کدام محیط بصری مطابقت دارد.

هنگامی که آموزش این سیستم کامل شد، هوش مصنوعی وظیفه تولید تصاویر را بر اساس صدای محیطی ضبط شده از ۱۰۰ کلیپ دیگر که از خیابان‌ها ضبط شده بود، بر عهده گرفت و برای هر ویدیو یک تصویر تولید کرد.

متعاقباً گروهی از داوران انسانی هر یک از آن تصاویر را در کنار دو تصویر تولید شده از خیابان‌های دیگر مشاهده کردند، در حالی که به صدای ویدیویی که تصویر بر اساس آن ساخته شده بود، گوش می‌دادند. وقتی از آنها خواسته شد که تشخیص دهند کدام یک از این سه تصویر با موسیقی متن مطابقت دارد و آنها به طور متوسط ​​با ۸۰ درصد دقت تواستند تشخیص دهند.

علاوه بر این، هنگامی که تصاویر تولید شده توسط رایانه تجزیه و تحلیل شد، تصاویر تولید شده از آسمان، فضای سبز و ساختمان‌ها به شدت با تصاویر واقعی موجود در ویدئوهای اصلی مرتبط بود.

در واقع در بسیاری از موارد، تصاویر تولید شده، شرایط نوری ویدئوهای منبع، مانند آسمان آفتابی، ابری یا شبانه را نیز منعکس می‌کردند. این ممکن است با عواملی مانند کاهش صدای ترافیک در شب یا صدای حشرات شبانه امکان‌پذیر شده باشد.

اگرچه این فناوری می‌تواند کاربردهایی مانند دریافت یک ایده تقریبی از محل ضبط صدا در پزشکی قانونی داشته باشد، اما هدف این مطالعه بیشتر بررسی این است که چگونه صدا به حس مکان ما کمک می‌کند.

دانشمندان این مطالعه می‌گویند: نتایج می‌تواند دانش ما را در مورد تأثیر ادراکات دیداری و شنیداری بر سلامت روان انسان افزایش دهد و همچنین ممکن است شیوه‌های طراحی شهری را بهینه کند و کیفیت کلی زندگی در جوامع را بهبود بخشد.

این مطالعه در مجله Nature منتشر شده است.

انتهای پیام