خلق تصاویر هوش مصنوعی از خیابان‌ها بر اساس شنیده‌ها از صداهای آن‌ها

، در حال حاضر مدل‌های هوش مصنوعی وجود دارند که صداهای محیطی را برای هماهنگ‌سازی با تصاویر بی‌صدا از خیابان‌ها و دیگر مکان‌ها تولید می‌کنند. اما فناوری جدیدی که به تازگی آزمایش شده است، برعکس این روند عمل کرده و با دقتی شگفت‌انگیز تصاویری را از اصوات خیابان‌ها به تصویر می‌کشد.

بر اساس گزارش نیو اطلس، پروفسور یوهائو کانگ و تیم او در دانشگاه تگزاس در آستین، یک مدل تبدیل صدا به تصویر را با استفاده از مجموعه‌ای از کلیپ‌های صوتی و تصویری ۱۰ ثانیه‌ای آموزش داده‌اند.

این کلیپ‌ها شامل ترکیبی از تصاویر ثابت و صدای محیطی بودند که از ویدیوهای یوتیوب در خیابان‌های شهری و روستایی آمریکای شمالی، آسیا و اروپا استخراج شده بودند.

این سیستم به کمک الگوریتم‌های یادگیری عمیق توانست یاد بگیرد که کدام صداها با کدام عناصر درون تصاویر هم‌راستا هستند و همچنین کیفیت صدا را با محیط بصری مربوط به آن مرتبط سازد.

پس از اتمام فراگیری این سیستم، هوش مصنوعی مسئولیت تولید تصاویر را بر اساس صداهای محیطی ضبط شده از ۱۰۰ کلیپ دیگر که از خیابان‌ها گرفته شده بودند بر عهده گرفت و برای هر ویدیو یک تصویر منحصر به فرد خلق کرد.

در ادامه، گروهی از داوران انسانی به ارزیابی این تصاویر پرداختند و هر یک از آن‌ها را در کنار دو تصویر دیگر از خیابان‌های بجا مانده مورد بررسی قرار دادند، در حالی که به صدای ویدیویی که تصویر بر اساس آن شکل گرفته بود، گوش می‌دادند. در این آزمون، آن‌ها به طور متوسط با دقت ۸۰ درصد توانستند تشخیص دهند کدام یک از این تصاویر با موسیقی متن در ارتباط است.

علاوه بر این، در هنگام تجزیه و تحلیل تصاویر تولید شده توسط رایانه، مشخص شد که تصاویر ایجاد شده از آسمان، فضاهای سبز و ساختمان‌ها به مقدار قابل توجهی با تصاویر واقعی موجود در ویدیوهای اصلی هم‌خوانی داشته است.

در واقع، در بسیاری از موارد، تصاویر ایجاد شده شرایط نوری ویدیوهای مصدر، نظیر آسمانی آفتابی، ابری یا شبانه را به خوبی نشان می‌دادند. این موضوع ممکن است به خاطر کاهش صدای ترافیک در شب یا صدای حشرات شبانه امکان‌پذیر شده باشد.

اگرچه این فناوری می‌تواند کاربردهایی نظیر ارزیابی تقریبی از محل ضبط صدا در زمینه پزشکی قانونی داشته باشد، اما هدف اصلی این مطالعه بیشتر بر بررسی چگونگی تأثیر صدا بر احساس مکان ما متمرکز است.

دانشمندان این تحقیق اظهار می‌دارند: یافته‌ها می‌تواند اطلاعات ما را درباره تأثیر ادراکات بصری و شنیداری بر سلامت روان انسان افزایش دهد و به بهینه‌سازی طریق طراحی شهری و ارتقاء کیفیت زندگی در جوامع کمک کند.

این تحقیق در نشریه Nature منتشر شده است.