ارائه کننده : سمیه حمیدی طبس
استاد راهنما: دكتر توكتم خطيبي
استاد داور داخلي: دكتر بابك تيمورپور
استاد داور خارج از دانشگاه: دكتر هادي زارع
نماينده تحصيلات تكميلي: دكتر بابك تيمورپور
زمان: 1403/09/13      
ساعت: 11:00
مكان: اتاق 351 دانشكده فني و مهندسي

چکیده:
تشخیص هیجانات انسانی از طریق گفتار یکی از چالش‌های مهم در حوزه پردازش سیگنال و هوش مصنوعی است. این مسئله در زمینه‌هایی مانند تعامل انسان-کامپیوتر، سیستم‌های مراقبت بهداشتی هوشمند و مراکز تماس خودکار اهمیت ویژه‌ای دارد. تشخیص دقیق هیجانات می‌تواند به بهبود کیفیت ارتباطات، افزایش رضایت مشتری و حتی تشخیص زودهنگام اختلالات روانی کمک کند. هدف این پژوهش ارائه یک روش اتوماتیک برای تشخیص هیجانات گفتاری است. در این پژوهش، از دو مجموعه‌داده  Cafe (شامل گفتار به زبان فرانسوی) و یک مجموعه داده فارسی استفاده شده است. هر دو مجموعه داده شامل نمونه‌های صوتی با هیجانات مختلف مانند شادی، غم، خشم و تعجب هستند. روش حل پیشنهادی بر اساس استفاده از شبکه‌های پیچشی گرافی (GCN) است که یک رویکرد نوآورانه در پردازش سیگنال‌های گفتاری محسوب می‌شود. نوآوری اصلی این روش، استفاده از ساختار گرافی برای نمایش سیگنال گفتار، و همینطور استفاده همزمان از سه روش معروف ضرایب کپسترال فرکانس مل (MFCC)، نرخ عبور از صفر (ZCR) و ریشه میانگین انرژی مربع (RMSE) برای پیش‌پردازش سیگنال گفتار است که امکان استخراج ویژگی‌های پیچیده‌تر را فراهم می‌کند. مدل پیشنهادی برای مجموعه داده Cafe دقت 86% و برای مجموعه داده فارسی دقت 80% را نشان می‌دهد. این نتایج حاکی از عملکرد قابل قبول مدل در هر دو زبان است. در هر دو مجموعه داده، مدل در تشخیص هیجان تعجب بهترین عملکرد و در تشخیص ترس ضعیف‌ترین عملکرد را دارد. مزیت اصلی روش پیشنهادی، توانایی آن در استخراج ویژگی‌های پیچیده از ساختار زمانی سیگنال گفتار است که در روش‌های سنتی کمتر مورد توجه قرار می‌گیرد. این پژوهش نشان می‌دهد که استفاده از GCN در تشخیص هیجان از گفتار پتانسیل قابل توجهی دارد. با این وجود، برای کاربردهای عملی، نیاز به بهینه‌سازی بیشتر مدل وجود دارد.