پروژه پلاگین هوش مصنوعی تولید حرکات انیمیشن مبتنی بر تحلیل لحن و صدا با هدف توسعه یک راهکار هوشمند برای تسهیل و تسریع بخشی از فرآیند تولید انیمیشن سه‌بعدی شکل گرفته است.

این سامانه با دریافت فایل صوتی و تحلیل ویژگی‌های گفتار، از قابلیت‌های هوش مصنوعی برای تولید حرکات متناسب با صدا و نحوه بیان استفاده می‌کند. هدف این رویکرد، خودکارسازی بخشی از فرآیند تولید حرکت برای کاراکترهای سه‌بعدی و کاهش زمان موردنیاز برای ایجاد و اصلاح حرکات توسط انیماتورهاست.

هسته اجرایی پروژه از یک سامانه پردازش هوشمند صوت و حرکت و یک پلاگین اختصاصی برای نرم‌افزار Blender تشکیل شده است. پلاگین، ارتباط میان محیط تولید انیمیشن و سامانه هوش مصنوعی را برقرار می‌کند و خروجی تولیدشده را روی ریگ کاراکتر سه‌بعدی اعمال می‌کند.

در وضعیت فعلی، زیرساخت اصلی سامانه و پلاگین توسعه یافته و نمونه عملی آن در محیط Blender مورد آزمایش قرار گرفته است. توسعه پروژه با تمرکز بر افزایش کیفیت حرکات، بهبود مدل هوش مصنوعی و گسترش قابلیت‌های سامانه ادامه دارد.

تولید حرکات طبیعی برای کاراکترهای سه‌بعدی یکی از بخش‌های تخصصی و زمان‌بر فرآیند انیمیشن سه‌بعدی است. ایجاد حرکت مناسب برای بدن، دست‌ها، حالات چهره و جابه‌جایی کاراکتر معمولاً به زمان قابل‌توجهی از تیم تولید نیاز دارد و در بسیاری از پروژه‌ها اصلاح و تنظیم مداوم حرکات نیز ضروری است.

این مسئله زمانی اهمیت بیشتری پیدا می‌کند که حجم تولید محتوا افزایش پیدا کند و یک پروژه به تعداد زیادی حرکت و تعامل میان کاراکترها نیاز داشته باشد.

هدف این پروژه، استفاده از ظرفیت هوش مصنوعی در تولید انیمیشن برای ایجاد ارتباط میان صوت، لحن و نحوه بیان و حرکات کاراکتر است. در این رویکرد، بخشی از اطلاعات حرکتی به‌صورت خودکار از داده‌های صوتی استخراج و به حرکت قابل استفاده برای کاراکتر سه‌بعدی تبدیل می‌شود.

این فناوری می‌تواند به‌عنوان یک ابزار کمکی برای انیماتورها مورد استفاده قرار گیرد؛ به این معنا که به جای جایگزین کردن کامل فرآیند انیمیشن، بخشی از مراحل اولیه تولید حرکت را خودکار کرده و امکان اصلاح و تکمیل خروجی توسط هنرمند را فراهم کند.

اهمیت پروژه در ایجاد ارتباط میان هوش مصنوعی، پردازش صوت و نرم‌افزارهای حرفه‌ای تولید انیمیشن است. چنین رویکردی می‌تواند زمینه توسعه ابزارهای هوشمندتر برای تولید محتوای سه‌بعدی و بهینه‌سازی بخشی از فرآیند تولید انیمیشن را فراهم کند.

رویکرد اصلی پروژه ایجاد یک زنجیره مستقیم میان صوت، تحلیل ویژگی‌های گفتار و تولید حرکت انیمیشنی است.

در این فرآیند، فایل صوتی به سامانه ارسال می‌شود و پس از آماده‌سازی، ویژگی‌های مرتبط با صوت و نحوه بیان توسط سامانه پردازش می‌شوند. مدل هوش مصنوعی بر اساس اطلاعات استخراج‌شده، پارامترهای موردنیاز برای ایجاد حرکت کاراکتر را تولید می‌کند.

خروجی می‌تواند شامل داده‌های مربوط به:

• حرکات بدن
• حرکات دست‌ها
• حالات چهره
• وضعیت و جابه‌جایی کلی کاراکتر

باشد.

یکی از بخش‌های شاخص پروژه، توسعه پلاگین اختصاصی برای Blender است. این پلاگین به‌عنوان رابط میان سامانه پردازش هوش مصنوعی و محیط تولید انیمیشن عمل می‌کند.

پس از تولید داده‌های حرکتی، اطلاعات از طریق ارتباط میان سرور و پلاگین به محیط Blender منتقل شده و با استفاده از فرآیند Retargeting روی ریگ کاراکتر اعمال می‌شود.

معماری پروژه به‌گونه‌ای طراحی شده است که در مراحل بعدی امکان توسعه مدل‌های هوش مصنوعی، پشتیبانی از ریگ‌های متنوع، افزایش کیفیت حرکات و حرکت به سمت پردازش نزدیک به زمان واقعی فراهم باشد.

تولید حرکت از صوت با استفاده از هوش مصنوعی

پروژه با ایجاد ارتباط میان فایل صوتی و حرکت کاراکتر، امکان تولید داده‌های حرکتی بر اساس اطلاعات استخراج‌شده از صوت را فراهم می‌کند.

تحلیل لحن و ویژگی‌های گفتار

یکی از بخش‌های مهم سامانه، توجه به ویژگی‌های صوت و نحوه بیان است. هدف این است که تفاوت میان الگوهای مختلف گفتار بتواند در خروجی حرکتی کاراکتر نیز بازتاب پیدا کند.

تولید حرکت برای بخش‌های مختلف کاراکتر

خروجی سامانه محدود به یک حرکت ساده نیست و می‌تواند داده‌های مربوط به بدن، دست‌ها، حالات چهره و جابه‌جایی کلی کاراکتر را شامل شود.

پلاگین اختصاصی Blender

توسعه پلاگین اختصاصی، امکان انتقال مستقیم خروجی سامانه هوش مصنوعی به محیط Blender را فراهم می‌کند و فاصله میان پردازش هوش مصنوعی و فرآیند تولید انیمیشن را کاهش می‌دهد.

فرآیند Retargeting

داده‌های حرکتی تولیدشده پس از انتقال به Blender می‌توانند از طریق فرآیند Retargeting روی ریگ کاراکتر اعمال شوند و برای ادامه فرآیند انیمیشن مورد استفاده قرار گیرند.

خروجی‌های استاندارد حرکتی

سامانه امکان تولید داده‌های حرکتی در قالب‌هایی مانند SMPL-X و BVH را در نظر گرفته است تا خروجی بتواند در فرآیندهای مختلف تولید و پردازش حرکت مورد استفاده قرار گیرد.

معماری قابل توسعه

ساختار نرم‌افزاری پروژه به‌گونه‌ای طراحی شده که امکان توسعه مدل‌های جدید هوش مصنوعی، پشتیبانی از ریگ‌های بیشتر، افزایش کیفیت خروجی و اضافه شدن قابلیت‌های جدید در مراحل بعدی وجود داشته باشد.

پردازش فایل صوتی

در نسخه فعلی، امکان ارسال فایل صوتی به سامانه و دریافت خروجی حرکتی متناسب با آن فراهم شده است. ورودی اصلی سامانه فایل صوتی با مشخصات مناسب برای پردازش است.

فرآیند عملکرد سامانه از دریافت فایل صوتی آغاز می‌شود.

۱. دریافت و آماده‌سازی صوت

فایل صوتی ورودی دریافت شده و برای پردازش آماده می‌شود. در نسخه فعلی، فایل صوتی با فرمت WAV و مشخصات مناسب برای پردازش به سامانه ارسال می‌شود.

۲. تحلیل صوت

اطلاعات موجود در فایل صوتی توسط زیرساخت پردازش سامانه تحلیل می‌شود. در این مرحله، ویژگی‌های موردنیاز برای تولید حرکت از داده صوتی استخراج می‌شوند.

۳. پردازش توسط مدل هوش مصنوعی

مدل هوش مصنوعی با استفاده از اطلاعات استخراج‌شده، پارامترهای موردنیاز برای ایجاد حرکت کاراکتر را تولید می‌کند.

در این مرحله هدف، ایجاد ارتباط میان ویژگی‌های صوت و لحن با حرکت بدن، دست‌ها و حالات چهره کاراکتر است.

۴. تولید داده‌های حرکتی

نتیجه پردازش به داده‌های حرکتی تبدیل می‌شود که می‌توانند وضعیت بخش‌های مختلف کاراکتر و جابه‌جایی آن را توصیف کنند.

۵. انتقال خروجی به Blender

داده‌های تولیدشده از طریق ارتباط میان سامانه پردازش و پلاگین اختصاصی Blender منتقل می‌شوند.

۶. Retargeting روی ریگ کاراکتر

پلاگین داده‌های حرکتی را دریافت کرده و با استفاده از فرآیند Retargeting، حرکت تولیدشده را روی ریگ کاراکتر سه‌بعدی اعمال می‌کند.

۷. اصلاح و توسعه حرکت

خروجی ایجادشده می‌تواند به‌عنوان نقطه شروع فرآیند انیمیشن مورد استفاده قرار گیرد و در ادامه توسط انیماتور بررسی، اصلاح و تکمیل شود.

در حال حاضر، این فرآیند به‌صورت نمونه عملی در محیط Blender پیاده‌سازی و آزمایش شده است. مراحل بعدی پروژه شامل بهبود کیفیت و طبیعی بودن حرکات، افزایش قابلیت تعمیم مدل، توسعه پشتیبانی از ریگ‌های مختلف و تکمیل قابلیت‌های پردازش صوت و حرکت خواهد بود.

یکی از مهم‌ترین چالش‌های توسعه سیستم تولید حرکت انیمیشن با هوش مصنوعی، ایجاد ارتباط طبیعی میان ویژگی‌های صوت، لحن و نحوه بیان با حرکات بدن و حالات چهره کاراکتر است.

تولید حرکت صرفاً بر اساس وجود صوت کافی نیست. یک سامانه کاربردی باید بتواند تفاوت میان الگوهای مختلف گفتار را تشخیص داده و خروجی حرکتی متناسب با آن ایجاد کند.

چالش دیگر به داده‌های موردنیاز برای آموزش و توسعه مدل‌های هوش مصنوعی مربوط می‌شود. کیفیت و تنوع داده‌های آموزشی می‌تواند بر توانایی مدل در مواجهه با صداها، لحن‌ها و الگوهای گفتاری مختلف تأثیر بگذارد.

از طرف دیگر، انتقال خروجی مدل هوش مصنوعی به ریگ‌های مختلف و حفظ کیفیت حرکت در محیط تولید انیمیشن نیز یک چالش فنی مهم است. ساختار ریگ کاراکترها می‌تواند متفاوت باشد و همین موضوع نیاز به توسعه و بهینه‌سازی فرآیند Retargeting را افزایش می‌دهد.

در نسخه فعلی، تمرکز اصلی پروژه بر ایجاد و آزمایش زنجیره پردازش صوت تا تولید و اعمال حرکت در Blender بوده است و توسعه قابلیت‌های بیشتر در مراحل بعدی دنبال خواهد شد.

یکی از مهم‌ترین دستاوردهای فعلی پروژه، توسعه زیرساخت اصلی پردازش صوت و تولید حرکت انیمیشنی و ایجاد ارتباط میان سامانه هوش مصنوعی و نرم‌افزار Blender است.

همچنین نمونه عملی پلاگین اختصاصی Blender توسعه یافته و فرآیند دریافت صوت، پردازش، تولید خروجی حرکتی و اعمال آن روی کاراکتر سه‌بعدی مورد آزمایش قرار گرفته است.

عملکرد نمونه توسعه‌یافته با چند فایل صوتی از پیش ضبط‌شده با لحن‌های متفاوت آزمایش شده و خروجی‌های حرکتی متفاوتی برای یک کاراکتر سه‌بعدی ایجاد شده است.

چشم‌انداز پروژه

در ادامه مسیر، تمرکز پروژه بر افزایش کیفیت و طبیعی بودن حرکات، تقویت مدل هوش مصنوعی، توسعه زیرساخت داده، افزایش تنوع ریگ‌های قابل پشتیبانی و حرکت به سمت قابلیت‌های پردازش نزدیک به زمان واقعی خواهد بود.

همچنین توسعه نسخه‌های سازگار با سایر نرم‌افزارها و موتورهای مورد استفاده در صنعت انیمیشن می‌تواند در مراحل بعدی دنبال شود.

چشم‌انداز نهایی پروژه، توسعه مجموعه‌ای از ابزارهای نرم‌افزاری هوشمند برای خودکارسازی بخش‌هایی از فرآیند تولید انیمیشن سه‌بعدی و ارائه فناوری‌هایی است که بتوانند در جریان کاری حرفه‌ای استودیوها و تولیدکنندگان محتوای دیجیتال مورد استفاده قرار گیرند.

پروژه کیا رایان نگار در ابتدا در بستر خانه خلاق و شتاب‌دهنده کیاگستر شکل گرفت و در مسیر توسعه خود از ظرفیت‌های این مجموعه در زمینه شکل‌گیری ایده، توسعه تیم، هدایت پروژه و ارتباط با زیست‌بوم صنایع خلاق بهره‌مند شد.

حضور پروژه در اکوسیستم کیاگستر امکان ارتباط نزدیک‌تر با حوزه انیمیشن، تولیدکنندگان محتوای دیجیتال و فعالان صنایع خلاق را فراهم کرد و بستری برای توسعه ایده و حرکت آن از مرحله اولیه به سمت یک نمونه عملی فناوری ایجاد شد.

پس از طی مراحل شتاب‌دهی، پروژه در مسیر توسعه مستقل قرار گرفت و شرکت کیا رایان نگار اسپادانا در تاریخ ۱۴ اردیبهشت ۱۴۰۵ به ثبت رسید.

ارتباط پروژه با اکوسیستم کیاگستر همچنان در زمینه توسعه فناوری، ارتباط با صنعت انیمیشن و صنایع خلاق و استفاده از ظرفیت‌های این مجموعه ادامه دارد.

پروژه پلاگین هوش مصنوعی تولید حرکات انیمیشن مبتنی بر تحلیل لحن و صدا تلاشی برای ایجاد ارتباط میان هوش مصنوعی، پردازش صوت و تولید انیمیشن سه‌بعدی است.

این سامانه با دریافت صوت و تولید داده‌های حرکتی، بخشی از فرآیند ایجاد حرکت برای کاراکترهای سه‌بعدی را خودکار می‌کند و از طریق پلاگین اختصاصی Blender امکان انتقال خروجی به محیط تولید انیمیشن را فراهم می‌سازد.

توسعه این فناوری می‌تواند مسیر استفاده گسترده‌تر از هوش مصنوعی در انیمیشن را هموار کرده و ابزارهای جدیدی برای افزایش سرعت و بهره‌وری فرآیند تولید در اختیار انیماتورها و استودیوهای تولید محتوای سه‌بعدی قرار دهد.