استفاده از Whisper یا Whisper-Jax برای استخراج ویژگی (logits) از یک فایل صدا
یک سال پیش منتشر شده
تعداد بازدید: 253
کد پروژه: 418128
شرح پروژه
سلام وقت بخیر.
هدف من استخراج ویژگی (logits) از صدا با زمان اجرای کم است. در حال حاضر من از مدل wav2vec استفاده میکنم که کد ان در اینجا قرار داده شده است.
اما چون نیاز به مدلی با زمان اجرای پایین تر دارم قصد دارم از Whisper استفاده کنم که بسیار سریعتر هستند. اما به شرطی که shape خروجی شبیه shape خروجی wav2vec باشه: (x, y) که مقدار x رابطه معنا دار با طول فایل صدا دارد (یعنی مثلا اگر فایل صدا 23 ثانیه باشد x=23*50 یعنی 1150 دارد). و مقدار y یک عدد ثابت تعداد کلاس طبقه بندی مدل است ، برای مثال برای wav2vec عدد 44 است. برای ویسپر فک کنم 80 باشد.
https://colab.research.google.com/drive/17Hu1pxqhfMisjkSgmM2CnZxfqDyn2hSY?usp=sharing
این لینک میتونه مفید باشه.
با تشکر
این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.
مهارت ها و تخصص های مورد نیاز
بودجه
300,000 تومان تا 750,000 تومان
مهلت برای انجام
7روز
وضعیت مناقصه
انجام شده
درباره کارفرما
عضویت یک سال پیش
