کمک به طراحی یک لایه multihead self attention در pytorch
چهار سال پیش منتشر شده
تعداد بازدید: 393
کد پروژه: 250945
شرح پروژه
من قصد دارم به یک لایه خطی (dense layer) از مدلم که خروجی آن تنسورهای دو بعدی است یک multihead self attention اضافه کنم اما برای تبدیل ورودی دو بعدیم به query,key,value که در پایتورچ باید هر کدوم سه بعد باشند مشکل دارم. از شما میخواهم این قسمت از کد من را تکمیل کنید :
x = self.linear(x)
x = self.activation(x)
split x to q , v, k##
#self.attention = nn.MultiheadAttention( emb_D, num_heads = num_heads)
attn_output, attn_output_weights = self.attention(query, key, value)#
مهارت ها و تخصص های مورد نیاز
مبلغ پروژه
350,000 تومان
مهلت برای انجام
5روز
وضعیت مناقصه
انجام شده
درباره کارفرما
عضویت پنج سال پیش
