این مسجد در سال 1928 ساخته شد و «کوبه» به معنای «دروازه خدا» نام گرفت. این مسجد به سبک هندی سنتی و به دست «یان یوزف اشواگرا» ساخته شده است.
وبسایت «امیزینگ نوتز» نوشت: حمله اتمی آمریکا به دو شهر ناگازاکی و هیروشیما باعث شد منطقه کوبه نیز طی این حملات ویران شود. در حالی که ساختمان‌های اطراف مسجد کوبه تقریباً با خاک یکسان شدند، این مسجد پابرجا ماند و فقط ترک‌هایی روی دیوارهای بیرونی‌اش ایجاد شد و شیشه‌های آن شکست.
سربازان ژاپنی که در زیرزمین این مسجد پناه گرفتند از خطر بمباران جان سالم به در بردند بعدها این مسجد به پناهگاهی برای قربانیان جنگ تبدیل شد. پس از اتمام جنگ، برخی دولت‌های اسلامی هزینه تعمیر و نوسازی مسجد کوبه را بر عهده گرفتند. گفتنی است، در حوادث بسیار زیادی از جمله سیل و سونامی در اروپا و آسیا با وجود ویرانی‌های گسترده بسیاری از مساجد سالم ماندند.