ตามตำนานเล่าว่าเมื่อประมาณปี 628 สองพี่น้องได้ออกเรือไปตกปลา และตกรูปปั้นเจ้าแม่กวนอิมได้ที่แม่น้ำสุมิดะ (Sumida River) และแม้ว่าพวกเขาจะพยายามทิ้งรูปปั้นกลับลงสู่แม่น้ำเท่าไหร่ก็ตาม รูปปั้นเจ้าแม่กวนอิมก็จะกลับมาหาพวกเขาอยู่เสมอ จึงได้มีการสร้างวัดนี้ขึ้นเพื่อเป็นที่ประดิษฐานของรูปปั้นเจ้าแม่กวนอิม วัดนี้ก่อสร้างเสร็จในปี 645 จึงถือว่าเป็นวัดที่เท่าแก่ที่สุดในโตเกียว