Chùa chủ yếu thờ Phật và các anh hùng văn hóa, ở đây cũng còn thờ Bảo Hoa công chúa (nguyên là Thành Hoàng của làng Xã Đàn), một nhân vật có nhiều công lao, gắn bó với dân làng Xã Đàn từ thời Lý.

Trong các tài liệu văn tự, không ghi chép lần khởi dựng, chỉ có thể nhận biết trên thực tế còn lại. Di tích được trùng tu lớn ở thời Lê, qua nội dung các văn bia đang lưu giữ tại đây cho biết như vậy. Vào thời Lê, tấm bia hậu dựng năm Quang Chiêu 5 (1520), Vĩnh Tự 1 (1676)… ghi rõ việc trùng tu, sửa gác chuông… Như vậy, ta có thể hiểu, ngôi chùa phải ra đời rất lâu, để đến những năm Vĩnh Tự mới có bia trùng tu ghi lại, và trong thực tế ở đây, còn những viên gạch vổ, loại gạch của thế kỷ 15, 16, 17, như ở Văn Miếu – Quốc Tử Giám… cho thấy dấu vết xa xưa của ngôi chùa này.

Trong chùa Kim Yên có một cột đá (dạng một cột – chùa Một Cột) với một khối lượng lớn, tới trên 50 pho tượng tròn và nhiều đồ thờ rất quý hiếm.

Đây là một ngôi chùa nằm lọt trong khu dân cư, rất rộng, có ao, vườn hoa cây cảnh… với tổng thể kiến trúc khép kín.