Theo bản thần tích ghi trến tấm bia đá đặc biệt cao 2,34m, rộng 1,57m, dày 0,22m hiện còn lưu giữ tại đền (đây cũng là di vật quý giá nhất ở đền này), bài tựa "Cao Sơn đại vương thần từ bi minh", nói về công lao của thần Cao Sơn.

Bia “Cao Sơn đại vương thần từ bi minh tự” dựng năm Nhâm Thìn, niên hiệu Cảnh Hưng 33 (1772) khắc lời văn của sử thần Lê Tung soạn năm Canh Ngọ niên hiệu Hồng Thuận 3 (1510).

Nội dung bản thần tích cho biết: Khi vua Lê Tương Dực cầm quân dẹp loạn, khôi phục cơ nghiệp của vua Lê Thái Tổ, có ba vị đại thần là Nguyễn Bá Lân, Nguyễn Hoàng Dụ và Nguyễn Văn Lữ cùng đem quân đi chinh phạt.

Đến địa phận huyện Phụng Hoá (nay là di tích đền Láo, xã Văn Phương, Nho Quan, tỉnh Ninh Bình) thì thấy cảnh núi rừng rậm rạp có ngôi đền cổ ghi bốn chữ "Cao Sơn đại vương".

Rất lấy làm lạ, vua quan bèn khẩn cầu thần phù trợ. Quả nhiên sau mười ngày đã thành công. Vì thế, vua Lê Tương Dực cho xây dựng đền thờ thần Cao Sơn được lập ở Phụng Hóa. Sau nhớ ơn thần đã ngầm giúp dẹp loạn ở Đông Đô, nên năm 1509, vua cho xây dựng lại đền thờ to đẹp hơn ở phường Kim Hoa gần Thăng Long thời bấy giờ. Tấm bia “Cao Sơn đại vương thần từ bi minh” vốn ở huyện Phụng Hóa, đến đời Hoằng Định (1600-1619) lại nổi lên bến Bồ Đề và được dân phường Kim Liên kéo đưa rước về đặt ở di tích như ngày nay.

Sau này, dân làng Kim Liên lập thêm cổng tam quan ở phía trước cổng đền ngay sát đầm Kim Liên và bổ sung thêm một số kiên trúc mới, tạo thành đình Kim Liên. Ngoài Cao Sơn Đại Vương, trong đền và đình này còn thờ Tam Phủ, thờ Mẫu.

 

 

Đình được xây dựng trên một gò đất cao ở phía đông đầm Kim Liên. Cổng đình và cửa chính điện đều hướng về phía tây, trông ra đầm Kim Liên (đầm này nay không còn do bị lấp đi để làm đường vành đai 1).

Kiến trúc của đình bao gồm hai phần tương đối rõ: phần phía trước gò có một cổng trụ biểu, hai dãy giải vũ hai bên sân gạch rộng và phần kiến trúc chính của di tích nằm trên gò đất cao.

Đình chính gồm Nghi môn, Đại bái và Cung cấm. Nghi môn là một nếp nhà ba gian, xây kiểu tường hồi bít đốc. Bốn bộ vì đỡ mái được làm theo kiểu chồng rường giá chiêng, cột trốn.

Từ ngoài vào là một cổng xây trụ biểu, đỉnh trụ đều có đặt con nghê gốm quay mặt vào nhau, phía dưới là những ô lồng đèn trong đó đắp nổi các hình tứ linh (long, ly, quy, phượng). Phía sau cổng là 1 sân gạch rộng, có 2 dãy giải vũ đều 3 gian, kiểu vì kèo quá giang.

 

Quần thể kiến trúc được xây dựng trên khu đất rộng phía trước gò. Kiến trúc chính của di tích nằm trên gò cao, bao gồm tam quan và đền thờ thần. Đi hết khoảng sân trên thì qua chín bậc gạch cao được xây bằng những viên gạch vồ có kiến trúc lớn của thời Lê Trung hưng, nối kết bộ phận kiến trúc phía ngoài với phần kiến trúc chính ở trên gò.

Hai bên bậc thềm, ở sát sân gạch, đặt 2 sấu đá thời Lê, hướng ra phía cổng ngoài. Đi lên hết các bậc thềm, ta gặp tam quan đền Cao Sơn, đó là 1 nếp nhà 3 gian xây kiểu tường hồi bít đốc. Bốn bộ vì đỡ mái, được làm theo kiểu chồng rường, giá chiêng, cột trốn.

 

Đền chính có kết cấu hình chữ đinh gồm bái đường và hậu cung. Tòa bái đường, qua thời gian dài tồn tại, đến nay chỉ còn dấu vết để lại, là một nền đất cao và những hàng đá tảng kê chân cột to, dầy.

Kiến trúc đền Kim Liên xưa chỉ còn lại tòa hậu cung 3 gian xây gạch trần, mái lợp ngói ta. Trong hậu cung đặt 2 long ngai và 10 pho tượng từ điện Mẫu của chùa Kim Liên ở cạnh đưa tới.

 

 

 

 Các con rường được trang trí bằng kỹ thuật chạm nổi các hình mây cuộn, câu đầu và 2 bẩy của hai vì ngoài được trang trí phượng hàm thư, long mã, rồng chạm bong kênh, chạm lộng nhiều lớp.

Trên các bộ phận kiến trúc các họa tiết trang trí được thể hiện sinh động mang phong cách nghệ thuật thời Nguyễn. Nhà đại bái gồm 5 gian mới được thành phố tôn tạo trong dịp kỷ niệm 990 năm Thăng Long-Hà Nội, với kiểu dáng kiến trúc truyền thống.

  Hậu cung là một nếp nhà ba gian dọc, xây gạch trần mái lợp ngói ta. Trong nhà xây vòm cuốn, nội thất được bố trí như sau: gian ngoài cùng, bó bệ gạch cao để đặt hương án; gian thứ hai xây bệ gạch cao để đặt long ngai và các đồ tế khí.

 

 

 

Gian cuối cùng của hậu cung là nơi thờ Cao Sơn đại vương và hai nữ thần phối hưởng (là “Thủy tinh đệ tam tôn nữ Đông hổ trưng vương mẫu” và “Huệ minh phu nhân”). Long ngai  thờ thần Cao Sơn có kích thước lớn, chạm khắc tinh vi, được làm theo kiểu chân quì dạ cá, các lớp trên chạm thủng hoa dây, là một hiện vật quý, hiếm.

 

Đặc biệt còn có 2 tấm bia đá, quan trọng nhất là tấm bia bằng đá xám mịn, cao 2,43m, rộng 1,57m, dầy 0,22m, trán bia trang trí hình rồng uốn khúc yên ngựa, bờm lửa đặc trưng của thế kỷ XVIII.

Bia mang tên “Cao Sơn đại vương thần từ bi minh”, văn bia do sử thần Lê Tung soạn năm 1510, nói về công lao của thần Cao Sơn trong việc ngầm giúp vua Lê dành lại ngai vàng từ tay ngoại thích. Bên cạnh còn 39 đạo sắc phong cho thần Cao Sơn đại vương, trong đó có 26 đạo thời Lê Trung hưng, 13 đạo thời Nguyễn, sớm nhất là sắc niên hiệu Vĩnh Tộ 2 (1620).

Bốn câu đối khẳng định việc thờ thần Cao Sơn tại đây. Thần Cao Sơn có sự tích nằm trong hệ thống huyền thoại thời dựng nước và giữ nước đầu tiên được thờ ở rất nhiều nơi, trong địa bàn tụ cư của người Việt cổ.

Truyền thuyết về Cao Sơn đại vương rất phong phú và ngày càng được lịch sử hóa. Sớm nhất, là chuyện kể về thần Cao Sơn là con Lạc Long Quân và bà Âu Cơ, một trong 50 người con theo mẹ lên núi. Vị thần thứ hai được thờ trong đền là Tản Viên Sơn thánh.

Đến thời Lê thần Cao Sơn đã được lịch sử hóa, có tên gọi và quê quán. Đó là Nguyễn Hiền, cùng với em ruột là Nguyễn Sùng (tức là thần Quí Minh), đều là con người chú ruột của Sơn Tinh Nguyễn Tuấn. Họ là người ở trang Thanh Uyên (nay là xã Thanh Uyên, huyện Tam Nông, tỉnh Phú Thọ).