Mảnh đất Ngọc Lâm hình thành sớm, cư dân sớm sống quần tụ đông đúc. Thời Trần có tên gọi là Trang Ngọc Lâm, đến thời Lê, Ngọc Lâm là một xã thuộc huyện Tứ Kỳ, phủ Hạ Hồng, trấn Hải Dương.

Vào thời Nguyễn xã Ngọc Lâm thuộc tổng Ngọc Lâm, huyện Tứ Kỳ, phủ Hạ Hồng, trấn Hải Dương. Trước cách mạng tháng Tám năm 1945, xã Ngọc Lâm có 3 thôn: thôn Ngọc Lâm, thôn Quỳnh Gôi, thôn Thượng Lang.

Sau cánh mạng tháng Tám năm 1945, xã Ngọc Lâm sát nhập thêm thôn Nghi Khê, thôn Báo Đáp thành lập xã mới lấy tên là xã Duy Tân. Năm 1956 xã Duy Tân chia làm 2 xã mới: xã Tân Kỳ và xã Đại Hợp, thôn Ngọc Lâm thuộc xã Tân Kỳ, huyện Tứ Kỳ, tỉnh Hải Dương. Người dân ở đây lấy nghề nông làm nghề chính, do đất đai màu mỡ nên đời sống nhân dân khá sung túc.

Xã Tân Kỳ có 2 thôn Ngọc Lâm và Nghi Khê, diện tích tự nhiên 640 ha, dân số trên 8 ngàn người, vị trí được xác định:

– Phía Đông giáp xã Quang Phục

– Phía Tây giáp xã Hoàng Diệu (huyện Gia Lộc)

– Phía Bắc giáp xã Ngọc Kỳ

– Phía Nam giáp xã Đại Hợp

Từ trung tâm thành phố Hải Dương về xã 16 km thuận tiện cho mọi phương tiện.

Đình Ngọc Lâm là nơi thờ Cao Sơn Đại vương, người có công giúp vua Hùng Vương đánh giặc giữ nước. Đình quay hướng Đông Nam nhìn ra đường làng và giếng đình, phía Tây giáp cánh đồng làng, phía Nam giáp khu dân cư và dãy ao làng.

Thần tích và sắc phong ở địa phương còn ghi nhận; vào thời vua Hùng Vương thứ 18 ở huyện Minh Nghĩa, đạo Sơn Tây có người họ Nguyễn tên huý là Trung, lấy vợ người bản quận tên là Lê Thị Thận. Hai vợ chồng lấy nghề đốn củi làm nguồn sống chính, sống thanh bạch, một lòng tu nhân tích đức.

Vào mùa xuân năm Nhâm Dần, Lê Thị sinh được một người con trai, thiên tư khác lạ, thể diện khôi kỳ, hai ông bà vô cùng yêu mến, chăm sóc chu đáo. Được 3 năm, ông bà đặt tên cho con là Cao Sơn, năm lên 7 tuổi cho theo học Lã Tiên Sinh,  năm 16 tuổi thân thể cao lớn, lực học thông minh, tinh thông kinh sử, giỏi về binh pháp và võ nghệ cao cường.

Đến năm 18 tuổi, bố mẹ qua đời, ông chọn đất tốt làm lễ an táng và phụng thờ suốt 3 năm. Bấy giờ cơ đồ nhà Hùng đã bắt đầu suy vong, Duệ Vương Sinh được 20 hoàng tử và 6 công chúa, nhưng đều đến làng Tiên Bồng tuyệt tích.

Nay chỉ còn 2 công chúa thì một người lấy Chử Đồng Tử ở trang Đa Hoà, phủ Khoái Châu còn công chúa thứ 2 thì lương duyên giai kỳ chưa định; vua bèn truyền lệnh cho dựng lầu tại cửa thành Việt Trì và chiêu truyền dụ các anh tài về ứng thí để kén rể.

Bây giờ có mặt ông Cao Sơn cũng về ứng thí. Vua Hùng thấy Cao Sơn văn võ toàn tài, ứng xử lưu loát, võ nghệ tinh thông, liền giao chức “Đô chỉ huy sứ quân”; Cao Sơn nhận chức, gạt bỏ những điều tầm thường quyết thể hiện chí khí của mình.

Lúc đó ở động Lăng Sương, đạo Sơn Tây có người họ Nguyễn huý Tùng cùng Cao Sơn kết nghĩa anh em, hai người đều tài giỏi, phép thuật tinh thông có thể dời sông chuyển núi, vua chọn người giỏi nhất trong thiên hạ, đặt tên là Tản Viên Sơn Thánh gả con gái và nhường ngôi báu cho.

Thục Phán (vốn thuộc phân phái nhà Hùng) nghe tin vua Hùng tuổi già lại nhường ngôi cho con rể nên rất tức giận liền phát động chiến tranh, cầu viện nước ngoài với lực lượng hơn 10 vạn tinh binh, 5 ngàn ngựa tốt chia làm 5 đạo tiến vào nước ta.

Hùng Duệ Vương lo lắng bèn hỏi Sơn Thánh kế đánh giặc, Sơn Thánh liền tâu: “Bệ hạ uy đức lan rộng đến tận miền hải ngoại, lại được lòng trời giúp đỡ, giáng xuống anh tài như Cao Sơn thì việc gì phải lo lắng, xin cử Cao Sơn lo việc chống giặc”, vua cả mừng và giao cho Cao Sơn làm tả kiêm thần (bậc bề tôi bảo vệ bên trái) giao cho 5 ngàn quân tuần phòng các đạo Hải Dương, Nam Định.

Quân đi đến đâu, tinh kỳ phấp phới, chiêng trống sấm động ngàn núi. Sau 3 đêm đoàn quân của Cao Sơn đến trại Ngọc Lâm, huyện Tứ Kỳ, phủ Hạ Hồng, đạo Hải Dương thì trời vừa tối bèn hạ trại nghỉ ngơi. Thấy thế đất đẹp long hổ bao quanh sơn thuỷ hữu tình liền lệnh ba quân thiết lập đồn quân và chọn trai tráng trong làng nhập vào quân ngũ.

Nhân dân đã cử các bậc phụ lão tâu rằng: lấy đức để thu phục thì dân đều yên, dân trại xin làm đồn sở, sau này làm nơi phụng thờ. Cao Sơn bằng lòng và ban cho 10 hốt bạc để sau này hương hoả phụng thờ.

Sau khi đánh tan quân Thục, Cao Sơn trở về thực ấp ở phủ Phụng Thiên, một thời gian sau thì qua đời. Nhà vua ra lệnh cho các nơi lập miếu phụng thờ trong đó có trang Ngọc Lâm, và phong tặng chức “Đại vương” các triều đại sau này đều có sắc phong.

Hiện tư liệu còn cho biết vào thời vua Lê Đại Hành phong mỹ tự “Linh quang hộ quốc Đại vương thượng đẳng thần” cho phép trang Ngọc Lâm  phụng thờ. Đời Trần Thái Tông phong mỹ tự “Linh ứng anh tiết bảo vệ hùng uy Đại vương Thượng đẳng thần”. Đời Lê Thái Tổ phong “phả tế cương nghị, anh linh tuấn kiệt Đại vương Thượng đẳng thần”.

Đình Ngọc Lâm khởi nguồn từ ngôi miếu thờ thần Cao Sơn, đến thời Lê (thế kỷ XVII) đình được xây dựng to lớn. Căn cứ vào bia ký, sắc phong thì ta còn được biết thêm 2 lần trùng tu lớn của đình vào năm Tân Tỵ (1881) và năm Nhâm Tý (1912).

Ngôi đình Ngọc Lâm hiện nay có các công trình kiến trúc khá đồng bộ gồm tam quan, tường bao, sân đình, đại bái và hậu cung. Toà đại bái có 5 gian, kiến trúc đao tàu déo góc gồm 4 vì kèo chính và 2 vì kèo hạ khoảng của hai dĩ, cột cái to và khoẻ với đường kính 41 cm, cột quân đường kính 33,5cm đã tạo thành hệ khung chắc chắn đỡ cả phần mái của ngôi đình.

Tất cả 8 cột cái và cột quân đền có khắc ghi tên người công đức. Hiện tại di tích còn lưu giữ được đầy đủ đầu dư của điêu khắc nghệ thuật thời Hậu Lê. Hệ thống cửa của đình còn nguyên gốc kiểu thượng sơ hạ mật chắc chắn với hệ thống ngưỡng chồng. Hậu cung 2 gian cũng bằng gỗ lim chắc chắn.

Các mảng chạm khắc trong đình còn lại đạt trình độ cao với các đề tài rồng, mây, cúc, trúc hoá long. Tại gian trung tâm có chạm long ly, quy, phượng với trình độ cao đã tạo cho di tích một giá trị nghệ thuật đặc sắc, phần nề, ngoã làm khá kỹ, các đao góc có rồng chầu phượng mớm, mái lợp ngói vẩy cá, bờ nóc cài hoa chanh, các con sô con trối ở bờ cánh còn khá nguyên vẹn.

Hệ thống hiện vật của đình còn khá nhiều, trong toà hậu cung có tượng Cao Sơn Đại vương đặt trong khám sơn son thếp vàng cùng nhiều đồ thờ tế tự quý, giữa gian trung tâm của toà đại bái đặt ban thờ công đồng, trên có bức đại tự lớn “Lãng uyển linh anh”, cửa võng chạm khắc tinh xảo. Đặc biệt di tích còn lưu giữ được 15 đạo sắc phong của các triều đại:

– Triều Cảnh Hưng – 2 đạo sắc được phong vào năm  1767, 1783

– Triều Quang Trung – 1 đạo sắc được phong vào năm 1792

– Triều Cảnh Thịnh – 1 đạo sắc được phong vào năm 1796

– Triều Minh Mệnh –  1 đạo sắc được phong vào năm 1821

– Triều Thiệu Trị  – 2 đạo sắc được phong vào năm 1841, 1844

– Triều Tự Đức – 2 đạo sắc được phong vào năm 1854, 1880

– Triều Đồng Khánh  –  1 đạo sắc được phong vào năm 188)

– Triều Duy Tân – 1 đạo sắc được phong vào năm(190)

– Triều Khải Định – 3 đạo sắc được phong vào năm(192)

Lễ hội của đình trong năm có 3 kỳ vào các ngày 8 tháng 2, 8 tháng 3 và 12 tháng 11.

     + Ngày 8 tháng 2 là lễ tưởng niệm ngày sinh

     + Ngày 8 tháng 3 là lễ khánh hạ mừng ngày thắng trận

     + Ngày 12 tháng 11 là lễ kỷ niệm ngày mất của ông

Trong 3 kỳ lễ hội thì lễ hội ngày 12 tháng 11 là lễ hội lớn nhất trong năm, vì là lễ hội kỷ niệm ngày Thánh mất nên có đặc điểm riêng, không ồn ào, náo nhiệt, theo tục lệ các gia đình có con trai sinh trong năm đều làm cỗ chay mang ra đình lễ Thánh.

Sang ngày 13 tháng 11 dân làng tổ chức chồng kiệu, rước Thánh, lễ rước tổ chức lặng lẽ, người khiêng kiệu mặc quần trắng áo thâm, thắt lưng đỏ, hia và mũ đen. Lễ Thánh được làm cỗ chay, thường có 5 chiếc bánh vuông làm bằng gạo nếp, 5 chiếc bánh dài, 5 củ đậu, 5 tấm mía, 1 đĩa chè kho,1 đĩa lạc rang, 1 nải chuối, 5 tấm đậu phụ, 1 chai rượu.

Do cả 3 thôn cùng thờ Thần Cao Sơn nên ngày xưa có tục rước kết giao. Trong lễ hội có hát chèo và hát chầu văn. Lễ hội đình Ngọc Lâm được tổ chức lần cuối vào năm 1950, những năm kháng chiến lễ hội không được tổ chức. Ngày nay lễ hội được tổ chức lại nhưng quy mô không bằng trước. Tuy vậy nó đã đáp ứng được nhu cầu sinh hoạt tín ngưỡng của nhân dân địa phương và các vùng xung quanh.

Nằm ở vùng đồng bằng, xa các trung tâm văn hoá chính trị lớn. Đình Ngọc Lâm là biểu trưng cho truyền thống đoàn kết của nhân dân địa phương. Đây là nơi lưu giữ nhiều giá trị vật chất và tinh thần của một vùng văn hoá.  

Ngày 19 tháng 1 năm 2001 Đình Ngọc Lâm đã được Bộ Văn hoá Thông tin ra Quyết định số 04/QĐ-BVHTT, xếp hạng là di tích kiến trúc nghệ thuật.