Theo truyền thuyết, Thánh Gióng sau khi đánh tan giặc Ân, trên đường về núi Sóc, qua Phù Mã, xuống ngựa để lại yên cương và ngọc duẩn, rồi một người một ngựa lên đỉnh núi Sóc bay về trời. Tại địa danh Phù Mã, nhân dân lập đền thờ Thánh Gióng gọi là đền Hạ Mã.
Căn cứ vào tấm bia còn lưu giữ tại di tích có niên đại Chính
Hòa (1680), đền được xây dựng vào thời Lê. Đền được xây dựng theo hướng đông
nam. Kiến trúc gồm: hậu cung, nhà tiền tế, hai dãy nhà tảo mạc, cổng đền, đền mẫu
bên cạnh chợ mã với tổng diện tích 18.000m2.
Hậu cung có 5 gian 2 chái, phía trước có cửa bức bàn, phía
sau đốc xây tường, mái được làm theo lối chồng cốn, kẻ chuyền với 6 hàng chân cột,
hậu cung có diện tích lớn nhất, hai gian bên là hai bệ thờ, gian giữa là ban thờ
chính thờ Thánh Gióng, dưới ban thờ đặt hai bộ yên cương, hai bên là ông Hồng,
ông Bạch, nóc nhà có rồng chầu mặt nguyệt.
Cách hậu cung 2m đến tiền tế. Nhà tiền tế 7 gian kiến trúc
theo kiểu chồng diêm tám mái, các góc có đao cong, cột bằng gỗ lim to hai người
ôm không xuể. Tiếp đến hai bên là hai dãy nhà tảo mạc, mỗi bên 9 gian.
Trải qua chiến tranh, qua những biến cố của lịch sử, sau thời
gian tiêu thổ kháng chiến, đều bị phá hủy nặng nề. Mãi đến những năm 90 của thế
kỷ XX, nhân dân địa phương công đức trùng tu, xây dựng lại với kết cấu đơn giản
làm nơi thờ tự. Đền hiện được xây dựng kiểu chữ nhị gồm đại bái và hậu cung.
Tòa đại bái gồm 3 gian 2 chái, được xây kiểu tường hồi bít đốc
tay ngai. Phía trước gian đại bái mở cửa ra vào, cửa làm kiểu bức bàn. Qua đại
bái đến hậu cung. Hậu cung gồm 3 gian nhà dọc với các bộ vì kèo được bào trơn
đóng bén, gối lên tường hồi. Hậu cung bài trí 3 ban thờ, đặt 3 pho tượng thờ gồm
Phù Đổng Thiên Vương, Vu Điền Quốc Vương, Na Tra Thiên Tử.
Trong đền hiện còn
lưu giữ một số di vật cổ như: 1 bộ kiệu bát cống bằng gỗ với những đường nét chạm
trổ tinh vi như chạm rồng, tứ linh, tứ quý, vân mây, hoa lá cách điệu… mang
phong cách nghệ thuật thời Lê; 3 cỗ ngựa thờ, trong đó 1 cỗ sơn màu đỏ đứng
trên giá đỡ trong tư thế phi nước đại, hai cỗ còn lại, một cỗ sơn màu đỏ, một cỗ
sơn màu trắng trong tư thế bình thường; cùng nhiều đồ thờ bằng đồng, bằng gốm
như chuông đồng, bát hương…