Cách trung tâm Cao Bằng khoảng 10 km về phía tây bắc, đền Vua Lê ở làng Đền, phường Thục Phán thờ vua Lê Thái Tổ (Lê Lợi); tương truyền trong đền thờ vọng thanh kiếm và hoàng bào của nhà vua. Đền dựng trên gò Con Long, tức gò rồng, phía bắc thành Na Lữ, một trong bốn gò đất trong thành được đặt tên Long, Ly, Quy, Phượng.

Theo Báo Cao Bằng, thành Na Lữ do Cao Biền thời Đường đắp; thế kỷ XI, Nùng Tồn Phúc, cha của Nùng Trí Cao, xây thành và cung điện ở đây khi lập nước Trường Sinh năm 1039. Năm 1430, Bế Khắc Thiệu, thủ lĩnh người Tày khởi nghĩa chống quân Minh, cho tu sửa thành, lập lại cung điện. Năm 1431 vua Lê Lợi thân chinh lên Cao Bằng; sau sự kiện đó, nhân dân lập sinh từ thờ vua. Từ năm 1592, nhà Mạc chiếm thành Na Lữ làm nơi đóng đô.

Năm 1682, niên hiệu Chính Hòa thứ 3 đời vua Lê Hy Tông, quan trấn thủ Cao Bằng xin sửa thành cũ làm đền thờ vua Lê Thái Tổ, lấy áo bào và thanh kiếm thờ ở chỗ ngai vàng. Đó là đền Vua Lê ngày nay. Đền còn thờ các tướng sĩ có công chống giặc phương Bắc.

Đền xây kiểu chữ tam gồm ba nếp nhà, tường gạch vồ, mái ngói máng, cột kèo và hoành phi bằng gỗ chạm hình rồng, phượng. Cửa đền mở hướng đông nam nhìn ra sông Mãng; quanh đền có tường thành dài 600 m, phía trước là hai sân rộng khoảng 1.000 m². Trống, chiêng, kiếm, áo bào xưa phần lớn không còn; năm 2015 đền giữ được hai lư hương gang, một bia chữ Hán Nôm ghi tên người góp tu sửa và ba cây đèn. Năm 2024, hai cây đa và một cây ngọc lan trong khuôn viên được công nhận là cây di sản Việt Nam.

Đền còn là địa chỉ cách mạng. Năm 1936, đồng chí Hoàng Đình Giong chỉ thị thành lập Đoàn Thanh niên phản đế tại đây; năm 1944 đền là nơi họp hội nghị Liên tỉnh Cao - Bắc - Lạng; tháng 9/1945 là nơi tiễn quân Nam tiến. Ngày 20/4/1995, đền được Bộ Văn hóa - Thông tin xếp hạng di tích lịch sử văn hóa cấp quốc gia; năm 2018 được đưa vào tuyến phía Bắc "Hành trình về nguồn cội" của Công viên địa chất toàn cầu UNESCO Non nước Cao Bằng.

Đường bê tông dài 1,6 km dẫn vào đền, làm năm 2014. Từ chân gò, bạn đi bậc lên cổng, vào sân xem hoành phi, bia Hán Nôm và hai cây đa di sản. Giờ mở cửa, phí tham quan chưa có công bố chính thức. Ngày mùng 6 tháng Giêng âm lịch là Lễ hội Đền Vua Lê, rất đông; ngày thường hợp hơn để xem kỹ.

Đền là nơi thờ tự của người dân trong vùng: ăn mặc kín đáo, không trèo lên tường thành hay gốc cây di sản, hỏi trước khi chụp người đang lễ.

Đền Vua Lê hợp với người thích lần theo nhiều lớp lịch sử trên một gò đất, từ Nùng Tồn Phúc, Bế Khắc Thiệu, nhà Mạc đến phong trào cách mạng. Cùng phường Thục Phán có Vườn đá và hang Ngườm Slưa trên cùng tuyến tham quan công viên địa chất. Nếu muốn tìm hiểu riêng nhân vật Nùng Trí Cao, Đền Kỳ Sầm ở phường Nùng Trí Cao là lựa chọn khác.