Ở khu Nam Thọ, giữa bán đảo Trà Cổ xưa và chỉ cách bãi biển Trà Cổ chừng 200 mét theo đường chim bay, đình Trà Cổ là ngôi đình làng của cư dân vạn chài nơi địa đầu Đông Bắc. Đình kiểu chữ đinh, mái lợp ngói vẩy, bốn góc đao cong vút như một con thuyền rẽ sóng, quay hướng Nam ghé Đông, nhìn ra phía biển, gần đúng với gốc gác của những người dựng nên nó.

Người Trà Cổ vẫn dạy con cháu câu thành ngữ “Người Trà Cổ, tổ Đồ Sơn”. Tương truyền vào thời Hậu Lê, mười hai gia đình làm nghề đánh cá ở Đồ Sơn gặp sóng to gió lớn, trôi dạt vào một bán đảo chỉ có sú vẹt và lau sậy; sáu gia đình quay về quê cũ, sáu gia đình ở lại khai đất lập làng. Dựng đình xong, dân làng trở về Đồ Sơn xin chân hương các vị thành hoàng về thờ, và đình phối thờ sáu vị tiên công có công khai khẩn. Theo hồ sơ khoa học xếp hạng, đình có từ năm 1461; còn căn cứ vào kiến trúc hiện lưu giữ, ngôi đình bạn thấy hôm nay được phỏng đoán dựng vào khoảng cuối thế kỷ XVII đến đầu thế kỷ XVIII.

Năm 1974, đình Trà Cổ được xếp hạng di tích kiến trúc nghệ thuật cấp Quốc gia, là di tích đầu tiên của Móng Cái được xếp hạng. Ngày 24/10/2023, đình được xếp hạng Di tích quốc gia đặc biệt theo Quyết định 1225/QĐ-TTg. Lễ hội của đình, diễn ra hằng năm từ ngày 30/5 đến 3/6 âm lịch (ngày dương thay đổi theo năm), là Di sản văn hóa phi vật thể quốc gia từ năm 2019.

Vào trong đình, điều đáng nhìn kỹ là các bức cốn ở vì kèo: những mảng chạm long cuốn thủy, phượng bay, hổ rình mồi bên cành hoa lá. Lòng đình có 48 cột lim đặt trên tảng kê đá xanh, đầu xà gồ chạm đầu rồng, hai đầu hồi treo hoành phi sơn son thếp vàng ghi “Nam sơn tịnh thọ” và “Địa cửu thiên trường”. Đình còn giữ ba đỉnh hương đồng, hai hạc cưỡi đầu rùa sơn son thếp vàng, tám long ngai gỗ thời Nguyễn và 12 sắc phong. Khuôn viên khoảng 1.200 m² gồm cổng, đình, sân vườn, nhà thủ từ và am hóa sớ.

Đình đã qua nhiều lần trùng tu: năm 1921 ván xung quanh được thay bằng tường gạch, ngói mũi vẩy thay bằng ngói mũi bằng; lần tu bổ lớn gần nhất là năm 2012, có thay thế một phần cấu kiện gỗ và phục chế hoa văn trên mái. Vì thế đây là một công trình cổ được tu bổ nhiều lớp, không phải một ngôi đình còn nguyên lớp gỗ ban đầu. Đình là nơi thờ tự đang hoạt động, mỗi năm đón trên 20.000 lượt khách tham quan, chiêm bái; Ban Quản lý di tích có nội quy hướng dẫn nhân dân và du khách, bạn nên xem nội quy tại chỗ trước khi vào gian thờ. Khung giờ mở cửa và giá vé chưa được công bố trên kênh chính thức, nên hỏi trước tại địa phương.

Đình Trà Cổ hợp với người muốn xem một ngôi đình làng kiểu Bắc Bộ ở vùng biển biên giới, thích chạm khắc gỗ và những câu chuyện lập làng của cư dân biển. Đình nằm ngay trong khu du lịch Trà Cổ nên dễ ghép với bãi biển Trà Cổ, chùa Nam Thọ, nhà thờ Trà Cổ hay mũi Sa Vĩ trong cùng một chuyến. Nếu muốn thấy đình đông vui nhất, hãy đến dịp lễ hội cuối tháng 5 đến đầu tháng 6 âm lịch, với lễ rước thần trên biển và hội thi “Ông Voi”; chi tiết lễ hội có ở mục riêng.