Tháp Đôi là một di tích văn hóa lịch sử thu hút nhiều khách du lịch. Sở dĩ được gọi là Tháp Đôi vì hai tháp đứng song song với nhau. Kiến trúc của Tháp Đôi không giống như của Tháp Chăm cổ mà giống với đền thờ của người Khơ-me với hai phần chính là khối thân vuông và phần mái tháp mặt cong. Nền móng của Tháp Đôi được xây dựng kiên cố với những khối đá khổng lồ chất lên nhau. Trong hai tháp thì tháp Bắc cao lớn hơn và ít bị xuống cấp hơn tháp Nam. Tháp Bắc được
tạo dáng khá cân đối, bố cục kiến trúc chặt chẽ. Cửa chính hướng về phía đông, nhô ra phía trước bởi bốn lớp trụ, thu nhỏ dần ở phía lối vào. Tương ứng với các lớp trụ là bốn lớp vòm mái hình mũi lao nhọn, hai bên trang trí hoa văn đối xứng. Ba mặt tường còn lại có ba cửa giả lặp lại kiểu trang trí như cửa chính nhưng có kích cỡ nhỏ hơn. Mái tháp có cấu tạo nhiều tầng, nhỏ dần về phía trên. Vòng quanh diềm mái là 21 hình vũ nữ được chạm khắc tinh tế với những tư thế khác nhau trông rất sống động. Chính giữa phần ngăn cách mái và thân tháp được trang trí bằng hình tu sĩ ngồi thiền, hai bên có voi chầu đối xứng.
Tháp Nam có cấu trúc tương tự như tháp Bắc, nhưng ở phần diềm mái, thay vì các hình vũ nữ, hình khắc trang trí lại thể hiện một đàn hươu 13 con với những dáng vẻ rất khác nhau trông rất tinh nghịch và sống động. Hiện khu di tích này được xếp hạng di tích kiến trúc nghệ thuật cấp quốc gia.