Hòn Chồng gồm hai cụm đá lớn nằm bên bờ biển dưới chân đồi La-san, có thể được tạo nên do sự xâm thực của thủy triều lên ngọn đồi này. Cụm đá lớn ở ngoài biển gọi là Hòn Chồng, gồm một khối đá lớn vuông vức nằm trên một tảng đá bằng phẳng và rộng hơn, phía mặt đá quay ra biển có một vết lõm hình bàn tay rất lớn. Cụm đá thứ hai có hình dáng một người phụ nữ ngồi trông ra biển - được đặt một cái tên có ý nghĩa gần gũi với Hòn Chồng - đó là Hòn Vợ, cụm đá này ít được du khách để ý hơn.
Tục truyền rằng, thuở xưa ông khổng lồ ngồi câu cá nơi đây, có một con cá khổng lồ cắn câu lôi đi, ông phải kéo lại, tay cầm cần câu, tay tì vào tảng đá lấy đà khiến bàn tay ấn vào đá và để lại dấu như đã thấy. Theo một truyền thuyết khác, xưa có một người khổng lồ đến xứ này ngoạn cảnh, gặp bầy tiên nữ đang tắm, ông dừng lại say sưa ngắm và vô tình trượt chân ngã, ông vội bám tay vào núi khiến sườn núi sụp đổ, đá văng xuống để lại vết tay ông hằn trên đá. Dấu chân trượt ngã đủ năm ngón cũng để lại dấu tích ở khu vực Suối Tiên.