Đây là một công trình kiến trúc được coi, là dấu ấn đặc trưng của hồ Gươm. Tháp có tên chữ là: Quy Sơn tháp, tức là Tháp Núi Rùa, (vì là đảo đất tự nhiên, vào ngày hè rùa thường lên đây phơi nắng và đẻ trứng).

Xưa kia, từ thời vua Lê Thánh Tông đã dựng Điếu Đài ở đó, để nhà vua ra câu cá. Sang thời Lê Trung Hưng, (khoảng thế kỷ 17-thế kỷ 18), chúa Trịnh cho xây đình Tả Vọng trên gò, nhưng sang thời Nguyễn thì không còn dấu tích.

Sau khi Pháp hạ thành Hà Nội năm 1883, dân vùng ven hồ xiêu tán cả. Các quan Việt cũng bỏ sở nhiệm. Riêng có tay Nguyễn Ngọc Kim, là chức dịch làng Tự Tháp, được cử làm trung gian giữa quân Pháp và người Việt, lại được chính quyền mới tín nhiệm, nên ít lâu trở thành bá hộ, tục gọi là, Bá hộ Kim. Khoảng năm 1884-1886, Bá Kim lấy cớ xin xây tháp lên trên, để làm “gồ đằng sau” cho ngôi chùa Báo Ân ở phía bờ sông. Hôm khởi công, hắn lén lút đưa hài cốt bố mẹ ra táng trộm ở đó, vì hắn rất mê thuật phong thuỷ. Đây là một vị trí tốt, nếu được như vậy thì hắn, và con cháu hắn sẽ được giàu có, sung sướng. Nhưng nhân dân hay biết, đã bí mật đào cốt quẳng xuống hồ. Bá Kim cay đắng vẫn phải tiếp tục xây tháp cho xong. Ban đầu, Tháp này có tên là Tháp Bá hộ Kim. Thời Pháp thuộc, trên đỉnh Tháp Rùa có dựng một phiên bản của tượng, Nữ Thần Tự Do (1890-1896), mà dân chúng châm biếm gọi là tượng Đầm Xòe. Sang thập niên 1950, tượng này đã bị phá bỏ.