Trong những lần thám hiểm núi Rồng, ông Dương Ngọc Chiến - Chủ tịch Hội Nông dân thị trấn Cao Phong phát hiện một hệ thống hang động gồm Thạch động Hoa Sơn, Động Thông gió, hang Lưu Thủy Phong, động Không Đáy…
Ông Chiến chia sẻ: Trong số những hang động trên, Thạch động Hoa Sơn là nơi ông ấn tượng nhất. Thạch động này sâu chừng 700m, chia làm nhiều khoang. Mỗi khoang được bài trí, phối cảnh bằng những loại nhũ đá khác nhau rất đỗi tài tình.
Năm 2009, đoàn cán bộ của UBND huyện và thị trấn cùng ông lên núi tham quan hang động do ông Chiến khám phá. Đoàn cán bộ rất bất ngờ trước vẻ đẹp kỳ thú của hệ thống hang động này.
Sau chuyến đi thực tế đó, ngay lập tức thị trấn Cao Phong đã cho dựng biển cấm ở mọi ngả đường dẫn vào núi Rồng. Hệ thống hang động do ông Chiến khá phá đang được chính quyền địa phương nghiên cứu để bảo vệ, phát triển cùng với tiềm năng du lịch tiềm tàng của Cao Phong.