Biệt thự được xây dựng theo lối kiến trúc xứ Basque (Tây Ban Nha) trên khu đất rộng hàng nghìn mét vuông. Công trình được xây theo ý tưởng của một viên chức người Pháp, có 2 tầng nổi, một tầng hầm, gồm hai khối nhà. Năm 1940, trong một chuyến nghỉ mát ở đây, vua Bảo Đại đã mua lại tòa nhà từ viên chức này để tặng cho thứ phi Phi Ánh. Từ đó, biệt thự đá còn có tên gọi là "biệt thự Phi Ánh".
Tọa lạc tại số 1A và 1B Quang Trung, phường 9, kiến trúc biệt thự này là sự kết hợp hài hòa bởi hai ngôi nhà được nối liền nhau bằng một hành lang bán nguyệt.
Cũng trong thời gian sinh sống tại đây, bà Phi Ánh và vua Bảo Đại có với nhau hai người con chung. Đó là con gái Nguyễn Phúc Phương Minh (sinh năm 1950) và con trai Nguyễn Phúc Bảo Ân (sinh năm 1951).
Nếu bầu trời màu xám tro trong những ngày mưa hay sương mù thì ngôi biệt thự như hòa lẫn trong không gian. Còn lúc nắng lên, bầu trời trong vắt một màu xanh ngọc bích, màu nâu xám của biệt thự lại trở nên nổi bật, như điểm xuyết thêm một chi tiết độc đáo cho khung cảnh cao nguyên.
Nhà có nhiều cửa sổ nhỏ xung quanh tường với đủ kích thước và hình dạng vuông, tròn, chữ nhật, vòm cung, chữ thập... Tường được xây dày 60-80 cm. Vật liệu chính để xây biệt thự là đá granite nên màu sắc chủ đạo của công trình cũng mang sắc màu này.
Du khách sẽ dễ dàng nhận ra sự khác biệt của biệt thự Phi Ánh với các công trình xưa cũ ở Đà Lạt. Trong khi hầu hết biệt thự rải rác khắp Đà Lạt đều mang kiến trúc Pháp, toà nhà này là công trình mang kiến trúc Tây Ban Nha duy nhất còn sót lại.
Sau 1975, ngôi biệt thự trở thành nhà tập thể cho gần chục hộ dân sinh sống rồi bị bỏ hoang một thời gian dài sau đó. Năm 2007, một công ty tiếp nhận tòa biệt thự và tiến hành tu sửa.
Khi trùng tu, người ta phát hiện nhiều bức phù điêu chạm trổ tinh xảo được trang trí ở các bức tường. Đặc biệt là bức phù điêu cô gái Chăm cao khoảng 1,5m, đầu đội mũ vàng hình 3 ngọn tháp Chăm, chân quấn 3 vòng vàng còn nguyên vẹn, được đắp nổi ở phần tường vòm và gần cửa chính. Đây được coi là điều bí ẩn của biệt thự Phi Ánh về sự hòa trộn giữa một chi tiết trang trí mang đặc trưng văn hóa Á Đông trong một ngôi nhà mang kiến trúc phương Tây.
Theo thời gian, những dàn dây leo đơm hoa theo ô cửa sổ đậm nét kiến trúc Tây Ban Nha khiến không gian nơi đây trở nên lãng mạn.
Sau gần một thế kỷ tồn tại, đến nay không ai biết về người đã thiết kế ra tòa biệt thự này cũng như chủ nhân ban đầu của nó. Vài năm gần đây, biệt thự Phi Ánh là điểm đến được nhiều du khách trong và ngoài nước quan tâm, đặc biệt là người thích những công trình kiến trúc. Trong ngôi biệt thự đá này còn dành không gian trưng bày chân dung Phi Ánh và cựu hoàng Bảo Đại thời trẻ.
Biệt thự nằm gần Ga Đà Lạt nên bạn có thể kết hợp chuyến khám phá 2 công trình cổ trong một buổi. Biệt thự mở cửa cả ngày. Nơi đây đang được cho thuê để kinh doanh nhà hàng, du khách có thể tham quan bên ngoài mà không mất phí.