Wajah Istana Bogor sekarang agak nya tidak banyak berbeda dari ketika dibangun kembali tahun 1850. Kompleks Istana yang 24 hektar ini halamannya ditumbuhi oleh kira-kira 100 pohon besar, sebagian setua bangunan itu, dan ada pula yang lebih tua lagi. Di padang rumputnya yang membentang luas tampak berkeliaran rusa-rusa yang jumlahnya sekitar 200 ekor, berasal dari enam pasang rusa dari Asia Daratan yang mula-mula di datangkan di Istana tersebut pada tahun 1811. Rusa-rusa yang jinak itu menciptakan suasana santai, serasi benar dengan angsa-angsa yang sering berkecimpung di kolam-kolam dibelakang dan didepan Istana yang penuh ditumbuhi bunga teratai. Gedung megah seakan-akan tebenam di tengah-tengah kehiajauan tropis ini memang tepat untuk mengungsi dari udara panas dan kesibukan Kota Jakarta. Tidak heran kalau tanah itu telah dipilih Gubernur Jendral Belanda G.W. Baron van Imhoff untuk tempat mendirikan pesanggrahanya pada tahun 1745.

Walaupun sejak awal abad 18 kota Batavia (Jakarta) mulai berkembang menjadi daerah yang indah untuk tempat tinggal, tetapi hawa Batavia agaknya terlalu panas untuk orang-orang Belanda. Sejak itu banyak diantara mereka kemudian mencari tempat-tempat peristirahatan di luar kota yang hawanya lebih sejuk, seperti yang dilakukan van Imhoff. Tempat itu terletak di kampung Baroe, yang jaraknya dari Batavia waktu itu disebut sebagai 39 paal. Di daerah ini van Imhoff mendirikan pesanggrahan yang diberinya nama Buitenzorg (sans Souci, tanpa urusan). Nama Buitenzorg kemudian dipakai untuk menyebut perkampungan yang ada di sekitarnya.

Pada waktu mulai dibangun, rancangan bentuknya bukanlah seperti Istana Bogor yang kita kenal sekarang. Van Imhoff membuat sketsa bangunan itu dengan mengambil model istana Blenheim, tempat kediaman Duke of Marlborough dekat kota Oxford, di Inggris. Ia rajin membangunya, tetapi sampai ia diganti pada tahun 1750, bangunan itu masih jauh dari selesai. Malahan pemberontakan rakyat Banten menentang Kompeni, yang mengobarkan Perang Banten anatar tahun 1750-1752, mengakibatkan pesanggrahan van Imhoff menjadi korban. Pada tahun 1752 pasukan-pasukan Banten menyerang Kampoeng Baroe dan membakar semua yang dapat dimakan api. Rakyat Banten merasa merasa dirugikan karena daerah Cisadane yang banyak memberikan hasil bumi telah diserahkan kepada Kompeni oleh Ratu Syarifah, yang menguasai Kesultanan Banten waktu itu. Terjadilah pemberontakan dibawah pimpinan Kiai Tapa dan Ratu Bagus Buang, dua pahlawan yang bertempur dengan gagah berani melawan kompeni tetapi yang akhirnya terpaksa kalah dan menyingkir ke arah timur. Perjanjian pada akhir perang tersebut menetapkan bahwa kesultanan Banten menjadi Rampasan Kompeni.

Akibat serangan pasukan-pasukan Baten, pesanggrahan di Buitenzorg mengalami kerusakan sangat besar. Pengganti van Imhoff, Yacob Mossel, membangunya kembali dengan tetap mempertahankan bentuknya yang semula, sebab seorang Anggota Dewan Hindia menasehatkan agar bentuknya jangan dirubah mengingat bangunan Buitenzorg adalah replika dari istana Blenheim.

Sejak itu beberapa Gubernur Jendral mengadakan perbaikan dan penyempurnaan sedikit demi sedikit, disesuaikan dengan kebutuhan yang dirasakan pada tiap saat. Tahun 1802 pada kompleks itu ditambahkan ruangan khusus untuk pembakaran kue, ruangan minum kopi di kebun dan kamar bilyar. Di dekatnya juga dibangun sebuah gereja dan sebuah rumah sakit. Di bawah Gubernur Jenderal Herman Willem Daendels pekerjaan itu diteruskan. Sayap kanan dan kir gedung utama dijadikan dua tingkat. Pada masa pemerintahan Inggris pekerjaan it diteruskan lagi. Wakil Gubernur Jenderal Thomas Stamford Raffles mengadakan pemugaran besar-besaran, terutama pada bangunan besar ditengah yang oleh Daendels telah dipergunakan secara tidak karuan sebagai tempat penyimpanan bahan-bahan bangunan. Bersamaan dengan itu kebun di sekitar istana juga dirubah menjad kebun Inggris.

Ketika Nederland berkuasa kembali di Kepulauan Hindia Timur, trjadi lagi pemugaran besar-besaran, yakni dibawah pemerintahan Gubernur Jenderal Baron van der Capellen (1819-1826) yang menambahkan satu tungkat lagi pada gerbang tengah. Lalu sebuah menara ditengah-tengah istana ini membuatnya lebih megah. Ini juga hasil van der Capellen.

Keindahan istana tersebut lebih lengkap lagi setelah tanah disekelilingnya dijadikan Kebun Raya yang terkenal itu didirikan oleh guru besar C.G.C. Reindwart yang waktu itu menjabat sebagai direktur urusan Pertanian, Kerajinan dan ilmu-ilmu di Hindia Belanda. Kebun itu dipakai untuk penanaman berbagai macam tumbuh-tumbuhan dan untuk percobaan-percobaan pertanian. Sejumlah ahli dari Eropa datang ke Kebun Raya ini untuk memperdalam pengetahuan. Seorang diantaranya, Ernest Heckel, menulis dalam artikel “Malaische Reisebriefe” (Kisah perjalanan ke Melayu), bahwa sejak pagi pertama ia tiba di Buitenzorg, ia merasa seolah-olah baru tiba di Taman Firdaus. Semua bayangan tentang Taman Firdaus tentang terwujud di Hortus Bogoriensis – kebun yang indah dengan pohon-pohon yang terkuat, kembang-kembang yang terindah dan terbersih, buah-buah yang termahal, tempat-tempat pelancongan yang dilalui oleh banyak sungai kecil dan dihisasi disana-sini dengan kolam-kolam yang menyegarkan. Banyak tempat yang disinari matahari, sama banyak dengan jalan-jalan sunyi yang diliputi oleh bayang-bayang pohon yang rindang. Semua itu membangkitkan rasa bahagia pada pengunjungnya. Kebun Raya ini berbatasan dengan halaman belakang istana.