Oorspronkelijk werd het Paleis der Academiën tussen 1823 en 1825 gebouwd voor de Prins van Oranje. Deze verbleef er tot aan de Belgische onafhankelijkheid in 1830. De architect Charles Vander Straeten stond in voor het ontwerp en liet zich inspireren door de theorieën van de Fransman Jean-Nicolas-Louis Durand, die het gebruik van een zeer sobere neoklassieke stijl voorstond. Inderdaad dragen de strikte symmetrie, het weinig uitgesproken reliëf van de geledingen, het regelmatige ritme en het ingetogen gebruik van drie kleuren materialen ertoe bij dat het gebouw een mooi voorbeeld is van deze puristische stroming.
In 1862 werd het gebouw omgevormd tot museum voor hedendaagse kunst. Uiteindelijk vestigden zich in 1876 de Koninklijke Academie voor Wetenschappen, Letteren en Schone Kunsten en de Koninklijke Academie voor Geneeskunde in het gebouw, gevolgd door de in 1920 opgerichte Koninklijke Academie voor Franse Taal- en Letterkunde, de in 1938 opgerichte Koninklijke Vlaamse Academie voor Wetenschappen en Kunsten, en de Koninklijke Academie voor Geneeskunde.
Het paleis werd tussen 1825 en 1828 ingericht en gedecoreerd onder leiding van Tilman-François Suys. Het bewaart nog enkele prachtige salons met waardevolle ingelegde parketvloeren, evenals een imposante ontvangstruimte.