Das Schloss liegt in einem Vorort von Tallinn. Wir verdanken es dem russischen Zaren Peter dem Grossen. Im Jahre 1710 vertrieb er die Schweden aus Estland und Estland wurde russisch. Im Sommer 1718 gab der Zar den Auftrag, zwischen dem Klint von Lasnamäe (deutsch Laaksberg) und der Ostsee ein Barockschloss und ein Parkensemble als seine Tallinner Sommerresidenz anzulegen. Er benannte das Tal nach seiner zweiten Ehefrau Katharina. Planer und Architekt war der Italiener Nicola Michetti (1675–1758), der später ebenfalls an der Planung der Residenz in Peterhof beteiligt war. 1722 wurden im Park 550 Bäume gepflanzt. Mit dem überraschenden Tode des Zaren 1725 blieb das Projekt vorerst unvollendet.
Noch im 19. Jahrhundert war Kadriorg trotz Schloss und Park eine Tallinner Vorstadt der unteren Schichten. Um die Anlage herum waren Gebäude für die Bauarbeiter errichtet worden, später auch für Bedienstete. Da die meisten Bewohner der Siedlung Russen waren und die Gebäude im Stil eines russischen Dorfes gebaut, trug der Stadtteil lange den Beinamen Sloboda (etwa russisches Dorf). Erst nach und nach entdeckten Tallinner Ausflügler die Strände an der Ostsee. Ein mondänes Seebad entstand, Salons und Bürgerhäuser wurden errichtet. Kadriorgs endgültiger Aufstieg zu einer feineren Gegend war 1832 geschafft, als drei Töchter des Zaren Nikolaus I. den Sommer in Kadriorg verbrachten. In der Folge verbrachten immer wieder Mitglieder der Zarenfamilie die Sommermonate in Kadriorg.