Le château est situé dans la banlieue de Tallinn. On le doit au tsar russe Pierre le Grand. En 1710, il a chassé les Suédois d'Estonie et l'Estonie est devenue russe. En été 1718, le tsar a donné l'ordre de construire un château baroque et un ensemble de parcs entre le Klint de Lasnamäe (en allemand Laaksberg) et la mer Baltique pour en faire sa résidence d'été à Tallinn. Il donna à la vallée le nom de sa deuxième épouse, Katharina. Le planificateur et architecte était l'Italien Nicola Michetti (1675-1758), qui a également participé plus tard à la planification de la résidence de Peterhof. En 1722, 550 arbres ont été plantés dans le parc. Avec la mort inattendue du tsar en 1725, le projet resta pour l'instant inachevé.
Au 19e siècle encore, Kadriorg était, malgré son château et son parc, une banlieue de Tallinn appartenant aux classes inférieures. Des bâtiments avaient été construits autour du complexe pour les ouvriers du bâtiment, et plus tard pour les domestiques. Comme la plupart des habitants de la cité étaient russes et que les bâtiments étaient construits dans le style d'un village russe, le quartier a longtemps porté le surnom de Sloboda (à peu près village russe). Ce n'est que peu à peu que les excursionnistes de Tallinn ont découvert les plages de la mer Baltique. Une station balnéaire mondaine a vu le jour, des salons et des maisons bourgeoises ont été construits. L'ascension définitive de Kadriorg vers une région plus raffinée a eu lieu en 1832, lorsque trois filles du tsar Nicolas Ier ont passé l'été à Kadriorg. Par la suite, des membres de la famille du tsar ont régulièrement passé les mois d'été à Kadriorg.
