Obiekt zbudowany w latach 1706-1708 z polecenia rektora klasztoru jezuitów w Kłodzku o. Johanna Hanke jako dwór (zwany też Zamkiem) o 14 komnatach, z refektarzem i kaplicą, w pobliżu wcześniejszego z 1650 r. (zniszczonego przez pożar w 1699 r.). Fasada budynku, o cechach czeskiego baroku, utrzymana w tzw. „wielkim porządku“. Po rozwiązaniu zakonu w 1773 r. kilkakrotnie przebudowywany służył m.in. kuracjuszom uzdrowiska. Dwór w 1862 r. zakupiła fundacja katolicka i umieściła w nim przeniesiony ze Szczytnej dom sierot i pomocy społecznej, prowadzony przez siostry konwentu św. Jadwigi. W 1865 r. budynek powiększono, znacznie przebudowano narożniki północny i zachodni tak, że przybrał on kształt regularnego czworoboku. W 1911 r. przebudowano wnętrza, dostosowując obiekt do potrzeb dzieci (m.in. łazienki i oświetlenie elektryczne), szeroko zakrojona modernizacja nastąpiła w 1927 r.
Po II wojnie światowej działalność sierocińca od 1947 r. kontynuowały przesiedlone z Lwowa józefitki. Dom przyjmował różne nazwy, zależnie od aspektu swojej działalności. Od 1995 r. Specjalny Ośrodek Wychowawczy prowadzony przez Zgromadzenie Sióstr św. Józefa. W strukturach ośrodka funkcjonują Szkoła Podstawowa Specjalna, Gimnazjum Specjalne oraz Szkoła Przysposabiająca do Pracy. [bynio]