Wie viele Siedlungen entstand auch Sittard an einem Ort, an dem eine Straße (hier die von Flandern über die Maas ins Rheinland) einen Wasserlauf (hier: die Geleenbeek) kreuzte. Aufgrund der Unberechenbarkeit des Baches ließen sich die Menschen am höheren Hang nieder, einem „sit(t)er(t)“, daher der Name „Sittard“.
Um das Jahr 1000 bestand die Siedlung aus dem befestigten Herrenhaus, das auf einer „Motte“ (einem künstlichen Hügel) lag, einer Vorburg, die eigentlich ein Bauernhof war, und der Siedlung selbst mit einigen Häusern rund um eine Kirche. Alle drei waren mit einer Palisade versehen und von einem Wassergraben umgeben. Das befestigte Haus, das „Huis op de Berg“, wurde später an der Stelle der Motte errichtet.
Die Straße, die den Geleenbeek überquerte, machte daraufhin einen Knick. Damit sollte der Verkehr auf dieser Straße buchstäblich „kontrolliert“ werden. Der heutige Oude Markt war Teil dieser Route vom und zum Rheinland und – wie der Name schon sagt – auch der Ort, an dem der Markt stattfand, nachdem sich die erste Siedlung im 12. Jahrhundert zu einer ovalen Stadt ausgedehnt hatte.
Das Haus für Herrn van Sittard befand sich dort, wo sich heute der älteste Teil des ehemaligen Ursulinenklosters befindet, am Oude Markt. Der alte Name „Haus am Berg“ weist darauf hin, dass das Haus auf einer Anhöhe errichtet wurde. Dabei handelte es sich wahrscheinlich um die Hügelkuppe unter dem Wohnturm, einen künstlichen Hügel, der durch das Anheben von Erde beim Ausheben des Wassergrabens um ihn herum entstand. An die Hügelkuppe grenzte eine Vorburg, in der sich die Wirtschaftsgebäude befanden, bestehend aus einem Bauernhof, in dem das Personal wohnte, Ställen und Werkstätten. Auch diese Vorburg, die sich an der Stelle des heutigen Kloosterplein befand, war von einem Wassergraben umgeben. Diese Kanäle wurden vom nahe gelegenen Geleenbeek gespeist. Teile dieser Kanäle wurden an verschiedenen Stellen bei Ausgrabungen im Stadtzentrum gefunden, unter anderem beim Bau des Archivkellers hinter dem Museum Het Domein.
Das befestigte Haus bzw. der Wohnturm befand sich später am Rande der vergrößerten Festungsstadt. Dies geschah aus Sicherheitsgründen. Wenn sich die Bevölkerung gegen den Herrscher wandte, war ein Rückzug jederzeit möglich. Auch hier macht die Straße einen rechten Winkel, um einen möglichen direkten Sturmangriff zu verhindern.
Im 16. Jahrhundert finden wir das Haus auf der Liste der Steuerbescheide, was zeigt, dass es eines der größten Häuser in Sittard war. Das Haus wurde im Achtzigjährigen Krieg zerstört. Rentmeester Johannes Maes kaufte das Grundstück und baute ein für die damalige Zeit sehr geräumiges Haus im maasländischen Stil mit Kreuzfenstern aus hartem Stein und Zierleisten aus Mergel. Es verfügte über geräumige Räume im Erdgeschoss und zwei Stockwerke darüber. Vor dem Haus befand sich ein großer Platz. Dieser war straßenseitig durch eine hohe Mauer abgeschlossen, in der sich ein Eingangstor befand. Rechts vom Tor befand sich ein kleines Pförtnerhäuschen.
Das Haus hat auch adlige Bewohner gekannt, darunter die Familie De Bentinck, der auch Schloss Limbricht gehörte. Die letzte adlige Bewohnerin war Adelaïde de Reibeld, Tochter von „'t barönke aan de Wal“. Nach ihrer Scheidung wurde ihr Vermögen verkauft.
Im Auftrag des Sittarder Dekans Vrancken wurde das Haus mit der Absicht gekauft, das Gebäude als Kloster für die Ursulinen einzurichten. Die Renovierung wurde 1843 abgeschlossen und die ersten sechs Ursulinen kamen aus Thildonk in Belgien, die sich im neuen Kloster niederließen und „Haus auf dem Berg“ fortan „Cloître du Saint-Calvaire“ hießen. Die Schwestern gründeten mehrere Schulen für Mädchen: einen Kindergarten, eine Grundschule, eine weiterführende Schule und ein Mädcheninternat.
Nach dem Abzug der Ursulinen wurden das Kloster und das Internat 1979 renoviert und von der Hogeschool Katholieke Leergangen Sittard genutzt. Heute befindet sich hier ein Luxushotel und Apartmentkomplex.