Het dorp is vooral bekend door het veertiende eeuwse Kasteel de Haar. Oorspronkelijk lag het dorp dichter bij het kasteel. In 1898 werd het dorp, op de kerk na, afgebroken om plaats te maken voor de huidige kasteeltuinen. Op de huidige locatie, circa 2 kilometer van de oude, verrees een nieuw Haarzuilens, grotendeels ontworpen door architect P.J.H. Cuypers. Ook dit was een typisch brinkdorp. Door alle bouwactiviteiten in en rondom het kasteel werd het dorp verdubbeld.