Herrgården med säteritak byggdes omkring 1680 på initiativ av Jacob de la Gardie och fick sitt nuvarande utseende efter en ombyggnad av brukspatron Knut Åkerhielm i slutet av 1800-talet. Den ärvdes därefter av dennes dotter, gift med talmannen och landshövdingen greve Hugo Hamilton och hans familj. Huvuddelen av sitt liv bodde paret Hamiltons dotter Florrie Hamilton kvar på Högfors herrgård, som hon gjorde till en mötesplats för 1930- till 1950-talens kvinnorörelse.[1] På andra sidan Norbergsån ligger en röd träbarack som kallas "bruksbacken". Under 1900-talets början uppfördes flera liknande bostadshus, men de flesta är rivna.