Við Innra-Skarðsá, eða Skarká, eru tóftir bæjarins á Hlíðarhúsum. Í Jarðabókinni er greint frá tóftum annars bæjar, Garða, og er sagt að munnmæli hermi að þar hafi verið kirkja og séu þar skammt frá svokallaðir Kirkjusteinar og Kirkjutungur. Talið er að snjóflóð hafi tekið þann bæ sem þarna var, sem hefur verið innar en Hlíðarhúsabærinn. Þar gengur í sjó fram svokölluð Garðabryggja.

Innra-Skarðsá fellur fram af hömrum ofan við bæinn og er þar Möngufoss sem kenndur er við Galdra-Möngu, sem mun hafa verið Margrét Þórðardóttir, prestsfrú á Snæfjöllum, er var sýknuð af göldrum á Þingvöllum 1662 og bjó síðustu æviárin á Lónseyri. Á Hlíðarhúsum bjuggu síðast Egill Jónsson og Guðrún Þórðardóttir. Þau Guðrún og Egill fluttu í Arnardal sumarið 1932, síðar á Kambsnes og loks til Súðavíkur.. Öll hús voru orðin léleg á Hlíðarhúsum árið 1932. Þarna var torfbær með einu risi og stóð húsið nokkru fyrir innan ána, rétt fyrir neðan brúna. Áður fyrr, og fram yfir aldamót, voru þrír til fjórir bæir eða tómthús á Hlíðarhúsum, e