Á Skarði voru 15 til heimilis árið 1703 og níu manns á tveimur bæjum árið 1801. Jörðin tilheyrði Snæfjallaeigninni. Þekktastur ábúenda á Skarði er eflaust Bjarni Jónsson, alþýðufræðimaður er þar bjó á 17. öld og skrifaði átján sinnum upp Jónsbók fyrir sveitunga sína auk rímna, fornaldarsagna og annarra bóka er hann myndskreytti margar í stíl Guðbrandsbiblíu. Bjarni bjó einnig um skeið á Tyrðilmýri.

Ábúendur á Skarði á 3. og 4. áratugnum voru Jakob Kolbeinsson og Símonía Sigurðardóttir. Nokkuð fram yfir aldamótin 1900 voru nokkrir bæir við Ytra-Skarð, á Hóltúni og Naustavík. Í Naustavík lést skyttan Otúel Vagnsson þann 14. september árið 1901. Á fjórða áratugnum voru þessir bæir komnir í eyði og sáust aðeins tóftarbrotin. Á Skarði var torfbær með tréstafnþili og skúr með risi að utanverðu. Jakob Kolbeinsson flutti til Ísafjarðar 1938. Bændur af Innströndinni heyjuðu Skarðstúnið nokkur sumur eftir það. Bærinn á Skarði fór í snjóflóði um 1944.