Á Nesi Grunnavíkursveit var bænhús til forna og í upphafi átjándu aldar stóð þar skemma sem kölluð var bænhús. 1703 voru tólf skráðir til heimilis að Nesi. Eigandi er þá Sæmundur Magnússon á Hóli í Bolungarvík. Hann átti þá einnig Reykjarfjörð á Ströndum. 1801 eru heimilisfastir fjórtán á þremur bæjum í Nesi. Þar mun oftast hafa verið tvíbýlt og þá talað um Naust eða Ytra-Nes, og Innra-Nes. Síðustu ábúendur á Naustum voru börn Elíasar Halldórssonar og Engilráðar Jónsdóttur, en þau fluttu í burtu árið 1954. Samtímis þeim bjó á Innra-Nesi Kristján Jónsson ásamt fjölskyldu sinni. Hann byggði reisulegan bæ árið 1910 með þremur burstum og timburþiljum. Kristján var aflasæll formaður og átti tvö stór áraskip ásamt móður sinni, Jónínu Þóru Jónsdóttur á Sútarabúðum. Hann varð fyrstur til að setja vél í bát sinn í Grunnavík, skömmu eftir aldamótin 1900. Fjölskylda Kristjáns bjó á Nesi fram á fimmta áratug 20. aldar. Síðustu ábúendur á Nesi voru Grímur Finnbogason og Guðrún systir hans er fluttu þangað frá Höfðaströnd