Sagnir herma að landnámsmaðurinn Kollur hafi numið land á Kollsá. Önnur skýring er sú að nafnið sé dregið af kolskóg er þar hafi verið. Kollur landnámsmaður á að hafa átt Hildi sem sagt er að sé heygð í svonefndum Hildarhaug, tindinum sem hæst ber á Seljafjalli. Þar eiga að vera gersemar grafnar í kistu. Hermir sagan að tilraunir til grafa upp kistuna hafi mistekist og í síðasta sinn sem það hafi verið reynt hafi nánast verið búið að ná kistunni upp. Þá hafi einn mannanna sagt að kistan skyldi upp hvort sem Guð vildi það eða ekki. Þá hafi kistan hrapað niður í gröfina aftur og orðið manni að bana. Hinsvegar hafi hringurinn úr kistunni orðið eftir og sé það sami hringur og er nú á kirkjuhurðinni á Stað.

Á Kollsá eru taldir fimm til heimilis árið 1703, en jarðarinnar er fyrst getið á 17. öld. Þar eru litlar landnytjar, en stutt á fiskimið. Í Jarðabókinni segir að jörðin hafi legið í eyði frá því bólusóttin herjaði. Ljóst er að sú auðn hefur varað nokkurn tíma því enginn er þar skráður árið 1801. Árið 1845 eru