かつては野崎・野首・舟森の三集落があり、多いときには650人前後の人々が暮らしていました。現在は宿泊施設の管理関係者以外、ほぼ無人状態の島となっていますが、 神社、家屋の跡が遣っています。また、 島を歩いているといたるところで目にする急斜面につくられた石積みの段々畑の跡からは、この切り立った島を切り開き生活の場としていた人々の知恵と努力を伺い知ることが出来ます。
沖ノ神島神社周辺に広がる原生林や国指定天然記念物カラスバトなどの鳥類、 希少種蝶類、その他数多くの動植生物種の宝庫でもあります。 島内全域には、野生のニホンジカ400頭以上が生息し、自然のままの姿を観察することができます。