法律规定及自然资源部、农业农村部的相关规定是明确的

先看法律规定。

《土地管理法》第七十五条 违反本法规定，占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等，破坏种植条件的，或者因开发土地造成土地荒漠化、盐渍化的，由县级以上人民政府自然资源主管部门、农业农村主管部门等按照职责责令限期改正或者治理，可以并处罚款；

构成犯罪的，依法追究刑事责任。

第七十七条　未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；

对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。

第七十八条　农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。

综合上述三条规定，笔者认为，擅自占用耕地建房的，一般由自然资源部门处理。但对农村村民非法占用土地（包括占用耕地）建住宅的，应由农村农村部门处理。