有人知道建设厂房围墙要离耕地多远吗

我家的房子是那种小区商品房的一楼，外面有围墙。因为家里人多房间少，我们内就在围墙的天井内搭容了一间房子住人，没有超过围墙高度，也不影响楼上邻居，从外面看根本不知道里面搭了房子。但居委会说这是违章搭建，要求拆掉，不然会强制执行。请问这是违章搭建吗？我们应该拆掉吗？