装修房子时给楼下造成影响阻止我装修我应该找哪个部门解决问题

现在新房都是框架结构，除了主梁，其他的墙都可以随便打的。，我现在住的地方是新盖的专小区，没进来几户，属很多搞装修的，我隔壁就是，我都怕他把墙打穿了，呵呵。
新房设计太单一，无法满足购房者的需求，
自然就要打掉，很正常。白天都出去玩玩就ok了。总不能半夜还打墙把？