然而，一些地方是注重风水，人们就会不喜欢它，说在家种杏树是不吉利，并且杏树不能在家种有很原因。第一个说法就是自古以来杏树会让人不幸，换句话说，家中种植的杏树越繁荣，家庭遭受的灾难就越多。因此，最好不要在家里种杏树，这对家庭的财富非常不利，而且会带来灾难。
第二，桃子养人，杏子害人。人们的一个流行说法是“桃子养人，杏子害人，人死在李子树下”。风水认为在家种植杏树会影响家庭成员的健康并伤害他们，甚至是患病，风水不好，所以不适合种植。第三、红杏出墙古代就有着“红杏出墙”这么一种说法，人们普遍认为，在家里种植杏树会影响夫妻之间的关系，导致夫妻之间的关系不和睦，尤其是妻子，很容提出现婚外情。
许多流言蜚语是口头流传下来的，因此，杏树不能在家种植的说法流传开来，没有实际的科学依据。还有说法称“桃养人，杏害人，李子树下睡死人”这句话想表达的就是水果与人们健康的关系，桃子属于热性可以多吃，而李子和杏子属于凉性要少吃。
杏树不仅不能种在院子里，而且连栽树都是有一定的讲究，种植的树木应该尽最大努力适应当地的民间文化。比如在各地都有不同的“镇宅树”一说，有些树是不宜栽种在房前屋后的。在国内不少地方就流传着“前不栽桑，后不栽柳，院中不留鬼拍手”的说法，也有一些地方说幼苗不应该种植在院子中间或面对大门的地方。