加气混凝土砌块墙体门窗洞口一定要预埋防腐木砖或混凝土块吗

可以。
如果没有预埋，门窗框就要安装在加气混凝土砌块上，需要使用塑料或尼龙膨胀管，不能用射钉或钢膨胀管。