我顺着你的思路来答，你说的框架的墙不承重，这很关键，框架中承重的是柱子和梁，而柱子和梁都是混凝土现浇，形成整体，而且因为有合理的配筋，故形成的钢筋混凝土比一般的混凝土更安全，更不容易损坏。如果地震来了，就算是填充墙坏了，但房屋不会倒塌，因为填充墙不承重。故只要柱子不坏，则结构就安全，而往往框架结构中，柱子按抗震的要求来做的话，都会相对比较大，而且配筋量也比较足，故在一般的地震中能屹立不倒。
而砖混结构中，是靠砖来承重，而砖的各项力学指标明显不如混凝土，比如其抗压抗拉，抗扭都不行，故一旦地震来临，只要墙体有破坏，则整个结构物将失去支撑，近而倒塌。