北京市区的房子是不是都供应暖气没有是不是会很冷

对，都应该供暖！没有采暖措施肯定冷啊，最低室内能达到零下5度吧
这个还和你的房子的热损耗有关，比如窗墙比、朝向、位置等因素造成的不同热损失。