赫哲人的住房原始、简陋。临时住处有尖圆顶的撮罗子和地窨子、"温特哈"、草窝棚等回。固定的住处有马架答子、用草苫顶的正房。历史上的赫哲族还曾住过树屋，是巢居的痕迹。正房的东侧或西侧一般还搭建鱼楼子，存放鱼和兽肉干、粮食或其他物品。赫哲人住的"胡如布"，是寒带居民较原始、简陋的住所。"胡如布"是向地下挖进约三尺深的坑，坑的大小依住人多少而定，坑顶一般用一、二根粗壮的大木头作梁，搭上檩子、椽子，支起楔形架子，上铺箔条或盖树枝，顶盖培上五六寸厚的土，然后再苫草。向阳的南面开门，门旁也有一小窗子，用以透气和采光。早年，他们惯用鲂鱼皮糊门窗。"胡如布"里面搭火炕，也有搭板铺的。