重庆香山来别墅以前蒋介石没源有住过。
因为香山别墅作为看守所，蒋介石是不会住的。
香山别墅，又称白公馆，原是四川军阀白驹在重庆沙坪坝郊区的别墅，20世纪30年代，他为了养小妾而修建。1938年，军统局用30两黄金将其买下。1939年军统将其改为军统局本部直属看守所，称军统重庆看守所，主要关押国民党政府认为级别较高的政治犯。 1943年中美合作所成立后，白公馆内犯人被迁移至渣滓洞。白公馆改名为中美合作所第三招待所，供美方人员居住。
第二次世界大战结束后，中美合作所撤销，美方人员回国，白公馆才又恢复为看守所。并且军统将西南的军统集中营，息烽监狱、望龙门看守所、渣滓洞看守所合并，成立了白公馆看守所，后称国防部保密局看守所。
白公馆院内的墙上写了“进思进忠、退思补过”、“正其宜不计其利，明其道不计其功”等标语。原地下贮藏室改为地牢，原防空洞改为刑讯室，住房改为牢房。白公馆曾关押过黄显声、同济大学校长周均时、廖承志、中共党员宋绮云、徐林侠夫妇及幼子“小萝卜头”等，关押的政治犯最多时达二百多人。