不知是电的还是气的，也不知具体管路连接。可能难确切回答。
恒温热水器里的水是自动恒温控制的，本身温度波动幅度很小，而且是在一定范围内缓慢变化的。
你讲的现象，若是电热水器，可能和你用的混水阀（或相同作用的冷、热水阀）及管路、压力等有关。
关掉再开时，从热水器出口到用水点的这段管路内的水是在逐渐冷却的（不会再被加热）。刚开混水阀（假设混水阀比例位置不变），先流出来的是阀到喷头间这段管中残留的热水，之后则主要是混水阀新的出水，此短暂时段，冷水将先占上峰（因为冷水是直接进混水阀的，压力较高），热水器至阀间残存热水压力略低、且温度已有所降低，因此这过渡时段混水温度感觉变凉，随着热水器至阀这段残存水流完，热水器新热水逐渐到达用水点，混水阀冷、热水比例重新建立，水温又逐渐恢复正常。因此你讲的现象是客观难免的。热水器离用水点越远，你讲的现象越明显，过渡时间越长。要想快点建立平衡，可以在重新开时，先将混水阀打到热水较大或最大端，再逐渐恢复正常比例位。
若是燃气的，因为关水，火也会自动熄灭，加上不是储热式的（加热容器小），打开水才重新加热，以上现象就更好解释了。
网友问的是燃气的，那更好解释了。刚开阀，先有一段热水，是混水阀至喷头间管段中的上次残留热水；后来是混水阀直接进入的冷水与残存热水（即热水器内及热水器至混水阀管段内残存的热水）的混合水，由于冷水压力略高于热水器来的，且残存热水温度已降低（关水后热水器已自动停止加热，其容积也比电热储水式的小得多），冷水占主导，故感觉又变冷了；随着热水器自动点火加热（加热也要一定的升温时间过程。所谓恒温是指加热正常工作时，你不工作了咋恒温，只能有点点保温，其保温功能远不及电的），混水阀的冷、热水比例重新恢复建立，才逐渐达到正常混合水温。