可以，因为洗手间的水也是自来水，但是必须烧熟了之后喝，烧水的热水壶在使专用之前最好将其清洗一属下。
自来水是指通过自来水处理厂净化、消毒后生产出来的符合相应标准的供人们生活、生产使用的水。生活用水主要通过水厂的取水泵站汲取江河湖泊及地下水，地表水，由自来水厂按照《国家生活饮用水相关卫生标准》，经过沉淀、消毒、过滤等工艺流程的处理，最后通过配水泵站输送到各个用户。
有的单位会对当地自来水集团自来水水质信息进行检验的，包括出厂水水质的42项常规指标、每季度检测结果的最大值和最小值，以及与国家标准的对比。