关于房子的我该怎么办

没办法，你爸是你爷爷奶奶的第一顺序法定继承人之一，而你不是。他如果放弃回继承，你只能接受这个现实。
另，答你家出钱作为购房款一部分，但如果你爸是自愿的，且不打算作为借款，那也是他的权利。你爸爸说的没错：你爷爷奶奶作为被继承人，生前表示将房子留给谁，也是二老的权利，别人无权干涉。