这个问题是消费者经常提到的，但相对于大理石来讲，花岗岩可以说“永不退色”。但从长远来看，花岗岩也会退色，只不过是时间而已。 特别建筑物表面、广场等暴露在风吹日晒下也会受到影响。
花岗岩中的矿物主要由长石、石英、云母、辉石、角闪石等组成。在主些硅酸盐矿物结构中，每一个硅离子都被四个氧离子所包围，而构成硅氧四面体。这种基本结构单元，性质相当稳定，耐酸、碱性能强、难溶解、耐风化，不变色性好。
花岗岩的退色也因石材品种不同而有差异。一般来讲，深色的较浅色花岗石易退色，因深色（如黑色、墨绿色）花岗石的矿物构成主要是辉石、角闪石、基性斜长石、磁铁矿等。浅色花岗石主要为酸性斜长石、钾长石、黑云母、石英等。矿物一般在地下形成，有些矿物先形成，有些后形成。先形成的往往是原子量较重的无素，位置较深，氧的供应较少，压力较大；后形成的则相反。因此不同的矿物一般有不同的形成时期，其次序大致是：深色矿物：橄榄石-辉石-角闪石-黑云母；浅色矿物：基性斜长石-酸性斜长石-钾长石-石英。先形成的矿物暴露到地表后，因环境有较大改变，易产生次生变化，晚形成的则变化较少，最稳定的是石英。另一种情况是次生矿物较原生矿物易退色，如绿帘石绿泥石为主要成分的绿色、草绿色饰面板材，在经历5～10年后，颜色也有所淡化，不过与大理石相比，这种变化还是很微弱的。颜色的变化（退色）还与环境有关，工业区空气中酸碱含量高，则易变化退色。此外保养维护程度也很重要。