祖父萧家倒台时他尚年幼，母亲十五岁便做了父亲的继室，当时父亲已过不惑之年。

先夫人王氏育有一女两子，父亲再婚时长姐年十三，长兄谢瓒十岁，次兄谢瑨六岁。

王夫人打理公府十多年，后宅大小管事多是她的亲信，仆从婢媪也都听从于她，王氏去世后大家各自为政，倒也相安无事，如今突然来了一个可能打破平衡的人，谁也不会乐意。

婚后三年萧家彻底落败，族人或砍头流放，或沦为奴婢，萧氏由于外嫁免受株连。

起初谢公颇怜幼子，为他取名谢珺，是心头美玉之意，还为他举办盛大的满月宴，外出骑马游玩也常带着

京中很快便有流言传出，说谢公为萧家鸣不平，有意培养萧家后人，企图将来助萧家东山再起。

当时朝中势力分两派，一派以王家为首，一派以郑家为首。后董婕妤得宠，董家炙手可热自成一派。

董阗时任廷尉正2，萧家的案子由他经手办理，此人性情耿直脾气暴烈，闻听流言便上门拜访，大庭广众之下质问谢公是否有不臣之心，为何对陛下御批的案子有异议？

谢家虽是世家，但族中多年无人出任高位，兴起已近百年，也到了没落之际。谢公不愿惹祸上身，便极力否认，为了避嫌，此后与萧氏母子渐渐疏远。

对谢珺而言，父亲是高高在上的，严肃古板鲜露笑颜，兄长们则是倨傲冷漠的，长姐为了不将掌家之权让渡出来宁可不出阁。

母亲多年来如履薄冰，时刻教导他要低调行事，莫要展露锋芒。他起先不愿，吃过几次亏后便学乖了。

母亲以罪臣之后自居，渐渐地连他自己也觉得低人一等，对萧家遗孤的身份认同多于谢家之后。