赵顼笑得愈深：“朕即位三载，除修缮太皇太后与太后宫殿，别无修建，更无宴游，今闻谏官谤朕如此，可知其言事反复，专为诋欺，朕贬他为太常博士，通判滑州，已然对得起他。”

言之末尾，赵顼语里含了厉色，司马光览过劄子，亦不好再言甚么。

“有谤书云，‘天不佑陛下，致圣嗣不育’，外人或言此乃卿上书内容。”赵顼紧接着道。

这是极为严重的诅咒，时赵顼无子，这两句便是咒赵顼生不出子嗣。

司马光连忙作揖解释：“臣所上疏，陛下皆见，且臣从未将奏书示与外人。”

“卿的奏书未尝示与外人，然台谏官的奏书，朕还未见，便已满朝皆知了。”

这次单独召见以不欢而散告终，后司马光终辞枢密副使之职不受，赵顼亦不再强求。

当月，学士院策试，由翰林学士司马光拟题，彼时流言传出“三不足”观点，司马光借此拟题：

今之论者，或曰“天命不足畏，祖宗不足法，留言不足恤”愿闻所以辨之。

时人谣传此“三不足”之言乃王安石提出，司马光以此为题，无疑将矛头指向王安石，试题送至赵顼面前审阅，赵顼驳了回去，批示：另出策目。

隔日赵顼问及王安石，是否听过“三不足”之论，王安石答，未尝听闻。

“卿对此流言如何看法？”赵顼又问。

王安石反驳了其中两条，却赞同了第二条：“陛下躬亲庶政，无流连之乐，荒亡之行，每事惟恐伤民，此为惧天变。陛下询纳人言，事无小大，岂为不恤人言。至于祖宗之法不足守，固当如此，仁宗在位四十年，数次修敕，若法一定，子孙当世世守之，则祖宗何故屡自变改？”