不论王安石有没有僭越，赵顼已经明摆着不让王安石受一丝一毫的委屈，本来事情差不多了结了，赵顼也懒得去责罚下臣，偏偏王安石平日里嚣张跋扈，积怨太多，这件事便引起了群臣的公愤。
枢密使文彦博第一个不肯买账，字正腔圆说道：
“陛下，张都知在内宫侍奉三十余年，所言并无过错，王相公此遭确是越了规矩。”
王安石气愤不已，对赵顼道：“臣自备位两府以来，上元节从驾，都是于宣德门西偏门内下马，那时门卫怎不禁止，独本年闭拒不许入门呢？”
文彦博只冷笑扬言道：“臣在仁宗朝为相数十载，自来从驾观灯，都是于宣德门外下马，王相公想必当真是不畏天变，不法祖宗，不恤人言，连这人臣礼法也不要守了么？”
天变不足畏，祖宗不足法，人言不足恤，正是王安石为变法向赵顼呈上的谏言。文彦博历经三朝，多年为相，在朝中威望，可与前朝宰相韩琦、司马光比肩，如今又身为枢密使，掌管军政大权，素来是赵顼敬重之人，他这话一出，霎时间众口一词，都说此事不可姑息。
王安石脾气贯来暴躁，指着文彦博道：“文彦博！你别只针对我一人！”
赵顼心下是袒护王安石的，转而问参知政事冯京道：“冯参政素来守礼，可知王相公有无逾越之举？”
冯京乃是仁宗朝时的状元，朝中素有声望，奈何却与王安石不同心，只含糊道：“官家见笑，臣年岁渐长，下马仪制何如早忘在脑后，记得亦有在门外下马时。”
他这话无异于泼王安石一盆冷水，文彦博又道：“本官为何要针对王相一人，熟忠孰奸，难道官家和众位同僚不会分辨？”
赵顼虽然心里袒护王相，眼见态势如此，只得道：
“今日上元佳节，诸卿在此争论，难免伤了和气，祖宗旧制如何，一时也说不清，不如明日一早将此案移交开封府审理，也可还王卿一个清白。”
为示公允，赵顼又道：“此事不可徇宰相意，开封府当尽公勘之。”
王安石又揖道：“岐王殿下与臣一并骑马入宣德门，还请陛下明察。”
张茂则即便昏了头，也定不会对赵颢发难，此事针对王安石一人，便更显猫腻，赵顼来明事理，连忙问太监阎守懃道：
“岐王呢？”