魏徵的名臣之路开启之后，官职一直往上升。
贞观二年，公元628年，魏徵升任秘书监，参预朝政。
魏徵看到国家因经历丧乱之后，图籍散失，制度、法令纷乱繁杂，当下奏报朝廷组织学者校定四部书。几年之间，秘府中收藏的书籍，精要而又完备。
他对李世民做得不对的地方，也继续规劝。
李世民到九成宫游玩，宫人住在官舍里。
不久右仆射李靖、侍中王王圭到来，县吏便把宫人移到别的住所，让出官舍给李靖等人住。
李世民听说这件事后，龙颜大怒说：“威力福禄的权柄，难道是由李靖等掌握的吗？为什么礼待李靖而轻视我的宫人！”立即命令审查县吏和李靖等人。
魏徵忙劝阻道：“李靖等人，都是陛下的心腹大臣，宫人不过是后宫打扫庭院的奴婢。论他们付托的使命，事理各不相同。再说李靖等外出，官吏要向他们询问朝廷法度，他们回来，陛下要向他们询问民间疾苦。李靖等理所当然要与官吏相见，官吏也不能不拜见他们。至于宫人，供奉饮食之外，无须参见侍候。如果因此怪罪责罚官吏，恐怕有损皇上的声誉，使天下人听了感到惊骇。”
李世民听了，说：“您说得对。”于是，开释了官吏的罪名，李靖等仍然住在官舍里，也不再查问了。
不久，太宗在丹霄楼设宴，饮酒之中酒兴正浓时，太宗对长孙无忌说：“魏徵、王王圭，从前在东宫，尽心侍奉隐太子建成，当时那么忠心也确实可恶。我能提拔任用他们，以至今日，足以说明我是无愧于古人的了。但魏徵每当他进谏我没有听从时，我发话他就不马上答应，这是为什么呢？”
魏徵听见李世民这样说自己，当下回答说：“臣认为事情有不合适的地方，所以才进谏，如果陛下不听规劝而臣马上答应，那恐怕事情就会照样施行。”
李世民又问：“只管当时答应，有机会再另外陈述意见，难道不行吗？”
他的意思，魏徵应当给面子给自己，不要当众就反驳自己。
魏徵说：“从前舜告诫群臣说‘你们不要当面顺从我，退下后又有话说。’如果臣当面顺从陛下又找机会陈述意见，这就是‘退下后又有话说’，难道是稷、契事奉尧、舜的办法吗？”
李世民听了大笑说：“别人说魏徵举动粗野、傲慢，我却觉得妩媚，正是因为这些啊。”
他之所以觉得魏徵说话妩媚，是因为魏徵处处把他比作尧舜，这是对他最大的夸赞。
我们也由此知道，魏徵虽然直言，但直言中，也在处处夸赞李世民。
魏徵听了拜谢说：“陛下启发引导臣让臣说话，所以臣敢于进谏，如果陛下不接受臣的进谏，怎么敢多次触犯皇上的尊严呢？”
魏徵对于李世民的家事也敢于规劝。
长乐公主将要出嫁，李世民因她是皇后所生，命令下面办的嫁妆比永嘉长公主多一倍。
魏徵立即反对说：“不行！从前汉明帝准备授封地给他的儿子，说‘我的儿子怎么能与先帝的儿子等同，可封给他楚地、淮阳的一半。’以前的吏书把这事作为美谈。天子的姊妹是长公主，天子的女儿是公主，既然加‘长’字，就是有它的尊荣显贵。感情可以有深有浅，但不容许超越了礼仪制度。”
李世民认为他说得对，入宫告诉长孙皇后，然后派使者送钱四十万、绢四百匹赐给魏徵。
不久魏徵晋升爵位为郡公。
贞观七年，公元633年，魏徵代王珪任侍中，尚书省长期积压没有判决的诉讼案，李世民命魏徵秉公处理。魏徵不大熟悉法律，但能抓住根本原则，依实际情况处理，大家都心悦诚服。
魏徵在这个时间段也完成了《隋书》的撰定。
他撰定的《隋书》虽然比不上前四史，但在二十五史中，也算是较好的史书。
魏徵总结历史得失，先后上了四道奏疏，用来陈述政事的得失。
其一是总结隋亡的经验，他极有见地点出隋炀帝亡国是因为隋炀帝依仗国家的富强，不考虑后患的缘故，驱使天下的人来满足自己放纵的欲望，用尽万物来奉养自己。他希望李世民借鉴隋亡的教训，不要放纵自己的欲望。
其二是要有仁义道德，希望李世民做到九种美德，其中包括谦虚谨慎、戒除奢侈等。
其三是刑罚要得当。他说“刑罚过度，小人之道就会增长；赏赐不当，君子之道就会消亡。小人的恶行不惩罚，君子的善行不奖励，天下就不可能太平”。
他虽然说的是治国，但我觉得给我们也有很大的启发，那就是对人也要这样，要对君子友好，对待人渣，可以不理，如果有能力，直接处罚。
其四是要有礼和德，他说“治国的基础，必须以礼、德为根本；君子的保证，只在于诚、信。诚、信建立，处在下位的人就不会有二心；德礼具备，远方的人就会前来朝贡。”
李世民看了之后，亲笔写诏书，嘉奖赞美魏徵的奏疏，格外看重他的意见。
他对长孙无忌说：“朕刚即位时，上书的人有的说‘君主必须把握威权独断专行，不能把权力委任给臣下’；有的想显示武力强大，使异族恐惧而服从自己。只有魏徵劝朕‘停止战争大兴文事，传布道德广施恩惠，中原既然安定，异族自然会归顺服从’。我听了他的话，所以天下太平。边地的君长都来朝贡，各个民族的语言辗转相译，在路上相互远望。这都是魏徵的功劳啊！”
李世民曾经嫌进呈密封奏章的人多不切合事实，想加以贬斥。
魏徵说：“古时尧设立诽谤之木，想知道自己的过错。现在这密封的奏章，就是古时立诽谤木制度流传下来的。陛下想知道自己的得失，只可以听任人们上言。如果话说得对，就有益于陛下；如果说得不对，也无损于国家。”
李世民听了，赞同说：“这话说得对。”于是，对进呈奏章的人加以抚慰后才让他们离去。