高唐城外胜保统率比太平军多数十倍的兵将，但与连镇的僧格林沁相比，不仅数月无功，更可以说是颇为狼狈。首先，是因为胜保设计的“变通古法”之计的屡屡失败。其次是因为，高唐城中的李开芳频频夜袭清营。不仅袭杀太平军的巡逻队，更让胜保感到脸上无光的是，有一晚数百人的太平军，竟然成功偷袭了清军两千余人的军营，不仅将驻防的清军杀散，还将营内营帐焚毁一空，劫掠粮草火药从容而归。
不过胜保也扳回一局，由于太平军几乎每晚都要出来袭营，频繁的袭击就给了胜保可乘之机。胜保为了对付太平军袭营，就在太平军经常出没的地方暗埋地雷，并在旁设有伏兵。
就在清军设伏的当晚，就有出城袭营的太平军踩中地雷，瞬间一声巨响炸死数名太平军。这时埋伏的清军闻声而动，杀向来袭营太平军，数十名太平军为不暴露地道位置，与清军力战而亡。
由于僧格林沁在连镇捷报频传，无形的逼迫胜保加紧攻城，为了尽快获得斩获，胜保急命各地官员将火炮大肆运往城下。待炮至，立即安装在城外六座新建炮营，昼夜不停向高唐城开炮。但收效甚微，为了增强炮轰效果，胜保亲命工匠加急造就了，一万五千斤的重炮。在该重炮造好后轮番轰炸终于有点效果，一次深夜将高唐城东北城垣轰塌数丈，但是由于胜保也没想到这嘛快轰塌城墙，没有事先组织突击队。虽然立即开始组织，但是等组织好，被轰塌的城墙已经被太平军修好大半。胜保见此，也只好无奈收兵！
胜保在尝到重炮轰城的甜头后，第二天就督兵在炮火的掩护下三路攻城，其中东西两路佯攻，以配合东北方胜保组织的突击队在重炮掩护下的强攻。
当天重炮一炮将高唐城东北城垣轰塌数丈，清军先锋队立即向缺口冲去，但是由于昨晚重炮轰塌过太平军城墙，城内的李开芳料到今天胜保还会来这一招，所以在城内事先准备好大小树枝，做好了防堵的准备。所以当清军冲过来的时候，太平军先是用火枪阻击清军，同时急忙用大小树枝等障碍物迅速围堵住了缺口。
胜保见太平军很快用围堵住缺口，只得鸣金收兵。
之后又有数次战斗，但是老实人人胜保遇到诡计多端的李开芳还是吃亏的时候多。
虽然胜保依旧像过去一样数月没有较大建树，但是“今时不同往日”，因为胜保的敌对势力僧格林沁已经消灭了林凤祥，所以此次咸丰为避免两位大员再出现，相互牵制的局面。便决定，舍弃办事不利的胜保，让办事近来颇为得力僧格林沁来代替胜保攻城，因为胜保现在仍然是钦差大臣，若他还在前线，肯定影响僧格林沁的发挥，所以必须在僧格林沁上任前名正言顺的卸磨杀驴（胜保）。
咸丰先是定胜保“玩误之罪”：“胜保顿兵城下，不但不能克日进攻，直至该逆出入亦不能防，殊堪诧异。该逆每扑一处，马队总被冲散，兵勇总有伤亡，甚至大营之后亦被任意冲扑，准备毫无，可见所称昼夜列队悉力合围者，全系虚应故事。……攻既不能，围又不密，劳师糜饷，坐令穷寇稽诛。胜保等玩误之罪，断不能曲为原宥也。”
后为了制造舆论继续指责胜保：“数月以来所筹办者皆毫无成效，不过每阅数日敷衍入奏，以为搪塞地步似此，庸懦无能，殊堪痛恨。”
然后没过几天就派僧格林沁赴任时，带密诏将胜保革职查办拿问进京，后流放到新疆，由僧格林沁接受胜保的职务。
在名义上的钦差大臣胜保走后，僧格林沁独掌大局，先是总结了胜保趟了数个月雷的经验后，自知如果自己效仿胜保强攻坚城，定会赴胜保覆辙，便采用围师必阙之计，故意留破绽，先将李开芳等人诱出坚城，在伺机消灭。
当李开芳见到僧格林沁来了，便确认林凤祥等人以遭受不测，遂也不再固守坚城，便顺势从清军的破绽中突围而去。