卢绾是丰邑人，与刘邦家住在同一个里巷。卢绾的父亲与刘邦的父亲非常要好。两家又在同一天生下儿子，刘邦与卢绾同年、同月、同日生，里巷中牵羊担酒，为他们两家祝贺。刘邦，卢绾慢慢长大，两人一起读书一起玩耍，亲密无间，邻居们都很羡慕，觉得他们父辈相好，生儿子在同一天，孩子长大又相好，很难得，再次牵羊担酒祝贺两家。
刘邦还是平民时，因为躲避官司，离家出走了，卢绾一直追随在他身边。后来刘邦在沛县起义，卢绾首先响应并追随刘邦。刘邦被封为汉王，任命卢绾为将军，卢绾经常在内廷陪伴刘邦。再后来楚汉争霸，卢绾以太尉的身份随同刘邦左右，可以自由出入刘邦的卧室，还经常得到衣服，被褥和饮食等赏赐。这种不分你我的礼遇，群臣之中除了卢绾，没有谁敢奢望，即使是萧何，曹参等人，也只是因为工作上的原因而受到礼遇，要说亲近宠幸，都比不上卢绾。汉建国后，卢绾被封为长安候，长安就是秦国首都咸阳。
汉五年初，项羽已经被打败，刘邦派卢绾带另一支军队，跟刘贾一起去攻打临江王共尉，打败了共尉。七月回朝后，卢绾又马上跟随刘邦去攻打燕王臧荼，臧荼战败投降。
高祖平定天下之后，异性诸侯王共有七个，高祖本来想封卢绾为王，但卢绾在群臣中威信不高，只好作罢。等到俘虏了臧荼，高祖便召集所有的将相列侯，让他们在群臣中选择功臣来做燕王。群臣都知道高祖想让卢绾为王，就异口同声说：“太尉长安候卢绾，长期以来追随皇上南征北战，平定天下，功劳最大，应该封为燕王。”这些话正中高祖的下怀，于是封卢绾为燕王，在各位诸侯王之中，没有谁比燕王更受宠幸。