丞相曾派籍福去向魏其侯索取魏其侯在城南的田地。魏其侯深怀怨恨地说道：“我虽然失势，将军虽然显贵，但怎么可以仗势强夺我的田地呢！”魏其侯不答应。灌夫听说后也大怒，大骂籍福。籍福不愿丞相和他们有隔阂，就自己编了一些好话向丞相道歉：“魏其侯年事已高，就要死了，您姑且忍一忍，等着吧！”不久后，武安侯听说魏其侯和灌夫其实是因为愤怒而不肯让出田地，也很生气地说道：“魏其侯的儿子曾经杀人，是我救了他一命。我服侍魏其侯的时候从没有不听从他的话，为什么他竟吝惜这几顷田地呢？再说灌夫为什么要掺和呢？我不敢再索取这块田地了！”武安侯从此非常怨恨灌夫和魏其侯。
元光四年的春天，丞相向皇上进言，说灌夫家住颍川，横行霸道，百姓都深受其苦。请求朝廷查办。皇上说：“这是丞相的职责，何必请示朝廷。”灌夫也掌握了丞相的秘事，比如采取非法手段谋利，接受了淮南王的金钱贿赂，并与其私下会谈。宾客们从中斡旋，双方才作罢，彼此和解。
那年夏天，丞相娶燕王的女儿为妻，王太后下诏，命令列侯和皇族都去祝贺。魏其侯去拜访灌夫，打算和他一起去。灌夫推辞：“我屡次因酒醉失礼而得罪丞相，丞相近来与我正有嫌隙。”魏其侯说：“已经和解了。”硬拉着他一道去。酒兴正酣时，武安侯起身敬酒，在座宾客都离开席位伏在地上，以示不敢当。后来魏其侯起身敬酒，只有魏其侯的那些老朋友离开席位，其余半数的人不过是半起跪在席间。灌夫不高兴。灌夫起身依次敬酒，敬到武安侯，武安侯却照常双膝跪在席上说：“我不能喝满杯。”灌夫火了，便假笑道：“将军您是贵人，就把这杯喝光了吧！”当时武安侯不肯答应。轮到敬酒给临汝侯，临汝侯正在与程不识耳语，又不离开席位。灌夫的怒气无处发泄，便骂临汝侯：“平时你把程不识诋毁得一文不值，今天长辈给你敬酒，你却学女子在那儿与程不识耳语！”武安侯对灌夫说：“程将军、李将军都是东西两宫的卫尉，现在您当众侮辱程将军，仲孺难道不给李将军留点余地吗？”灌夫说：“今天砍我的头，穿透我的胸，我都无所谓，还顾忌什么程将军、李将军！”在座的人便起身借口要上厕所，纷纷离去了。魏其侯也走了，挥手示意让灌夫一同出去。武安侯就大怒道：“这是我对灌夫放任的过错。”便命令骑士把灌夫扣留。灌夫想出去却出不去。籍福起身替灌夫谢罪，并按着灌夫的脖子让他低头认罪。灌夫越发生气，不肯认罪。武安侯便指使骑士们把灌夫绑起来押到客房，召来长史道：“今天请宗室来赴宴，是有诏令的。”于是针对灌夫在席上辱骂宾客，犯了不敬之罪而开始弹劾灌夫，并把他囚禁在室内。此外还追查他以前犯过的事儿，派小吏分头追捕灌氏所有的分支亲属，都判了斩首示众之罪。魏其侯非常惭愧，出钱让宾客向武安侯求情也无法使灌夫获释，因为他的属下都是武安侯的耳目，灌家所有人都逃跑、躲藏了起来，灌夫也被拘禁，于是无人可以告发武安侯的秘事。