刘虞帐下从事、渔阳人鲜于辅等人，率州兵欲报仇，认为燕国人阎柔一向有恩信，推举他为乌桓司马。阎柔招诱匈奴及汉人数万人，与公孙瓒所任命的渔阳太守邹丹战于潞北，斩邹丹等四千余人。乌桓峭王也率本部落及鲜卑骑兵七千余人，跟随阎柔南下，迎接刘虞儿子刘和，与袁绍部将麹义合兵十万，一起攻打公孙瓒，在鲍丘将公孙瓒军击破，斩首二万余级。于是代郡、广阳、上谷、右北平各地杀死公孙瓒所任命的长官，重新与鲜于辅、刘和连兵，公孙瓒军屡战屡败。
之前就有童谣说：“燕国南疆，赵国北界，中央不合，大如磨刀石，唯有此中，可以避乱世。”公孙瓒认为，这童谣唱的是易县，于是转移大本营到易县，挖掘壕沟十重，在里面修筑高大土丘，高五六丈，上面再建起高楼。中间一座最高的，高十丈，就是公孙瓒自己的居处，称为易京。易京安装铁门，左右都不能入内，男人七岁以上就不许进门，公孙瓒只与姬妾住在楼上，文件都用绳索吊上去。又让女人练习大嗓门，数百步之外都能听见，如此来传达他的命令。疏远宾客，没有亲信，谋臣猛将，也都渐渐离散了，自此之后，也很少攻战。有人问他缘故，公孙瓒说：“当初我在塞外驱逐叛变的匈奴人，以为天下指日可定。到今天看来，兵革才刚刚开始，也不是我能决定的，不如休兵力耕，以拯救灾荒凶年。兵法云‘百楼不攻’，如今我营高楼数十重，存粮三百万斛，吃完这些粮食，也就能等到天下大定了。”