石达开作战一再失利，除行动无坚决目标外，与其没有后方基地的依托，无法保证物资的供给也很有关系。在其率十万大军围攻宝庆，湖南全省震动时，曾国藩即很冷静地指出：“贼至十万之多，每日需食米千石，需子药数千斤，渠全无来源，粮米掳尽，断无不走之理，可不须大胜仗也。”曾国藩说他“既钝于浙，钝于闽，入湘后又钝于永、祁，钝于宝庆，裹胁之人，愿从者渐少，且无老巢以为粮台，粮米须掳，子药须搬，行且自疲于山谷之间”，他的行为，渐滋物议。部队的士气逐渐低落。
1859年（己未九年）8月，石达开久攻宝庆不克，临时变计，南下广西北部与石镇吉会师。他试图攻打桂林，但在湖南清军驰援广西之后，又放弃攻城的行动。10月15日，他率部占领桂北的庆远府城，取得回师广西的重要立足点。在庆远府的8个月时间里，他改旧府署为翼王府，改庆远府为龙兴郡，并筑垒连营200余里。1860年（庚申十年）3月下旬，他在庆远庆祝了自己的30岁生日。4月间，他还和部属一起登临宜山，在白龙洞留下了唱和的题壁诗。在刻石的诗篇中，他表述了自己“毁佛崇天帝，移民复古风”的意愿，即仍坚守了太平天国的基本理想。