苏德战争初期，作为大本营代表，朱可夫同西南方面军首长一起组织数个机械化军在布罗德市地域实施反突击，把德军坦克兵团阻滞在罗夫诺和杜布诺地区。1941年8～9月朱可夫任预备队方面军司令，指导实施叶利尼亚战役，击溃德军突击集团。这是苏军自开战以来实施反击和进攻的第一个成功战例。9月11日在列宁格勒(今圣彼得堡)处境危急之际，朱可夫任列宁格勒方面军司令，率方面军与波罗的海舰队共同作战，并组织人民积极支援，粉碎德军夺取该城的企图。10月调任西方面军司令，参与指挥莫斯科会战。经过艰苦奋战阻滞了德军向莫斯科接近地的进攻；尔后转入坚决反攻，与加里宁方面军和西南方面军协同作战，将德军击退100～250公里。1942年8月起任第一副国防人民委员和最高统帅部副最高统帅，积极参与制订最高统帅部的战略计划，并在前线直接组织实施了一系列重大战役。先后协调了参加斯大林格勒会战、突破对列宁格勒的封锁作战，库尔斯克会战和第聂伯河会战的各方面军行动，指导、参与制订并监督实施这些战役的计划。
朱可夫因功绩卓著于1943年1月晋升为苏联元帅。1944年3～5月任乌克兰第1方面军司令。同年在组织实施白俄罗斯战役时，负责协调白俄罗斯第2和第1方面军的作战行动，与负责协调白俄罗斯第3方面军和波罗的海沿岸第1、第2方面军作战行动的大本营另一代表A.M．华西列夫斯基一起，为粉碎德军“中央”集团军群和解放白俄罗斯做出重大贡献。1944年11月起任白俄罗斯第1方面军司令，翌年初指挥该方面军与乌克兰第1方面军协同作战，共同实施维斯瓦河-奥得河战役，歼灭德军“A”(中央)集团军群，解放波兰大部地区，攻入法西斯德国境内。1945年4～5月指挥该方面军与乌克兰第l方面军和白俄罗斯第2方面军协同作战，胜利实施柏林战役，歼灭法西斯德军重兵集团，攻克柏林。5月8日夜代表苏军最高统帅部接受法西斯德国投降。