于是谢玄拜为建武将军，兖州刺史，领广陵相、监江北诸军事。

太元三年（公元年）秦王苻坚命其子征南大将军苻丕督率兵马四路分进，会攻襄阳。次年二月秦军攻陷襄阳，俘获晋军守将朱序。

与此同时，秦将彭超加紧围攻彭城。谢玄奉命领兵万余援彭城，他探知秦军辎重存放在留城（江苏沛县东南），便扬言派兵攻取留城。彭超急忙率军还保留城。谢玄即命后将军何谦领兵急驰彭城，解彭城之围，接彭城守将戴遂，返回谢玄驻地。秦将彭超再回兵时，只占得一座空城。秦军继续南下，又攻占淮阴，留下邵保驻守。

五月，秦军占领盱眙，并以六万人攻下晋幽州刺史田洛驻守的江北要镇三阿（江苏高邮西北）。晋军惊散溃败，东晋门户大开，形势十分危急。

于是谢玄奉命率“北府兵”二万余人自广陵援救三阿。谢玄军进至白马塘，俱难派部将都颜率骑兵迎击晋军，交战于塘西，晋军阵斩都颜。谢玄挥兵进至三阿城下，与围城的彭超，俱难所率秦军展开大战。秦军大败，彭超、俱难“相率北走，仅以身免”。晋军趁势收复了淮北地区。但东晋朝廷还是下令晋军南撤，放弃彭城，下邳二地。谢玄回到广陵，进号冠军将军，加领徐州刺史，封东兴县侯。

太元八年（公元年）秦王苻坚决定征调金国兵马，大举伐晋。苻坚亲率大军从长安出发“戎卒六十余万，骑二十七万，旗鼓相望、前后千里。”九月，苻坚抵达项城，苻融进至颍口（安徽寿县西南正阳关颍水入淮河处）。

东晋命尚书仆射谢石为征讨大都督，谢玄为前锋都督，率领辅国将军谢琰、西中郎将桓伊等部共八万兵马前往迎敌，又命龙骧将军胡彬率水军五千救援寿阳。谢玄受命后对如何以仅仅八万之兵抵御秦军百万之众，心中没有把握。他特意去向主持朝政的叔父宰相谢安请教御秦方略。谢安未告之任何方略，却召集谢玄及亲朋子侄郊游，并约谢玄下棋，似乎并无敌情，至夜方回。最后仅以“各当其任”四字为勉。

十月，苻融前锋部队攻克寿阳，慕容垂则进占郧城（湖北安陆）。晋援军胡彬退保硖石（安徽风台西南）。苻融进兵围攻硖石，同时派梁成率军五万驻守洛涧（安徽怀远西南），以遏止晋军救援。梁成曾屡败晋军，所以谢石、谢玄等在离洛涧二十五里处扎下营寨，不敢轻进。胡彬军粮草将尽，遣使密告谢石，信使为秦军所获。苻融得知晋军粮尽后，飞报苻坚：敌少易擒，只恐逃走，宜速进兵。苻坚得报后，将大军留置项城，自率轻骑八千，兼程赶赴寿阳。

苻坚欲依仗秦军声势，迫使晋军不战而降，命原晋襄阳守将朱序为使巨前往劝降。朱序来到晋军营中，秕下对谢石、谢玄等说：“若秦百万之众尽至，诚难与为敌。今乘诸军未集，宜速击之。若败其前锋，则彼已夺气，可遂破也。”谢石得知苻坚已到寿阳，畏惧而不愿出战。谢琰则力劝谢石听从朱序之言。谢玄反复权衡利弊后，也赞同速战。