1880年初，根据左宗棠的意见，清政府派曾纪泽赴俄国谈判收复伊犁问题。在谈判中，俄国多方要挟，蛮不讲理，曾纪泽坚持原则，据理力争。
左宗棠深明外交必须以军事为后盾的道理，虽主谈判，但不忘备战。为了支持曾纪泽的外交努力，左宗棠率兵前往哈密，在哈密设立抗俄司令部。在前往哈密的征途中，他让士兵抬着棺材走在队伍的前面，表明誓死抗击俄国、收复伊犁的决心。唐朝诗人王之涣《凉州词》说：“羌笛何须怨杨柳，春风不度玉门关。”自古以来，玉门关几乎成为人们西行的极限。此时，左宗棠已年近古稀，体弱多病，可他却说：“壮士长歌，不复以出塞为苦，老怀益壮，差堪告慰。”连当年前往哈密拜访并留住军营一个多月的德国人福克都说：“一月以来，觉爵相年已古稀，心犹少壮，经纶盖世，无非为国为民，忠正丹心，中西恐无其匹。”正是左宗棠震惊中外的豪情壮举，有力地支援了曾纪泽的外交斗争，终于迫使俄国将伊犁归还中国。《阿古柏伯克传》的作者包罗杰说：“中国收复新疆，毫无疑义，是一件近50年中在亚洲发生过的最值得注意的事件，同时这是一个多世纪以前乾隆出兵这个地区以来，一支由中国人领导的中国军队所曾取得的最光辉的成就。”