当时秦始皇不是打不败匈奴，而是选择不打，如果真的打的话，未必打不过匈奴。秦始皇与汉武帝生活的年代不同，历史背景不同，国力盛衰不同，所以做出的选择不同。
对于匈奴，秦始皇采取的政策是积极防御。《过秦论》中写道：“蒙恬北筑长城而守籓篱，却匈奴七百余里”，也就是说，秦始皇并不是被匈奴逼迫而选择设长城，因为前有“却匈奴七百余里”，所以是取得战略要地的情况下才修建了长城。在建立长城的同时，蒙恬还以长城为据点，多次主动出击匈奴进行防御。
我觉得秦始皇并不认为打下匈奴有什么用处。在秦始皇主动出击匈奴之前，不得不考虑如果战胜了会怎么样的问题。当时的情况是，其实战胜了也没多大的好处，徒增战争消耗而已。在秦始皇之前的一千多年历史中，中原政权就不断地在和周边的游牧民族相争衡，与匈奴作战中也基本上确立了合理的双方势力范围，超过这个范围，对彼此都没有太大的好处。
秦始皇认为早在大禹分九州之时，就已经有了后世所谓的“华夷之辨”。尤其是在周朝建立之后，名义上归周天子管辖的范围才能算是“天下”，而匈奴活动于荒服之外，根本就不在“天下”的范围内。所以出击匈奴，成本太大；打胜了也守不住，还不如修建长城，以逸待劳。