蔣介石主政國民政府時期，曾派蔣百里考察南北防務，從山東、河北、山西、河南到湖南、湖北、廣東，以應對可能的國家戰爭。蔣介石還委托蔣百里到廬山，為暑期訓練班的各省高級將領授課。1936年底，蔣百里從歐洲考察軍事回國，飛赴西安向蔣介石匯報，他對蔣說：“我剛從國外考察回來，消息比較靈通。目前日本海軍和陸軍為侵華而互相爭功，日本天皇已秘密接見過陸軍大臣，看來明年（1937年）一定會大舉入侵我國！”
蔣百里的識見、預言幾乎是驚人的準確。1923年，蔣百里與龔浩回北京。途經徐州，蔣忽然若有所感：“將來有這么一天，我們對日作戰，津浦、京漢兩路必被日軍占領。我們國防應以三陽為據點，即洛陽、襄陽、衡陽。”龔聽了這個神話般的怪論，覺得蔣太敏感，自忖“將來中日兩國開戰，無論怎樣，我們的半壁江山不會淪于敵手”。
很早的時候，蔣百里就對梁漱溟說：“吾知中日之戰，勢不能免，勝敗之分，一在械，一在人；論械則我不如敵，論人則我多于敵七八倍。然今日軍事在民眾總動員，而將士不過十之三。我國系農業社會，凡農民欲以民族主義動之不易明了，惟欲破壞其所據鄉村，則彼以生命相搏，故欲君于教育中注重鄉村……”1937年，他跟梁漱溟談起中日戰爭時說，中國軍民應“控制山東高地與山西高地”、“堅守一些山區不放”。因為單靠中國自己的力量無法抗得住強敵，大半國土皆要淪陷而不能守，那是沒有問題的，抗且抗不了，要戰勝它就更有待國際大勢的變化不可了，所以需要西撤，待機反攻，合盟國之力以求收復失地。但單是靠他人，而沒有“求諸己”的一面，那怎么能行？須知反攻戰勝敵人的主要條件仍然在中國人自己。他似乎看到了持久戰、敵后游擊隊。
曹聚仁則提到一件事：“有一天，那是‘一·二八’戰后的第三天，2月1日。他和我們在一家咖啡館喝茶，翻開那天上海版的《每日新聞》，頭條新聞是日本陸相覲見天皇的電訊。他沉吟了一下，對我們說：‘2月5日早晨，會有日軍一師團到達上海參加作戰了。’他何以這么說呢？他說日陸相覲見天皇的意義是報告日軍正式出戰。依日本當前的運輸能力，三天之間，可運輸一個師團的兵力——四萬戰斗兵及其裝備到上海，所以他估計這一師團，5日可以投入戰斗。（后來，他把這一估計，告訴了蔡廷鍇將軍。）果然，‘一·二八’戰役，日軍的第一場反攻是從2月5日開始的，他估計得非常準確。”
但這樣的天才卻只能做了一個大時代的旁觀者。蔣介石雖然器重蔣百里，但從不授予他兵權。1938年秋，蔣介石任命蔣百里為中國最高軍事學府陸軍大學代理校長，仍由自己兼校長。在軍閥、梟雄爭勝的時代，英雄無用武之地，幾乎注定了蔣百里的個人悲劇。他趕上了西安事變，跟蔣介石一起做了張楊的階下囚。張學良想派個人去南京接洽停戰，又怕南京不接受，問計于蔣百里。蔣問：“這里的人你最討厭誰？”張學良回答：“蔣鼎文。”蔣百里說：“那就讓他去。”南京很快停火。牛刀小試只是做了一次參謀顧問的角色。
在那樣的時代，蔣百里只是一個象征、點綴，更多的時候只能做一個宣傳員，但這一工作他也做得極為出色。比如他從民族特性上勸導國人樂觀，他說，中國民族夙非以武力見長，民族歷史不以武功著稱；但每從自衛上發出力量來，亦能戰勝強敵，也就是說中國不能打侵略戰爭，而長于自衛。抗戰初期，國民軍隊節節敗退，形勢萬分危急。蔣百里在1937年秋冬撰寫了《日本人——一個外國人的研究》一文，斷言日本黃金時代已經過去，他說：“日本在極小一塊空地中，常能布置出十全的庭園山石，這個想象力很大的日本民族，悲劇性地自造了一個國難，以為悲壯的享樂本來是一個理想的陰影，現在竟變成了事實的魔鬼。日本的厄運，實在是愛國志士造成的啊！”文章結語寫道：“勝也罷，敗也罷，就是不要同他講和。”文章轟動一時，激勵了無數人的抗日斗志。