其實，瑞麟也并非庸才，在攻打太平軍時竭盡全力斬獲頗多，太平軍著名將領林鳳祥就折在他手里，他也由此加都統銜授封西安將軍。要不然他也不會官居一品，又入軍機，又成封疆大吏。
同治初年，閉門思過的軍機大臣瑞麟外放兩廣總督。剛一到任，正趕上米價飛漲民心躁動，巡撫、知府等眾官員齊聚總督府商討應對之策。瑞麟危襟端坐垂問下屬：“米價何以上漲？爾等知其緣由否？”相關下屬答曰：“市儈居奇。”瑞麟聽罷愣了愣神，緊接著又問：“四怪！何許人也？”此一問令下屬瞠目結舌不知如何作答，若回復說并非“四怪”而是“市儈”吧，將置總督于尷尬境地，自己的前途毀于一旦，于是低頭不語做沉思狀。瑞麟見狀并不催促，反倒寬慰下屬：“莫慌、莫慌，待查明報來便可。”在座眾官員哭笑不得紛紛側目，巡撫出言圓場：“細查、細查，侍查實再報。”
幾天后待瑞麟追問時，下屬稟報：“廣州百姓將奸商喚做‘四怪’，意思是那些奸商如同市井流氓。”瑞麟聞之點頭道：“原來如此，原來如此。”還吩咐：“對‘四怪’務必要好好管一管。”事后，瑞麟成了兩廣官員茶余飯后的笑柄，不過在瑞麟離任回京時，眾官員又都多有失落，說這位封疆大吏盡管耳朵不太好使，見識也不太高明，但卻不貪婪、不刻薄、不耍大牌極好相與，是個不錯的上司。
多少沾了點兒慈禧的光
咸豐朝，瑞麟還放過外任，任直隸總督。其時，惠親王綿愉上折，奏請天津塘沽務必屯兵駐防，以防洋人海上進犯。咸豐準奏，命僧格林沁與直隸總督瑞麟前往勘察，全權督辦。勤勉實干是瑞麟的長項，數月之內便大炮到位長堤筑成。轉年，這海防工程還真發揮了作用，重創英國艦船，為咸豐掙足了面子。朝廷論功行賞，僧格林沁為首，瑞麟亦獲嘉勉。可咸豐十年時，曾經威名遠播的海防如枯木一般，片刻間就被英法聯軍摧毀了。朝廷急調僧格林沁率3萬大軍鎮守京東八里橋，勝保和瑞麟也是奉旨扼守八里橋的倚重大臣。
戰端一開，僅有3000兵的聯軍打垮了駐守八里橋的3萬清軍，僧格林沁、勝保敗退京城，瑞麟則在開戰之前就私回京城了。按說瑞麟所犯是臨陣脫逃的不赦之罪，但上諭傳來只將他革職，并沒交有關衙門查辦，同時還著他“留軍中效力，立功贖罪”。后來，英法聯軍攻進北京火燒圓明園，以報談判特使在圓明園遭酷刑被殘殺之仇。逃到承德的咸豐怨恨交加卻又無計可施，即無意更無力顧及瑞麟當如何處置類的瑣事。再后來，咸豐病亡，辛酉政變你死我活，兩宮忙著肅清八大臣余孽，瑞麟這類瑣事同樣擺不上議事日程。待政局穩定，這類瑣事能擺上議事日程時，朝廷中主事的已然是慈禧及恭親王、醇親王了。瑞麟的親朋故舊為之開脫，說他當時并非軍職，只奉旨協助沒統兵之權責，開戰之前回京探家，不應以“臨陣脫逃”論處。何況再怎么著，他也是慈禧和醇親王福晉的族叔，不看僧面看佛面，相關衙門拿出“閉門思過”的處理方案，軍機處認可，朝廷準奏，于是瑞麟便奉旨“閉門思過”了。
“閉門思過”的瑞麟干起了年輕時不愿下力的事，整天價待在書房里吟詩作畫。功夫不負有心人，他的詩畫還真有了長進，不過他有自知之明，從不以詩畫贈人。有人上門索求，贊他詩畫俱佳，他從來搖頭：“詩乃打油詩，畫乃匠氣畫，登不了堂入不了室，自娛而已。”就是在日后的兩廣總督任上遇人索求，瑞麟也照舊這般說出口。
皇恩浩蕩春風吹來，在家“閉門思過”不足兩年的瑞麟奉旨上朝，朝廷外放他為兩廣總督。原本鐵定在家賦閑以終天年的瑞麟又一次被天上掉下來的餡餅咂中了頭，究竟是共同當過“軍機大臣上行走”的恭親王奕念舊，還是恭親王借此送慈禧一個人情？無從考證。但無論如何從情理上說，瑞麟是沾了慈禧的光，當然也是沾了他自己人緣好的光。如果說慈禧恩典過娘家人的話，由“閉門思過”而外放兩廣總督的瑞麟是唯一的一位。因為外放封疆大吏，沒有慈禧點頭絕對沒戲，任誰舉薦也白搭。當然，慈禧的這一恩典絕沒“格外”。因為一品大學士瑞麟的資格在那兒擺著呢，咸豐朝的“軍機大臣上行走”，又當過直隸總督，憑這資格外放兩廣總督沒毛病可挑，也就是說，對這位族叔，充其量是慈禧順水推舟，而算不上刻意關照，更算不上格外扶植、恩賞。