道光年间，李鸿章赴北京参加乡试。当时曾国藩任翰林院侍讲，因为研习理学，又长于古文写作，在士林中颇有声望。李鸿章遂投帖拜师，成为曾国藩的门生弟子，结下了持续一生的师生缘。
太平军兴之后，曾国藩咸丰二年底在湖南创建湘军。湘军创建过程中，曾国藩一直面临着“人才荒”，身边人才极为缺乏，四处搜求助手而不可得。
当时已经成为翰林的李鸿章也准备投笔从戎，想通过军功获得迅速升迁。然而他却没有选择到湖南帮助老师曾国藩，而是于咸丰三年追随自己的老乡、时任工部左侍郎的吕贤基，由北京返回安徽，创办团练抵抗太平军。直到五年多之后，也就是咸丰八年底，一事无成的李鸿章才从安徽南下转投曾国藩。这是为什么呢？
这主要是因为一开始李鸿章对曾国藩的误判。
曾国藩和李鸿章两个人虽为师徒，但是反差很大。
曾国藩这个人天资平平，考秀才考了七次，可以说在同时代大人物当中是最笨的一个。曾国藩自己常说“吾生平短于才”，“秉质愚柔”。他说，自己读书做事，反应速度都很慢：“余性鲁钝，他人目下二三行，余或疾读不能终一行。他人顷刻立办者，余或沉吟数时不能了。”这不完全是谦辞，事实也一定程度上如此。左宗棠一向瞧不起曾国藩，屡屡不留情面地批评他“才短”，“欠才略”，“才亦太缺”，“于兵机每苦钝滞”。李鸿章后来也当面说过他太“儒缓”。（曾国藩日记：“少荃论余之短处，总是儒缓。”）
而李鸿章眉宇间精明外露，一望而知精力充沛，明敏果决。胡林翼和曾国藩都给他相过面。胡林翼见李鸿章一面后，就对曾国藩说：“少荃如许骨法，必大阔。”相面高手曾国藩也对李鸿章说：“观阁下精悍之色，露于眉宇，作字则筋胜于肉，似非长处玉堂鸣佩优游者。”也就是说，你的相貌和书法反映出你是能承担繁剧任务的大才，不适合长年优游于闲职。确实，李鸿章为人直率、精力旺盛、刚强坚毅，总能迅速地选择出最佳的行动方案。
正因为天分不高，曾国藩的人生哲学是“尚拙”，曾国藩说：“天下之至拙，能胜天下之至巧。”就是说，笨拙胜过机巧。办事笨拙，才靠得住。因此曾国藩做事总是从最根本的地方着手，把地基挖到岩石层才开始建设。
而李鸿章的人生哲学是“尚巧”。李鸿章则天性机敏，喜欢因事而为，追求便捷迅速。在他看来，办事越巧妙，越少费力气，越走捷径，当然就越好。
说实在的，虽然拜倒在曾国藩门下，但是李鸿章从来没想到曾国藩能在军事上建大功立大业。他印象中的曾国藩，是一个举止端谨言论正大的前辈，虽然人品和学术都令人钦佩，然而头脑并不是第一流的聪明，又有很重的书呆子气，并不是一个能干出实事的人。所以王闿运说，李鸿章原先“于曾蔑如也”。他一直认为，在中国真正能成事的还是他自己这样既有正经学问又会“痞子手段”、身段灵活的人。
咸丰三年太平军攻入安徽之后，三十一岁的李鸿章做了一个不同寻常的选择。他怂恿自己的老乡、工部左侍郎吕贤基上奏折，请求回乡办团练，吕贤基遂以李鸿章“籍隶安徽，情形熟悉”，奏请随营帮办一切。李鸿章与吕贤基星夜就道，从此“翰林变做绿林”。
在清代官场，想要破格晋升，最好的途径就是通过战功。因此回乡路上，李鸿章踌躇满志，幻想数年之后，自己可以凭军功封侯。然而真正接触军事之后，李鸿章才发现打仗这事不像他想象的那么容易。
地方大吏交给李鸿章的任务和皇帝交给曾国藩的类似——“协办团练”。曾国藩早就认识到团练不可靠，体制内不可能成事，因此经过深思熟虑，创建了一支组织和作风与正规军及团练都完全不同的湘军。在创建湘军的过程中，曾国藩没有忘了昔日门生。咸丰三年底，曾国藩的朋友江忠源受命担任安徽巡抚，曾国藩写信给他，大力向他推荐李鸿章：“李少泉编修，大有用之才，阁下若有征伐之事，可携之同往。”不久（阴历十一月十七日）曾国藩又写信给李鸿章，谈及自己创立湘军，是因为国家正规军已经极度腐败，不可依靠：
今日兵事最堪痛哭者，莫大于“败不相救”四字。当其调兵之时，东抽一百，西拨五十，或此兵而管彼弁，或楚弁而辖以黔镇，虽此军大败奔北，流血成渊，彼军袖手旁观，侈口而微笑。此种积习，深入膏盲，牢不可破。……须尽募新勇，不杂一兵，不滥收一弁，扫除陈迹，特开生面，赤地立新，庶收寸效。
湘军尚在创立之中，曾国藩就把自己的建军思想和编练心得坦诚相告，可见对李鸿章的重视。曾国藩向他点明办团练是没用的，他劝告李鸿章仿效湘军，“束以戚氏之法”，“一洗向日营伍之陋习精练淮勇”，用新法练出一支淮军来。还计划明年率湘军杀到安徽，能与李鸿章合兵一处。
可惜虽经曾国藩指点，李鸿章还没有认清改弦更张、脱离旧的军事体制之必要。李鸿章回到东乡故里后，利用他在地方上的关系，召募了数百乡勇，练起了传统意义上的团练，也带着这支部队与当地土匪作战几次。然而团练这个体制早已经被曾国藩论证为于事无补，李鸿章又缺少实战经验，凭着血气，一味“好猛进”、“浪战”，自然胜少败多，留下多次恇怯逃跑或“专以浪战为能”的记录。后来李鸿章在战场上实在混不下去，只好数度混迹于省中大员的幕府，充当他们的幕僚。
然而他又面临着上司不合官场倾轧的混乱局面。当时安徽统兵之帅，有巡抚李嘉端、在籍侍郎周天爵以及吕贤基三位。一省之中三帅并立，各争雄长，“事权不一”，李鸿章是吕贤基空降时带回来的人，性格坦直，又带着京官习气，与本地官场水土难服，因此“谣诼纷纭，谤言屡起，鸿章几不能自立于乡里。”
而此时曾国藩在苦练湘军数年后大举出师，扫清湖南，收复武汉，大出李鸿章的意料之外。直到这时，他才发现，这个看起来徇徇如书生的曾夫子真有些常人不及的过人之处。后来他在给曾国藩的信中说：
……窃念今日事势艰难极矣，人才败坏极矣，惟吾师倡义旅于湘中，拂拭英奇，别树一帜，积年经营，委折独具，深心道力，乃久而见功。咏芝(即胡林翼）中丞推衍余波，乘时得地，发挥光大，抑亦人中之豪也。阃帅皆能如此用人理财，则兵不难治，贼不难灭矣。
直到这个时候，他才意识到，太平天国之乱只有靠湘军才能平定。因为曾国藩的深心道力，别树一帜，确实是他人难及的。
李鸿章在安徽“宛转随人”数年，不但没能建立什么功业，反而连自家老宅都没能保住。咸丰八年，庐州再次被太平军攻陷，李鸿章的祖宅被“焚毁一空”，夫人和幼子也死于此役。李鸿章如同丧家之犬，带着幸存的家人仓皇逃窜，终于明白安徽不是他的建功之所。放眼四顾，天下谁人可依？看来只有曾国藩大营可以投奔了。
咸丰八年七月，在老宅被焚后不久，李鸿章给曾国藩写了一封信，表达了自己投奔湘军的意愿。咸丰八年底，李鸿章来到曾国藩幕府，师生相见，分外喜悦。曾国藩日记中记载他与李鸿章谈起办团练之事：“初更后，与李少荃、许仙屏言团练之无益于办贼，直可尽废。如必欲团练，则不可不假以威权。”