转眼来到1126年，金军攻打开封，岳飞的部队被冲散，他只得带着家人来到相州城。在相州城，岳飞亲眼目睹了人民惨遭杀戮和奴役的情景，心中感到十分愤慨，便有了再次从军的想法，但又顾及母亲年迈，两个儿子又弱小，在乱世中无法立足，便打消了从军的念头。但姚氏深明大义，他再次鼓励岳飞从军，还在他背上刻上了精忠报国四字，岳飞牢记母亲的教诲，忍痛离开家人，到前线抗击金军。
临行前，岳飞告诉妻子刘氏，要他好好照顾老母亲和两个儿子，刘氏也表示答应，岳飞便放心上路了。然而，就在岳飞离开家人后没几年，刘氏就因为无法忍受生活的艰辛而两次改嫁。刘氏第一次改嫁，婚姻持续的时间不长，她就再次改嫁，嫁给了韩世忠军中一个负责押运的小头目，时间是在1130年。那时候岳飞人在楚州，因为战功卓越，已经成为武功大夫、昌州防御使，任通、泰州镇抚使兼泰州知州，其亲手建立的岳家军也已经初显雏形。
韩世忠与岳飞交好，他得知岳飞之妻刘氏嫁给了自己的属下，感到十分愤慨，便写了一封信给岳飞，要岳飞派人将刘氏领回去。岳飞听说此事后，虽然感到十分愤怒，但念及刘氏有生育和操劳之功，便没有派人去索取她，反而派人给她送去了五百贯钱，用以资助她的生活。世忠上闻，飞奏言：“履冰渡河之日，留臣妻侍老母，不期妻两经更嫁，臣切骨恨之。
已差人送钱五百贯，以助其不足，恐天下不知其由也。”上令报行。此事过后，岳飞便将他在当年春天娶的小妾宜兴人李娃扶正，李娃由此成为岳飞的第二任妻子。李娃出生于1101年，比岳飞还大一岁，她在战乱中与岳飞相识相爱，跟随岳飞南征北战，照顾岳飞的生活，吃了不少苦，还先后为岳飞生下三子岳霖、四子岳震、五子岳霆和次女岳银瓶。
除了这几个孩子之外，岳飞还有个长女岳安娘，历史上没有记载她是谁生的，但大概率是刘氏所生。李娃在历史上有美名，因为她对岳飞的帮助很大，常常帮岳飞布置军事，安抚随军家属，是个有见识和魄力的女人，将士们对她评价很高；岳飞将家人接到身边后，李娃对公婆姚氏十分孝顺，对岳云和岳雷也视如己出，是个很好的贤内助。因为李娃的操持，岳飞家庭生活美满，没有后顾之忧，可以一心一意为国出力，从而开创出一番伟业。
岳飞之死及其家人的下场。1139年，金国发生内乱，主战的大将完颜兀术发动政变，杀死主和的完颜挞懒等人，自此掌握了金国军政大权。1140年，完颜兀术撕毁合约，发兵十万攻打南宋，很快便占领开封，并准备攻打两淮。由于南宋准备不足，宋高宗赵构便下令已经在鄂州整训两年的岳飞再次出征，这是岳飞第四次北伐。在这次北伐中，岳家军势如破竹，打得金军一路溃败，完颜兀术只得退守开封，他曾不无愤慨地说，自我从军以来，从来没有遭遇如此溃败！金军大将韩常畏惧岳家军，便派人秘密联络岳飞，表达了投降的意愿，这让岳飞感到很高兴，便鼓励部下说，这次杀金人杀得痛快，我们再接再厉，一直杀到黄龙府去，到时候在与你们一起痛饮！酋虽签军，无一从者，乃自叹曰：“我起北方以来，未有如今日屡见挫衄！”公至是喜甚，语其下曰：“今次杀金人，直到黄龙府，当与诸君痛饮！”不久之后，岳家军就打到了开封，与金军在开封城外朱仙镇展开大战。
但刚一交战，金军就全线溃败，完颜兀术只得放弃开封，一直逃到黄河边，准备渡河返回金国。而就在完颜兀术准备渡河的时候，他在南宋的好朋友、即主和派首领宰相秦桧却建议赵构下令岳飞撤军，赵构也有意见好就收，便连发十二道金牌让岳飞撤军。岳飞原本胜利在望，却突然要他撤军，因此他对赵构的决定很不理解，但君命不可违，他只得撤军返回。
而就在岳飞撤军后不久，金军再次南下，岳飞最后一次出征，将金军再次击败。完颜兀术见一时无法灭宋，便坚定了议和的决心，于是写信给秦桧说，只有杀了岳飞，才有议和的可能。虏自叛河南之盟，岳飞深入不已，桧私于金人，劝上班师。金人谓桧曰：“尔朝夕以和请，而岳飞方为河北图，且杀吾婿，不可以不报。必杀岳飞，而后和可成也。
”很快，在秦桧的唆使下，赵构解除了岳飞、韩世忠和张俊等人的兵权，而后秦桧又威逼张俊诬告岳飞手下张宪谋反，并策反岳飞的其他几个部下，让他们诬告他及儿子岳云曾写信给张宪密谋造反。赵构不辨真伪，下令将岳飞及长子岳云关押到大牢中，秦桧又派遣万俟卨对岳飞进行严刑拷打，试图逼迫他招供，但他誓死不从。1141年七月，宋金议和达成，宋朝向金国称臣纳贡，并将淮河以北土地割给金国。
