段祺瑞先后娶了两房太太和五房姨太太，值得一说的是他的五房姨太太都是张蘅替他娶的。张蘅是段祺瑞的第二位夫人，因为他第一任夫人吴氏去世，只留下一双儿女。因此，段祺瑞接着又娶了她。
张蘅
张蘅出身也不平凡，袁世凯是她的干爹，这样看，她和段祺瑞算是门当户对。张蘅与段祺瑞结婚之后，为他生下四个女儿。没有儿子，成了张蘅的心病。因此，张蘅就主动帮助段祺瑞接连娶了五房姨太太，主要是怕别人说她不够贤惠。
五个姨太太当中，大姨太陈夫人，在1914年就不幸去世了，留下的一双儿女也不幸夭折。而二姨太边氏为人忠厚老实，她为段祺瑞生下一个女儿。
至于后面的三房姨太太，都是张蘅买来的，一般按照她们的姓氏，被仆人们称为刘三、刘四、李五。但因为她们出身相对卑微，还是花钱买回来的，因此，和段祺瑞自然不会有什么感情。
段祺瑞
段祺瑞下野之后，全家住在天津。第二年，他的部下田中玉邀请他去大连疗养身体。因此，他带着张夫人和二姨太就前去了，家里的姨太太也就没有了束缚。
因为段祺瑞在的时候，对他们极其的严格，现在段祺瑞走了，她们便肆无忌惮。几个姨太太经常打扮的花枝招展，溜出家门去看电影、听戏，有时候甚至去一些舞会，经常半夜才归来。不久之后，段祺瑞返回天津，但是他发现家中的气氛有些不对劲。下人们经常会背着他窃窃私语，他虽然知道不对劲，但是不知道什么事，因此也就没有在意。
自从段祺瑞回来，几个姨太太收敛了很多，因为她们知道被段祺瑞抓到免不了一顿责罚。但是三姨太终究耐不住性子，一天晚上偷偷溜了出去，直到半夜才偷偷摸摸的回来。
说来也是她运气不好，当天晚上，段祺瑞睡不着，便起身到外面的花园里散步。谁知刚好碰到三姨太衣衫不整的回来。
段祺瑞非常的惊讶，自己的女人竟然半夜外出，而且打扮的像个歌女一样。三姨太看到段祺瑞的时候，就知道自己完了，段祺瑞看了她一眼，然后往她脸上打了一耳光，呵斥道："不要脸的东西。"
三姨太被打的大脑一片空白，站在那不敢动了，这一边张夫人闻声赶来，她看到了三姨太明白了一切。
因为三姨太和四姨太的事情，下人们和她说过，但是她不敢告诉段祺瑞。因为她知道段祺瑞的性格，担心他会做出什么事。但眼下似乎已经瞒不住了，她只好问："这是怎么了，怎么下这么狠的手。"
段祺瑞撂下一句："你自己问问她做了什么"，便起身离开了。
段祺瑞
第二天，段祺瑞告诉张夫人，让她把三姨太送回北京的娘家。尽管三姨太非常的不愿意，但眼下也无可奈何。毕竟事情闹大了，段祺瑞只是脸上不光彩，而她或许连娘家也回不去了。
谁知，屋漏偏遭连夜雨，三姨太刚被送走，四姨太的风流之事又被下人们传了出来。段祺瑞这次很是冷静，连脾气都没发，就让张夫人把她送回娘家了。
其实，如今再看这件事，可以发现段祺瑞的高明之处，他是故意不把事情闹大的。因为这件事情闹大了，影响最大的不是三姨太和四姨太，而是他自己。他刚刚下野，家中就出现这样的丑事，那他仅存的一点威望也会烟消云散的。至于他对待自己的子女，也是非常的严格，从来不会让人给他们特殊的照顾。吴夫人生的长子段宏业，从小就被丢到了亲戚家，成年了才被接回来。
尽管他没有接受过良好的教育，但是他和段祺瑞有着相同的爱好，就是下围棋，他依靠自己的实力，成了当时响当当的人物。
