家徒四壁这一成语源自《史记司马相如列传》，讲述的是文君夜奔相如的故事。当时司马相如家中贫穷，家中几乎一无所有，仅有四面墙壁立在那里。这个词描述的是一种家中极为贫困的境地。
司马相如是汉朝时期的才子，尽管他的家庭十分贫穷。某日，大财主卓王孙邀请当地的知名人士赴宴，并请司马相如弹琴助兴。当卓王孙的女儿卓文君在宴会中听到司马相如的琴声时，她知道爱情已来临。尽管不久前她的丈夫去世，但她仍然对音乐的魅力有着深深的爱意。她的心意在司马相如的琴声中得到了共鸣。
宴会结束后，司马相如巧妙地通过丫鬟向卓文君传递了情书。那天晚上，卓文君瞒着父亲离家出走，投奔司马相如下榻的客栈，并一同回到司马相如的故乡成都。
到达司马相如的家后，卓文君地发现家中除了四面墙壁之外几乎一无所有。她并未退缩，决定留下来与司马相如共度难关。他们共同度过了艰苦的日子，向朋友借钱在卓王孙家的附近开设了小酒店，依靠街头卖酒谋生。尽管日子艰难，但他们凭借着坚定的信念和爱意携手共度难关。
卓王孙出于颜面考虑，赠送了八十名仆人和一百二十两黄金给他们。这笔资助让司马相如和卓文君得以购置田地、房产等资产，逐渐改善他们的生活状况。虽然他们曾经历过家徒四壁的日子，但最终他们的爱情和坚韧赢得了美好的回报。