“一衣带水”源自《南史陈纪下》中的记载，隋文帝杨坚曾对仆射高熲表示：“我作为百姓的父母，怎能因为只隔一条如衣带般狭窄的水域，而不去拯救他们呢？”这句话深情地描绘出者对百姓的关怀和决心。
南北朝时期，北周的相国杨坚了年幼的周静帝，自立为皇帝，建立了隋朝。隋朝在北面虎视眈眈，而南方的陈国则以长江为界。陈后主并不担忧，因为他深信长江天堑的易守难攻，认为隋军无法越过。隋文帝杨坚下定决心要灭掉陈国。他表示：“我不能因为一条如衣带般狭窄的长江，而忽视南方的百姓。”他的决心最终导致了陈国的，结束了南北对立的局面，实现了的再次统一。
后来，“一衣带水”这一表达逐渐从形容实际的窄水域扩大到了描述两地间的距离。尽管两国之间可能隔着广袤的海洋，但如果距离相近，就像一条衣带那样狭窄，就可以形容两国之间的距离之近。
虽然和日本隔海相望，这种距离可以用“一衣带水”来形容。与之间的海洋过于辽阔，就不能再以此形容。同样，与澳大利亚之间虽然海域辽阔，但由于并未完全被海洋阻隔，也不适用“一衣带水”。而与韩国、菲律宾、文莱、马来西亚等之间，由于距离适中且没有第三方的阻隔，也可以用“一衣带水”来形容。“一衣带水”不仅仅是一种地理描述，更是一种文化和情感的交流表达。
