明治37（1904）年、小田郡新山村（笠岡市山口）に生まれる。姫路師範学校を卒業して教師となるが、大正14（1925）年に、文学を志して上京。詩人、そして小説家として作家活動を開始する。昭和19（1944）年、文筆活動の新天地を求めて旧満州国（中国東北部）に赴くが、現地召集を受けて入隊。戦闘訓練中に終戦を迎えた。その後、生死の間をさまよう難民生活を送って、昭和21（1946）年8月に、ようやく郷里山口に帰還する。
　昭和24（1949）年に再び上京。昭和31（1956）年発表の小説『耳学問』が好評を博し、昭和37（1962）年発表の長編大作『大陸の細道』によって人気作家としての地位を確立した。その作品には、生活や交友のなかから題材を拾い上げ、それを文学に昇華した私小説が多く、辛苦に満ちた生活体験によって深められた人生観をもとに、飄逸性、反骨精神をもって描き出された文学であるといわれる。昭和43（1968）年、64歳で逝去した。 生家裏山の墓地に、自筆で木山捷平とだけ書かれた墓標の下に眠っている。
　笠岡市立図書館には「木山捷平文学コーナー」があり、自筆原稿や写真、愛用品などが展示されている。また、山口には現在も生家が残っている。さらに笠岡市では、捷平の顕彰と文学振興を目的として「笠岡市木山捷平文学選奨」事業を実施している。