JR伯備線は、昭和3（1928）年に全線が開通し、方谷駅も同時に建設されました。方谷駅駅舎は、シンプルな木造平屋構造であり、切妻型の方形プランである主屋を、片流れのプラットホーム屋根と切妻型の車くるま寄よせが両側から挟みこみ、機能に対応した構造形式を呈しています。車寄が特徴的であり、切妻屋根は意図的に太く見えるようにデザインされたＬ字型のモルタル柱で支えられ、象徴的な門型による威厳のある「駅の顔」を表現しています。このモルタル柱は、表面を洗い出しで仕上げ、装飾を施すなど、車寄の建築に重きを置いていたことが想像できます。　駅名は中井町出身である山田方谷の名前からと言われていますが、当時は駅名に人名が採用されることはなく、地元の方々が「中井町西方の谷に位置する」という理由で「方谷駅」が良いという説明のもと、「方谷駅」が採用されたとの逸話も残されています。人名のついた駅としては初期のものにあたります。