旧主屋に付属する座敷棟で、木造平屋建・本瓦葺きの建物です。天明年間(1781～1789)に建てられたと伝えられ、備後国神辺(現在の広島県福山市神辺町)出身の儒学者である菅茶山かんちゃざんによって「西爽亭」と名付けられました。
　西爽亭を構成する座敷棟・御お成なり門もん・茶室および庭園の中で、建築上特に優れているのが、御成門と座敷棟にある式台玄関です。通りに面する御成門は、本瓦葺きの薬医門形式で、屋根の四隅に意匠の凝った鬼瓦を乗せています。式台玄関は幅が二間あり、入母屋の屋根で、凸型に緩やかに傾斜したむくりのある唐破風様の妻飾がついています。
　式台玄関を入ると、「取次の間」「次の間」「上の間」と続きます。「次の間」「上の間」は、内部の仕上げこそ格別華美というわけではありませんが、天井が比較的高く、ゆったりとした数寄屋風の書院になっています。さらに奥へ進むと湯殿・小便所・大便所・手洗いが配置されており、江戸時代の上級武士の生活の様子がうかがわれます。
　屋敷地の南に建つ茶室は、台だい目め3畳と中板からなる特異な平面をもつ部分と、庭の傾斜した部分に懸かけ造づくり状に建てられた台目二畳の煎茶席で構成されており、美しい意匠をとどめています。
　このような建築物群は、豊富な庭園の石組みと相まって、築造された天明期の風趣を漂わせています。