日興證券の創立者、遠山元一が母を住まわせるために建てた邸宅です。　　　　　　　　　　　　伝統的な日本建築で、全国各地の銘木と選りすぐられた技術により、２年７ヶ月を費やして昭和１１年４月に完成しました。　　　　　　　　　　　　　　　　　母が亡くなってからは、遠山元一の接客に使用された。　　　　　　　　その後、邸宅の保存と遠山元一が長年にわたって収集した美術品を広く一般に公開することを目的に昭和４３年財団法人の認可を受け敷地内に美術館を付設し、財団法人遠山記念館として昭和４５年に開館しました。