东村、甪里、慈里、绮里四个村子皆因四皓隐居而得名，村落的历史因此变得厚重起来。那么，"商山四皓"是何许人物呢？他们就是秦末四位博士：东园公唐秉、夏黄公崔广、绮里季吴实、甪里先生周术。后来他们隐居于商山，当年四人掌管史事典籍，博古通今，才华横溢。因不满秦朝统治，故不愿意当官，一起辞职隐藏在陕西商山，过着"采菊东篱下，悠然见南山"的归隐生活。直至出山时均眉皓发白，故被称为"商山四皓"。

东村古村，位于西山岛的北端。因商山四皓之首的东园公唐秉居住地而得名。它是一个条状形的古村落。沿着一华里的古街道走，古韵扑面：古巷幽幽，古井、古宅连片。其中，敬修堂和栖贤巷门为省级文保单位。敬修堂建于清干隆年间，前后分为四进。进门后，依次有三个精致的砖雕门楼。除了砖雕外，还有花格窗雕等精美的图案。它是东村保存最完整的古堂。已拍摄过《橘子红了》、《庭院里的女人》、《凤穿牡丹》、《风雨雕花楼》等多部影视剧。

甪里古村，位于西山岛的西南端。因商山四皓之一的甪里先生居住而得名。它是个靠山面湖的村落。那里风光优美，环境清幽，是个理想的隐居之地。南宋前，就有望族郑氏隐居这里。村间一条古港曾经为江浙两省的分水线。港湾的南端是浙江，北端是江苏。民间有"郑泾港两头通，文昌阁座当中"之说。昔年，港湾内船只林立，停泊着远去浙江的商船、客船，热闹得很。甪里的村口处有"禹王胜景"。那是纪念大禹治水而建造的庙宇。如今是岛上西南部地区唯一的一个景点。禹王庙东侧，有自然村落"周家上头"，相传为周术后裔。

慈里，与甪里背山而居。那里地势开阔，曾居住着商山四皓之一的夏黄公崔广。崔广以炼丹救人为己任。他慈爱百姓，博爱众生。在山谷间广种花草，传有"万花谷"地名。如今，慈里还留有他炼丹取水的黄公井。元朝诗人张雨有《黄公泉诗》："黄公炼药处，遗井兹丘上"。

绮里，紧连慈里。因商山四皓之一的绮里公吴实居于此而得名。绮里山脉似鹰，坞地平坦。山间溪流潺潺，鸟语花香。村中留有马蹄桥、棋盘石、四皓祠等遗迹与传说。大观音禅寺就坐落于此。