程大位（公元1533—1606年）是著名数学家及珠算发明家，其故居坐落在柏树街东里巷内。故居建于弘治年间（公元1488年），占地面积4000多平方米，于1986年9月18日程大位逝世380周年纪念日正式对外开放，并正式建立程大位纪念馆，成为一个国际性的珠算研究和培训中心。故居为明代徽州古民居建筑：马头墙，粉墙黛瓦，飞檐翘角。大门为内外门楼，上饰精美的徽州砖雕，门内为天井，意味“四水归堂”。故居为两层，三开间，东西厢房，建筑占地面积为500多平方米。前堂为客厅，立有程大位画像，横梁上“程大位故居”匾额为著名数学家苏步青教授的题。楼上大厅内陈列有古今中外各式算盘、程大位菱、程氏宗谱及各种珠算资料、图片。引人注目的是形状各异的算盘：大者有81档，1.75米长；小的如戒指算盘，仅0.02米，具有较高观赏价值和文物价值。故居西侧为“宾园”，程氏号为宾梁，故名。园内回廊小径，花草山石，景致典雅。墙垣窗户均为算盘图案，耐人寻味。纪念馆西侧建有"珠算资料馆",为安徽省重点文物保护单位。

程大位被推崇为中国"珠算鼻祖"。程大位先生穷毕生精力所著《直指算法统宗》和《算法纂要》，开创了中国珠算新的里程碑。他的《直指算法统宗》成书并刊印出版于1592年5月，此书广泛流传300多年不衰，并在1600年流传到日本，开创了日本和算的先河，日本每年8月8日均要举行隆重的纪念活动，以纪念程大位先生。明末时期，他的书广泛传遍东南亚、欧洲和美洲。为世界珠算发展奠定了基础。同时他还创造发明了世界上第一部卷尺——丈量步车，亦被后人称为发明家。