方以智是安慶府桐城縣鳳儀里人(今屬安徽桐城市),出身士大夫家庭。方氏是桐城地區(qū)這一時期主要的世族。曾祖父方學漸,精通醫(yī)學、理學,并且能學習諸子百家,融會貫通,自成體系 ,除記錄赴東林講學的《東游記》外,著有《易蠡》、《性善繹》、《桐夷》、《邇訓》、《桐川語》等。祖父方大鎮(zhèn)在萬歷年間,曾任大理寺左少卿,著有《易意》、《詩意》、《禮說》、《永思錄》、《幽忠錄》等數百卷。因方學漸曾受學于泰州學派的耿定理,《明儒學案》把他列入《泰州學案》。外祖父吳應賓,精通釋儒,著有《學易全集》、《學庸釋論》、《宗一圣論》、《三一齋稿》等。父親方孔炤,萬歷四十四年進士,崇禎朝官至湖廣巡撫,通醫(yī)學、地理、軍事,并且較早地接觸西學,主張研習經世致用的知識,著有《周易時論》、《全邊略記》、《尚書世論》等有《全邊略記》等著作,《明史》有傳。《周易時論》被《四庫提要》列入存目。這書對方以智影響很大,方一生中經常提到它。
方以智自幼秉承家學,接受儒家傳統(tǒng)教育,他從小由母親和姑姑一起撫養(yǎng)長大。姑姑方維儀是明大理少卿方大鎮(zhèn)之女,姚孫棨之妻,少年寡居。方維儀頗有才氣,是當時有名的女詩人。曾隨父宦游,至四川嘉定、福建福寧、河北、京師等地,見名山大川,歷京華勝地,閱西洋之書,頗長見識。除了家學,他所授業(yè)的老師亦都是當時的著名學者。白瑜,長于詞賦經史,崇尚實學。王宣則專攻名物訓詁和《河》、《洛》之學,治學嚴謹,是當時治《春秋》的大家。傅海峰則是當時的名醫(yī)。另外,家中還有藏書豐富,被譽為“兩間皆字海,一盡始羲皇”的稽古堂。在這樣的環(huán)境中,少年時代的方以智受到了濃厚學術氛圍的熏陶。由于其祖輩都直接或間接同東林黨有關系。他從小也養(yǎng)成了關心時世的習慣。十四歲時,曾徒步到數百里外的考場參加會試,以此來磨煉意志。
成年后,方以智載書泛游江淮、吳越間,遍訪藏書大家,博覽群書,四處交游,結識學友。在他的學友中有西洋傳教士畢方濟與湯若望,并閱西洋之書,從他們那里,方以智學習了解了西方近代自然科學,從而更加開闊了視野,豐富了學識。他認為:“今天下脊脊多事,海內之人不可不識,四方之勢不可不識,山川謠俗,紛亂變故,亦不可不詳也?!彼髟娫唬骸胺彼缪┕履险鳎滥軣o故國情。斥抱揄方始大笑,牽牛負軛總虛名。凌云久動江湖氣,杖劍時成風雨聲。海內只今信寥落,龍眠山下有狂生?!北磉_了自己非凡的政治抱負。為諫議皇帝選賢用能,革除弊端,實行某些改革,曾寫了《擬求賢詔》、《擬上求治疏》、《擬上求讀書見人疏》等,決心以襄扶明朝中興為己任。他曾在《書鹿十一傳后》中表示要“挹東海之澤、洗天下之垢”。曾與張溥、陳子龍、吳偉業(yè)、陳貞慧、吳應箕、侯方域等主盟復社,裁量人物,諷議朝局,人稱“四公子”,以文章譽望動天下。方以智的父親方孔炤任湖廣巡撫時被楊嗣昌彈劾下獄,方以智懷血疏訟冤,方孔炤這才得釋。一時傳為佳話。