方以智的《物理小識》中的哲學思想基本上是唯物主義的，但個別觀點也有陷於唯心主義之處。明亡以後，方以智堅決抗清，削髮為僧，在晚年時期，他受佛教的影響較深，於是在哲學基本觀點上走向唯心主義，甚至完全轉到唯心主義。
這在他的晚年著作《東西均》中明顯地表現出來。《東西均》中首先重複了「離物無心，離心無物」的命題，進而認為太極就是心。他說：「太極者，先天地萬物，後天地萬物，終之始之……自古及今，無時不存，無處不有，即天也，即性也，即命也，即心也。」
這樣，他所謂的心就成了與太極一樣的絕對本體了。進一步，他更認為心是氣的所以然。他說：「本一氣耳，緣氣生生，所以為氣，呼之曰心。」又說：「世無非物，物因心生。」這樣，他就離開了「離物無心」，而專講「離心無物」了。
方以智在《東西均》中雖然主張「氣理皆歸一心」，但仍然反對離氣言理；掃物尊心。他說：「夫烏知一之本千萬，聽其千萬之本一乎？標理者謂理，已膠；標心者執心，亦膠。」
這是說，萬象本於一原，一原顯為萬象，不應專標一原忽略萬象。如果專門執定理或者執定心，那也就膠固不通了。他論述理與象的關係說：「理與象，氣與形，皆虛實有無之兩端而一者也。……世有泥像數而不知通者，固矣；專富理而掃象數者，亦固也。……豈有通至理而不合象數者乎？……真易簡者，不寓繁多而易簡。者也。」既不可泥於象數，也不可掃象數而專言理。
他又講形上形下的關係說：「陰陽即形下矣，而謂之道，豈非上藏子下而無上無下者乎？」形而上者即包括於形而下者之中。他反對絕物以存心：「火固烈於薪，欲絕物以存心，猶絕薪而舉火也，烏乎可。」又說：「愛一惡賾，膠柱已甚。人當獨有一心，四官四支、三百六十骨節太多，何不廢之？天當止有天，不當有日月星，可乎哉？」天不能脫離日月星，人心也不能脫離四官四肢。
於是，方以智認為，心是世界的究竟本原，心是最根本的。他說：「通言之，則遍滿者性，即遍滿者心，未有天地，先有此心。」這樣的心不是個人的心，而是「公心」。他說：「心大於天地，一切因心生者，謂此所以然者也。謂之心者，公心也，人與天地萬物俱在此公心中。」所謂公心，也就是絕對的心。然而此公心，又仍然是自心。所以他又說：「苟非徹見自心，安能信此心之即天地萬物乎？」
宋明哲學中關於哲學基本問題的爭論是圍繞「氣」、「理」、「心」展開的。唯物論者認為氣是本原，客觀唯心論者認為理是本原，主觀唯心論者認為心是本原。值得注意的是，方以智明確提出氣、理、心的問題。他認為，理可統氣，而理氣又皆歸於一心。他說：「無真妄之真真，即統理氣之至理。」「主理臣氣而天其心，乃正示也。」他又說：「形本氣也，言氣而氣有清濁，恐人執之，不如言虛；虛無所指，不如言理；理求其切於人，則何如直言心宗乎？」歸根到底，他認為心是最根本的。他說：「囚言氣理，而質論，通論之，皆歸一心。」
方以智認為，氣、理、心三者既有區別又是統一的，可分而不可分，不可分而可分。他說：「氣也，理也，太極也，自然也，心宗也，一也，皆不得已而立之名字也。」又說：「明至無可明，養至無可養，窮至無可窮，則又何心。何氣，何理乎？又何不可心之，氣之、理之也乎？」「理也，氣也，心也，俱可忘言，俱無不可言，又何揀擇乎？」對於萬物來說，氣也是根本；但是心究竟是最根本的。方以智的《東西均》中所宣揚的哲學觀點，十分明顯，是一種唯心主義。
方以智晚年雖然主張唯心主義，但仍然重視事物的探索，並沒有忘掉他早年提倡的質測之學。
三、「隨」、「泯」、「統」
相因者皆相反，相反者皆相因。相反即相互對峙，相因即相互倚伏。一與二，統一與對立，也是相反而相因的。方以智說：「因對待謂之反因，無對待謂之大因。然今所謂無對待之法，與所謂一切對待之法，亦相對反因者也，但進一層耳。」「對待」亦即相對性，「無對待」亦即絕對性。絕對的與相對的亦是相反而相因。辯證法不僅承認相對，而且承認有絕對，但絕對即在相對之中。方以智也講「無對待在對待中」，但又主張超越一切差別，「世即出世，是名超越」，「乃無實無虛，無可無不可，冥應雙超者也」，於是他又陷入形而上學的觀點中去了。
方以智的辯證思想和他的形而上學觀點是錯綜交織的，但應該分別看待。他關於「二」、「對待」、「相反」的學說是相當深刻的，這是他思想中的精華；他關於「無二無別」的觀點要求超越一切差別，就是他思想中的糟粕了。
方以智又提出「交」、「輪」、「幾」三個觀念，他說：「交以虛實，輪續前後，而通虛實前後者曰貫，貫難狀而言其幾。」又說：「交也者，合二而一也；輪也者，首尾相銜也。……幾者，微也，危也，權之始也，變之端也。」
這裡，「交」即對立兩方面相互作用相互滲透，「輪」即對立兩方面相互轉化相互推移，「幾」是變化的開始，即事物運動變化的內在源泉。所謂「交」既指對立的相互作用相互滲透，而又表示：既然兩者交互作用交互滲透，彼此也就無所區別，合為一體。所謂「輪」既指對立的相互推移，又表示：兩者彼轉為此，此轉為彼，循環往復，互不相離。他又說：「虛實也，動靜也，陰陽也，形氣也，道器也，晝夜也，幽明也，生死也，盡天地古今皆二也。兩間無不交，則無不二而一者，相反相因，因二以濟，而實無二無一也。」
天地古今，一切事物，無不形成對立，無不包括對立，而對立皆二而一，終究是無二無一。又說：「輪之貫之，不捨晝夜，無住無息，無二無別。隨泯自統，自然而然。」又說：「一不可言，而因二以濟，二即一，一即二也。自有陰陽、動靜、體用、理事，而因果、善惡、染淨、性相、真妄，皆二也，貫之則一也，謂之超可也，謂之化可也，謂之無可也。」
這些觀點，一方面承認對立矛盾的普遍性；另一方面又斷言對立矛盾都沒有分別。「盡天地古今皆二也」，這是辯證法的命題；「無二無別」，這是形而上學的謬論。在方以智的學說，這兩方面是相互聯結在一起的，但在今日，我們應當分別觀之。
方以智提出了關於對立的相互關係的學說。第一，他肯定對立之為對立，肯定對立兩方面相互滲透、相互轉化的關係。第二，他又認為，對立的兩方面既然相互滲透、相互轉化，也就沒有區別，於是否認對立之為對立，而認為一切都是同一的。這第一層思想應該說是辯證思想，這第二層思想則由辯證思想倒向於形而上學了。
方以智的形而上學的觀點是錯誤的，而且有時達到了荒謬的地步。但他的辯證思想也是極其顯著的，他的主要貢獻無疑是闡發了一些辯證觀點，這也不能忽視。
方以智在《東西均》中提出了「隨」、「泯」、「統」三個觀念，作為他的方法論的總綱。他說：「明天地而立一切法，貴使人隨；暗天地而泯一切法，貴使人深；合明暗之天地而統一切法，貴使人貫。」
照這三句話看來，與「泯」、「統」相應的觀念應該是「立」，但他在多處都以「隨」、「泯」對言，而在篇題中也以「統」、「泯」、「隨」並舉。所謂「隨」即順從常識，承認一切事物的存在，也就承認對立之為對立；所謂「泯」即消除一切區別，不承認一切事物的存在，也就不承認對立之為對立；所謂「統」即綜合以上兩種觀點，把兩者貫通起來。方以智認為「隨」、「泯」、「統」三者是統一的：「究竟統在泯隨中，泯在隨中，三即一，一即三。」這「隨」、「泯」、「統」的觀念來源於佛教華嚴宗的三諦（俗諦、真諦、中諦）學說。方以智說：「華嚴歸於事事無礙法界……可見中諦統真俗二諦……俗諦立一切法之二，即真諦泯一切法之一，即中諦統一切法之一即二、二即一也。」「隨」即華嚴宗所謂「俗諦」，「泯」即華嚴宗所謂「真諦」，「統」即華嚴宗所謂「中諦」。「隨」承認「二」，「泯」只承認「一」，而「統」則肯定「一即二，二即一」。承認二之為二，這是辯證法；不承認二之為二，這是形而上學。在方以智的思想中，辯證法與形而上學觀點是交織在一起的。
方以智又提出「反因」的學說。他說：「吾嘗言天地間之至理，凡相因者皆極相反。……夫對待者，即相反者也。……吉凶禍福，皆相倚伏。生死之幾，能死則生，徇生則死。靜沉動浮，理自冰炭，而靜中有動，動中有靜，靜極必動，動極必靜。有一必有二，二本於一。豈非天地間之至相反者，本同處於一原哉？」
四、對於理學和禪宗的批判
方以智晚年雖然由唯物論轉向唯心論，並且沉浸於形而上學的幻想之中，但他並沒有背棄他早年從事的質測之學，仍然強調學問不能脫離事物。
方以智的哲學有顯著的特點。第一，他早年的唯物主義思想是和當時的自然科學知識密切聯繫的，這在中國傳統哲學中頗為突出。第二，他晚年由唯物主義轉向唯心主義，但仍批判理學與禪宗的空虛之學，鼓吹「實學」。第三，在他的思想中，既有辯證的觀點，又有形而上學的觀點，錯綜交織、呈現異常複雜的情況，我們在分析他的形而上學錯誤的同時，也要注意他的相當深刻的辯證學說，充分估計他對辯證思想的貢獻。
他宣稱：「天載於地，火麗於薪，以物觀物，即以道觀道也。火固烈於薪，欲絕物以存心，猶絕薪而舉火也，烏乎可？」這是說，心固然是主要的，但不可絕物。方以智根據這個觀點對於理學和禪宗提出了深刻的批評。
關於自然和歷史的知識都是依靠學習的，所謂「本自具足」，不過是說具有認識的可能性而已，赤子吃飯和走路也有待於學習。一定要離外言內，首先應該不吃飯。方以智對於「離外以言內」的批判是犀利的。
方以智強調內外統一，「道寓於藝」。他說：「知道寓於藝者，藝外之無道，猶道外之無藝也。……真智內智，必用外智。性命聲音，人所本有，可自知也。寓內之方言稱謂，動植物性，律虜古今之得失，必待學而後知，其曰本自具足者，猶赤子可以為大人也。……據實論之，赤子之飯與行必學而後知。……欲離外以言內，則學道人當先從不許學飯始。」
他雖然不能擺脫唯心主義的影響和束縛，但他堅決反對脫離事物的空虛之學。他又說：「即博學之病，病不過老牖下，孰與悟門之病，誑惑橫行，而僭第一坐乎？」博學之士雖不免膚淺，但不會像自以為明心見性的人那樣狂妄自大。他更宣稱：「欲挽虛竊，必重實學。」方以智提出「實學」的口號，是值得注意的，這反映了明亡以後進步知識分子的要求，也表現出他早年從事質測之學的科學態度。
他批評理學的偏失說：「理學怒詞章訓故之汩沒，是也；慕禪宗之玄，務偏上以競高，遂峻誦讀為玩物之律……禮樂精義，芒不能舉；天人像數，束手無聞。……由是觀之，理學之汩沒於語錄也，猶之詞章訓故也。」
理學排斥辭章之學與考據之學，以閱讀史書為玩物喪志，結果對自然與歷史的實際情況都不研究，完全陷於空虛無用，本質上和詞章考據一樣。他又批評禪宗的謬妄說：「禪宗笑理學，而撣宗之汩沒於機鋒也，猶之詞章訓故也。所謂切者槁木耳，自謂脫者野獸耳。夫豈知一張一弛、外皆是內之真易簡，絕待貫待，以公統私之真羌礙乎。」這是說，禪宗專講所謂機鋒，自謂明心見性，實不過自欺欺人而已，並不理解內外、絕對相對的統一關係。
方以智思想中的矛盾反映了明清之際社會的各種矛盾。當時，封建地主階級與農民的矛盾既已激化，滿漢之間民族矛盾更加突出，漢族地主階級中進步勢力與腐朽勢力的矛盾也很顯著。各種矛盾錯綜糾纏，更加上方以智個人的生活經歷曲折反覆，這些情況反映在方以智的頭腦中，便形成這樣一種具有獨特面貌的哲學。