中國思想中最早論女人與小人的文字，見於《論語》陽貨篇。陽貨篇裡記孔子說："惟女子與小人為難養也！近之則不孫（遜），遠之則怨。"錢穆在《論語新解》裡做"白話試譯"如下："先生說：只有家裡的妾侍和僕人最難養。你若和他們近了，他將不知有遜讓。你若和他們遠了，他便會怨恨你。"錢穆又解釋說："此章女子小人指家中僕妾言。妾視僕尤近，故女子在小人前。因其指僕妾，故稱養。待之近，則狎而不遜。遠，則怨恨必作。善御僕妾，亦齊家之一事也。"錢穆這些解說是不妥的、錯誤的。
因為，孔子指女子與小人，是泛指的，並沒特別指為做"妾侍"的女子或是做"僕人"的小人，這種泛指，在《論語註疏解經》卷第十七里早就印出來了："正義曰：正章言女於與小人皆無正性，……此言女人，舉其大率耳。"〔注一〕這裡說"舉其大率"，就是泛指的意思，而不是特指的意思，錢穆說"女子與小人"乃特指僕妾而言，是犯了沒能瞭解孔子原義的錯誤。當然這種錯誤，是抄朱熹抄來的。
孔子在說這些話的時候，他的原義不是特指而是泛指的原因，乃在於他頗能體味出女子與小人基本性格的那一面。從這種體味裡，孔子這段話的現代表達法該是："只有女人和小人才是最難同他們相處的：你對他們好，他們便不知天高地厚，試探你、冒犯你、攪你；你對他們板下臉來，他們便埋怨個不停，說你對不起他。"
孔子認為：在女人身上、在小人身上，顯然是有這種"女人性格"與"小人性格"的，因此他發為感慨之言，做了泛指的論斷。
孔子雖然離過婚，會過別人的小老婆，一生也命犯過不少小人，但我總覺得，他對女人小人的瞭解，是不夠的，因為他所處的時代裡，女人和小人還沒今天這麼複雜、這麼刁鑽鬼怪、這麼欠缺做人的原則與規格。
孔子這段話的最大缺點，乃在他只能從一個被"不孫"、被"怨"的人的立場發為感慨，卻不能從女人與小人的身上反過來看他們性格上的主動一面。實際上，女人與小人的性格是很主動的，他們並不因為你對他們"近之"或"遠之"而那麼被動，他們在個人利害的斟酌上，有極現實的考慮與行動，凡是有利於他們的，他們立刻能笑臉迎人、能下人、能取媚人；但是，凡是考慮之下，對他們無利或不再有利的時候，他們便會在一夜之間，採取行動，把人際關係既無情調又無趣味的戛然毀掉。這種行動，會令你非常倒胃。
男子漢同男子漢之間來往、高人與高人之間來往，你就不會有倒胃的感覺。可是當你認識了女人和小人，你就必須準備隨時在一夜之間，領教他們的無情與無趣，不論這種來往有多深，不論這種來往有多久、不論這種來往當時有多羅曼蒂克、有多麼令人懷念之處，只要他們是女人、是小人，你就不能高估、不能倚恃。女人和小人會在一夜之間毀掉這些，把你和交情丟掉，像丟掉一隻不值一顧的破鞋。
孔子只看到當你佔優勢的時候，女人與小人的難相處一面；卻沒看到當女人與小人佔優勢的時候，或是在主觀上判斷你對他無利或不再有利的時候，他們那不跟你相處的一面。我認為，所有的男子漢、所有的高人，必須在內心深處，對這種"女人性格"和"小人性格"有悲劇性的準備和領悟。準備和領悟以後，他才會帶著寬厚博大的心胸，面對一切或背對一切；對任何悲歡離合都不以為異。這就是人生，你無法避免不與女人和小人打交道，但你若在不可高估、不可倚恃的對象上過度動情，你就難免是狗娘養的了。