中国思想中最早论女人与小人的文字，见于《论语》阳货篇。阳货篇里记孔子说：“惟女子与小人为难养也！近之则不孙（逊），远之则怨。”钱穆在《论语新解》里做“白话试译”如下：“先生说：只有家里的妾侍和仆人最难养。你若和他们近了，他将不知有逊让。你若和他们远了，他便会怨恨你。”钱穆又解释说：“此章女子小人指家中仆妾言。妾视仆尤近，故女子在小人前。因其指仆妾，故称养。待之近，则狎而不逊。远，则怨恨必作。善御仆妾，亦齐家之一事也。”钱穆这些解说是不妥的、错误的。
因为，孔子指女子与小人，是泛指的，并没特别指为做“妾侍”的女子或是做“仆人”的小人，这种泛指，在《论语注疏解经》卷第十七里早就印出来了：“正义曰：正章言女于与小人皆无正性，……此言女人，举其大率耳。”〔注一〕这里说“举其大率”，就是泛指的意思，而不是特指的意思，钱穆说“女子与小人”乃特指仆妾而言，是犯了没能了解孔子原义的错误。当然这种错误，是抄朱熹抄来的。
孔子在说这些话的时候，他的原义不是特指而是泛指的原因，乃在于他颇能体味出女子与小人基本性格的那一面。从这种体味里，孔子这段话的现代表达法该是：“只有女人和小人才是最难同他们相处的：你对他们好，他们便不知天高地厚，试探你、冒犯你、搅你；你对他们板下脸来，他们便埋怨个不停，说你对不起他。”
孔子认为：在女人身上、在小人身上，显然是有这种“女人性格”与“小人性格”的，因此他发为感慨之言，做了泛指的论断。
孔子虽然离过婚，会过别人的小老婆，一生也命犯过不少小人，但我总觉得，他对女人小人的了解，是不够的，因为他所处的时代里，女人和小人还没今天这么复杂、这么刁钻鬼怪、这么欠缺做人的原则与规格。
孔子这段话的最大缺点，乃在他只能从一个被“不孙”、被“怨”的人的立场发为感慨，却不能从