人都有从众的心理。所以， 陶渊明接着说，从前到现在，一般人都是随大流，很少有人能够真正独立思考。然后，他说了句很有意思的话：流俗的东西里，有很多“恶”。他自己对于这些恶无能为力，只好像黄、绮那样远远地躲避这个世道。
黄就是黄石公，绮就是绮里季，加上东园公、甪里先生，就是很有名的“商山四皓”。秦始皇统一中国后，这四个老先生躲到了商山。到刘邦建立汉朝，他们还是不肯出来做官。黄石公，又叫夏黄公，据说张良年轻时候得到过他的指点。又传说他们四个人曾经帮助吕后保住太子的地位。陶渊明的诗里不止一次提到商山四皓，重点在于他们不愿做官，远离世俗杂务。在陶渊明的年代，以及后来的年代，中国的文人说起四皓，其实是在憧憬一种远离世俗的美好活法。