采集的时候，怎么过滤发布的重复内容

这问题有不少人都问过，以前也挺在意重复内容的，现在无所谓了，杜绝不了,同一个站点采集工具可以设置还好搞，但采集的不止一个站点

老板出插件了。