blog,blog,blog

爬虫

Java开源Web爬虫

  Heritrix  Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的