时隔一年半,作者终于回归了。这个版本主要解决之前的一些BUG,后续会慢慢的继续完善功能。 升级Xsoup到0.3.1,支持//div[contains(@id,'te')]语法。 #245 升级Jsoup到1.8.3,解决n-th selector二进制不兼容的问题。 #139 修复JsonFilePipeline保存路径的问题 #144 修复@TargetUrl增加SourceRegion后取不到链接的问题 #157 修复FileCacheQueueScheduler中去重偶尔不工作的问题 @zhugw #188 增加重试的间隔时间,默认为1秒 @edwardsbean #193 修复分页功能MultiPagePipeline可能出现的并发问题 edwardsbean #198 修正site.setHttpProxy()不起作用的bug @okuc WebMagic 0.5.3 版本发布,Java爬虫框架下载地址