1. XenForo 1.5.14 中文版——支持中文搜索!现已发布!查看详情
  2. Xenforo 爱好者讨论群:215909318 XenForo专区

新闻 SeimiCrawler v0.3.2 发布,Java爬虫框架 下载

本帖由 漂亮的石头2016-05-18 发布。版面名称:软件资讯

  1. 漂亮的石头

    漂亮的石头 版主 管理成员

    注册:
    2012-02-10
    帖子:
    487,662
    赞:
    47
    SeimiCrawler v0.3.2 发布了。更新如下:
    v0.3.2


    • 化分布式模式下与redis的连接,增强分布式可靠性


    • bug fix
    v0.3.0


    • 内置支持SeimiAgent,完美解决动态页面渲染抓取问题


    • 修复自动跳转在某些情况存在的bug
    简介


    SeimiCrawler是一个敏捷的,独立部署的,支持分布式的Java爬虫框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里,绝大多数人只需关心去写抓取的业务逻辑就够了,其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大,同时融合了Java语言本身特点与Spring的特性,并希望在国内更方便且普遍的使用更有效率的XPath解析HTML,所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目,非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成(当然,数据处理亦可以自行选择其他解析器)。
    SeimiCrawler v0.3.2 发布,Java爬虫框架下载地址
     
正在加载...