热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Heritrix1.14.4Web后台使用简介

启动Heritrix后,访问http:localhost:6789就可以打开Heritrix的登录界面,登录后即进入了HeritrixWeb后台的主页:?console:Herit

? ? ? ??启动Heritrix后,访问http://localhost:6789就可以打开Heritrix的登录界面,登录后即进入了Heritrix Web后台的主页:
bubuko.com,布布扣
?console: Heritrix的控制台,会显示Heritrix的抓取任务和分配给HeritrixHeap使用情况

???JobsHeritrix的抓取任务界面,比如创建抓取任务,已挂起的任务,已完成的任务统计

? ?Profiles:Heritrix抓取任务相关的配置

? ?Logs:Heritrix的运行日志

? ?Reports:Heritrix的统计报表

? ?Setup:Heritrix实例管理界面以及Heritrix后台登录帐号密码修改

? ?Help:Heritrix的使用帮助文档

?

?首先我们需要切到Jobs界面,创建一个Job,如图:
bubuko.com,布布扣
?

??根据一个已经存在的job创建抓取任务

2.? ?根据一个抓取任务备份来创建抓取任务

3.? ?根据配置创建抓取任务

4.? ?按照默认方式创建抓取任务

asd ??

? ? 一般我们选择第3种创建方式:
bubuko.com,布布扣
?
bubuko.com,布布扣
?
bubuko.com,布布扣
?
bubuko.com,布布扣
?
关于Settings里相关配置项的含义解释说明请看下面这张图:
bubuko.com,布布扣
?
修改好后提交创建job,然后就能切到Console界面点击Start来启动抓取任务进行页面抓取
bubuko.com,布布扣
?
bubuko.com,布布扣
?
抓取到的网页默认保存在heritrix_hone\jobs目录下,我们创建的每个job都会在jobs目录下生成一个文件夹,命名方式为job名称+当前时间戳的方式,如图:
bubuko.com,布布扣
?
虽然Heritrixweb后台是全英文的,但我觉得没什么使用难度,你们多点点它的功能,从宏观上多感受下Heritrix的强大之处。最后是多阅读下Help界面里列出的一些帮助文档,这是你学习Heritrix最宝贵的资料:
bubuko.com,布布扣
?

? 益达的GitHub地址请猛戳我,用力,吃点劲儿!!!

益达的新浪微博:看这里,看这里

益达的技术交流社区:码农们,I want you!!!

?

? ?益达Q-Q: ? ? ? ? ? ? ? ?7-3-6-0-3-1-3-0-5

?

?

? ?益达的Q-Q群: ? ? ?1-0-5-0-9-8-8-0-6

?

?

?

?

?

?

?

?

?

?

?

?

?

?


推荐阅读
  • 网站访问全流程解析
    本文详细介绍了从用户在浏览器中输入一个域名(如www.yy.com)到页面完全展示的整个过程,包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]
  • Framework7:构建跨平台移动应用的高效框架
    Framework7 是一个开源免费的框架,适用于开发混合移动应用(原生与HTML混合)或iOS&Android风格的Web应用。此外,它还可以作为原型开发工具,帮助开发者快速创建应用原型。 ... [详细]
  • 本文介绍了如何使用 CMD 批处理脚本进行文件操作,包括将指定目录下的 PHP 文件重命名为 HTML 文件,并将这些文件复制到另一个目录。 ... [详细]
  • 自动验证时页面显示问题的解决方法
    在使用自动验证功能时,页面未能正确显示错误信息。通过使用 `dump($info->getError())` 可以帮助诊断和解决问题。 ... [详细]
  • 自定义滚动条美化页面内容
    当页面内容超出显示范围时,为了提升用户体验和页面美观,通常会添加滚动条。如果默认的浏览器滚动条无法满足设计需求,我们可以自定义一个符合要求的滚动条。本文将详细介绍自定义滚动条的实现过程。 ... [详细]
  • 两个条件,组合控制#if($query_string~*modviewthread&t(&extra(.*)))?$)#{#set$itid$1;#rewrite^ ... [详细]
  • 本文详细介绍了DMA控制器如何通过映射表处理来自外设的请求,包括映射表的设计和实现方法。 ... [详细]
  • php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]
  • 本文详细介绍了如何利用Duilib界面库开发窗体动画效果,包括基本思路和技术细节。这些方法不仅适用于Duilib,还可以扩展到其他类似的界面开发工具。 ... [详细]
  • Spark中使用map或flatMap将DataSet[A]转换为DataSet[B]时Schema变为Binary的问题及解决方案
    本文探讨了在使用Spark的map或flatMap算子将一个数据集转换为另一个数据集时,遇到的Schema变为Binary的问题,并提供了详细的解决方案。 ... [详细]
  • [c++基础]STL
    cppfig15_10.cppincludeincludeusingnamespacestd;templatevoidprintVector(constvector&integer ... [详细]
  • ZooKeeper 入门指南
    本文将详细介绍ZooKeeper的工作机制、特点、数据结构以及常见的应用场景,包括统一命名服务、统一配置管理、统一集群管理、服务器动态上下线和软负载均衡。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 微软推出Windows Terminal Preview v0.10
    微软近期发布了Windows Terminal Preview v0.10,用户可以在微软商店或GitHub上获取这一更新。该版本在2月份发布的v0.9基础上,新增了鼠标输入和复制Pane等功能。 ... [详细]
  • 解决Bootstrap DataTable Ajax请求重复问题
    在最近的一个项目中,我们使用了JQuery DataTable进行数据展示,虽然使用起来非常方便,但在测试过程中发现了一个问题:当查询条件改变时,有时查询结果的数据不正确。通过FireBug调试发现,点击搜索按钮时,会发送两次Ajax请求,一次是原条件的请求,一次是新条件的请求。 ... [详细]
author-avatar
Ki丶ng-james-LBJ威_112
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有