热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

采集规则设置注意事项

在这个越来越浮躁的社会,越来越多的人期望事情能够越来越轻松,越来越容易。特别是对于瞬息万变的互联网来说,需要时间去仔细琢磨的事情并不适合。就拿网站运营来说,完全的原创文章虽然对网站


在这个越来越浮躁的社会,越来越多的人期望事情能够越来越轻松,越来越容易。特别是对于瞬息万变的互联网来说,需要时间去仔细琢磨的事情并不适合。就拿网站运营来说,完全的原创文章虽然对网站优化排名有很好的帮助,但大部分的网站运营的写作能力并不高,再加上题材的限制、时间的规律性,希望完全通过原创及全手工来运营和优化一个网站是很困难的事情,特别是对于一些资讯类网站、商城类网站、视频类网站等此类页面较多、内容更新要求较快的网站来说,无论是内容建设还是外链发布都是个庞大而复杂的任务,靠手工完成无论是时间上还是成本上都不划算。因而,有时候我们需要使用到一些工具的辅助。采集工具就是其中的一种。

目前在网站采集中使用得比较多的采集工具是火车头采集工具以及织梦自身的dede采集工具,采集工具之间的优劣对比网络上有很多,百度一下你就知道,而采集规则的设置网络上也有很多攻略,大抵都差不多,因而本文也不再多加说明,有兴趣的童鞋可以自行搜索看看。今天美孕宝防辐射服小美要跟大家分享的是,在设置采集规则的时候,有哪些注意事项?

一、采集起止代码设置

在采集规则设置中,很重要的一个步骤就是采集起止代码的设置。一般是一小段代码,以“数字/英文+符号”形式为主。代码越短越不容易出错,并需要具有唯一性,以方便机器快速辨别采集的起止位置。在网上的教程中,这段起止代码一般是完整的一段,如[内容],其中,是开始采集位置,[内容]代表需要采集的部分信息,是终止采集位置,很多人会误以为起止代码一定需要是完整的一段,但实际上并非如此。

如下图两种:


采集规则

 


采集规则

 

代码的某一部分,或者甚至是夹杂中文的代码也可以作为采集的起止代码,这可以去掉一些网站内容开头与结尾带有网站专有标识。

二、标题采集设置

标题采集很简单,有两种方式,如下图所示:


采集规则

 

在需要采集的页面点击右键选择“查看源代码”,在打开的页面中使用快捷键ctrl+f,在出现的搜索栏中输入该采集内容的标题,就能查看到该页面的标题规则,一般为title标签以及h标签,数量在1~4个不等。一般页面会两种标题标签并存。这种情况下,使用h标签会比title标签采集更不容易出错。

需要注意的是,有时候h标签有h1标签h2标签h3标签等,一般只使用h1标签。

三、分页采集规则设置

一些网站由于文章篇幅过长或者希望增加点击率,往往把一篇文章分成几个分页来呈现。这种情况下采集的起止代码就不在同一个页面上,而应该在文章开始页寻找采集开始代码,而在文章结束页寻找终止代码,设置如下:


采集规则

 

四、几个可能导致采集失败的因素

1、网站隐藏内容禁止采集。这种情况以腾讯新闻为例,腾讯新闻的内容在打开的源代码页面里不会呈现出来,因而也无法判别文章的起止位置,也无法采集到其网站内容。

2、网站采集出错。大多数网站内容在网页以及代码中都正常显示,但当采集到目标网站时却显示出错。这种出错分为几类:

a、标题出错。如下图所示,文章的内容会全部集中到标题上。


采集规则

 

b、只采集到标题,内容空白。即无法采集到相关的内容。

c、采集终止符失效,采集内容包括了被采集网站上的广告/版权信息/版尾信息等信息。


采集规则

 

这些都是采集中经常会遇到的问题,了解这些,对于采集以及伪原创都有很大的帮助。虽然在优化上我们并不建议使用采集的方式,但在必要的情况下,了解采集规则,对网站运营还是有一定的好处的。原文出处:美孕宝防辐射服,专载请保留原文链接。谢谢!






推荐阅读
  • 本文详细介绍了Java API中文文档的位置、用途及其查看方法,帮助开发者更高效地利用这一资源。 ... [详细]
  • 本文将介绍几款常用的搜索引擎,包括Google、百度、搜狗和去哪儿网,旨在为用户提供更多高效的网络搜索工具。所有推荐的搜索引擎均为免费服务。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 本文介绍了记事本的基本保存方法以及通过辅助软件实现自动保存的技术,帮助用户更好地管理和保护重要数据。 ... [详细]
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • 近期尝试从www.hub.sciverse.com网站通过编程手段获取数据时遇到问题,起初尝试使用WebBrowser控件进行数据抓取,但发现使用GET方法翻页时,返回的HTML代码始终相同。进一步探究后了解到,该网站的数据是通过Ajax异步加载的,可通过HTTP查看详细的JSON响应。 ... [详细]
  • 使用jQuery与百度地图API实现地址转经纬度功能
    本文详细介绍了如何利用jQuery和百度地图API将地址转换为经纬度,包括申请API密钥、页面构建及核心代码实现。 ... [详细]
  • 如何在电脑上输入百分号
    本文将详细介绍如何在电脑上快速准确地输入百分号,提供多种方法供您选择,包括通过键盘快捷键和系统工具等,希望能为您解决输入特殊字符时遇到的问题。 ... [详细]
  • 如何寻找程序员的兼职机会
    随着远程工作的兴起,越来越多的程序员开始寻找灵活的兼职工作机会。本文将介绍几个适合程序员、设计师、翻译等专业人士的在线平台,帮助他们找到合适的兼职项目。 ... [详细]
  • PHP中Smarty模板引擎自定义函数详解
    本文详细介绍了如何在PHP的Smarty模板引擎中自定义函数,并通过具体示例演示了这些函数的使用方法和应用场景。适合PHP后端开发者学习。 ... [详细]
  • 本文介绍了如何使用 Python 的 Pyglet 库加载并显示图像。Pyglet 是一个用于开发图形用户界面应用的强大工具,特别适用于游戏和多媒体项目。 ... [详细]
  • 在使用 Nginx 作为服务器时,发现 Chrome 能正确从缓存中读取 CSS 和 JS 文件,而 Firefox 却无法有效利用缓存,导致加载速度显著变慢。 ... [详细]
  • 本文详细探讨了Linux系统中的文件权限设置,包括常见的755、700等权限模式,以及这些权限在实际应用中的具体含义和作用。 ... [详细]
  • 解决Win10系统自动删除破解软件的问题
    如何处理Win10系统频繁自动删除安装的破解软件?本文将详细介绍可能的原因及解决方案,帮助用户顺利安装所需软件。 ... [详细]
  • 为助力科研人员提升数据处理与图形展示能力,活动家携手北京市计算中心推出2017年R语言数据可视化研讨会。详情及注册信息请点击链接查看。 ... [详细]
author-avatar
杰_Jb_131
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有