一、如何应对网络爬虫带来的安全风险

我们的网站上或多或少存在一些页面涉及到网站的敏感信息不希望在搜索引擎上公开；还有一些页面是根本没必要被搜索引擎收录的：比如网站的管理后台入口对于SEOER而言有一些页面如果被收录后反而会影响关键词着陆页的排名，或者降低了着陆页的转化率，比如电子商务网站的商品评论页。那么我们通过什么样的方法可以限制搜索引擎收录此类页面呢？

1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。这个协议既非法律，也非命令，而是一个自律性的契约，需要各种搜索引擎自觉去遵守这个协议。这个协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

当一个网络爬虫访问一个站点时它会首先检查该站点根目录下是否存在robots.txt；如果没有对网站的robots协议进行设置，则爬虫会尽可能的收录所有能够访问到的页面，而如果存在该robots协议文件，爬虫则会遵守该协议，忽略那些不希望被抓取的页面链接，下面我们以为例：

User-agent: Googlebot

Disallow: /baidu

Disallow: /s?

Disallow: /shifen/

Disallow: /homepage/

Disallow: /cpro

百度是不希望谷歌搜索引擎的Googlebot爬虫收录/baidu 、/shifen 、/homepage/ 、/cpro 目录下以及所有/s开头的搜索结果页面的。

User-agent:表示爬虫的名字

Allow:表示允许爬虫访问的页面

Disallow:是指禁止爬虫访问的页面

Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL

Request-rate: 用来限制URL的读取频率

除了上述robots.txt文件之外，我们还可以针对每一个页面，在网页的原信息中设置该页面是否允许被收录：

noindex: 不索引此网页

nofollow:不通过此网页的链接索引搜索其它的网页

none: 将忽略此网页，等价于“noindex，nofollow”

index: 索引此网页

follow:通过此网页的链接索引搜索其它的网页

all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。

举例 〈meta name= “ Baiduspider ” content= “ none" /〉 是不允许百度蜘蛛索引该页面，并且不允许爬行该页面中的所有链接。

还有一种方法，就是在超级链接的rel属性中填写“nofollow”,形如 〈a rel=”nofollow” href=”*”〉 超级链接 〈/a〉 ，表示搜索引擎不要跟踪链接。

但是所有上述方法都是基于Robot的自律性协议，并非强制执行的法律法规。如果遇到不遵守该协议的网络爬虫疯狂的抓取网站页面并对网站性能产生了严重影响，更为有效的方使用入侵检测系统（IDS）入侵防护系统（ IPS ）网络设备。

二、数据爬虫的是与非：技术中立但恶意爬取频发，侵权边界在哪？

从新浪微博诉脉脉不正当获取用户数据案，到领英与hiQ Labs的数据之争……相关司法案例的不断出现，让数据爬取问题成为关切。

10月23日，长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会在上海举行。围绕爬虫技术对数字产业影响、爬取他人数据的法律边界及规制等话题，多位法律专家、司法工作者和企业代表展开了研讨。

大数据时代，随着数据价值凸显，数据爬虫的应用日益广泛。多位专家在会上提到，爬虫技术本身是中立的，但爬虫技术的应用往往带有目的，需要考量抓取行为及数据使用是否具有正当性。

“凶猛”的网络爬虫，增加网站运营负担

从技术角度看，爬虫是通过程序模拟人们上网浏览网页或使用App行为，从而高效抓取网络信息的过程。对于这项技术，并非所有人都欢迎。

欧莱雅中国数字化负责人刘煜晨在研讨会上表示，大多数网站拒绝爬虫访问，既有商业利益考量，也出于自身网站运营安全考虑。爬虫自动持续且高频地访问，会导致网站服务器负载飙升，使得一些中小平台面临网站打不开、网页加载缓慢，甚至直接瘫痪的风险。因此，“网站经营者面对‘凶猛’的网络爬虫时往往苦不堪言。”

虽然网站可以采取相应策略或技术手段，防止被爬取数据，但爬虫者也有更多技术手段来反制，即所谓的反反爬策略。据刘煜晨介绍，反爬和爬取技术一直在迭代更新——爬取不是问题，关键在于愿不愿意爬和多难爬。通常，越是大厂的App或者网站越难爬，其反爬机制较多。

小红书法务负责人曾翔观察发现，恶意爬虫案例经常发生在内容平台和电商平台。在内容上更多被爬取视频、图片、文字、用户行为数据等，在电商领域更多被爬取商家信息和商品信息。

“一般而言，内容平台会约定相关内容的知识产权应当归发布者或发布者与平台共同所有。未经同意爬取的，涉嫌侵犯知识产权。”曾翔表示，平台通过投入激发创作者的创造力，如果有人利用爬虫技术很轻易地获取内容，并进行抄袭、改编，这损害平台利益。

提及网络爬虫，Robots协议是绕不开的话题——它的全称是“网络爬虫排除标准”，网站通过Robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。

上海浦东法院知识产权庭法官徐弘韬这样形容：爬虫就是一个访客，Robots协议是房门上悬挂的请勿入门的告示牌。谦谦君子走近门前看到这个告示牌，会停下脚步，但不法之徒仍可能破门而入。

梳理相关判例，徐弘韬指出，Robots协议是互联网行业普遍遵循的规则，如果搜索引擎违反Robots协议抓取网站内容，可能会被认定为违背商业道德，构成不正当竞争。但Robots协议解决前置性问题，即抓取行为是否得当，而不解决抓取之后数据使用是否得当的问题。

他进一步分析，法院在个案件判决中倾向于认为爬虫技术是具有中立属性，并尊重网站对于Robots协议设置方式。如果爬取者违背Robots协议进行强行抓取，在正当性评判上可能给予一定的负面评价。此外Robots协议和行为正当性有关联，但不是唯一对立性——即使符合Robots协议抓取，也可能因为后期使用行为被判定为不正当性。

值得一提的是，网络爬虫者对爬取行为进行抗辩时，经常将Robots协议限制爬取与数据流转联系起来。

徐弘韬认为，在“互联互通”的语境下，“有序”和“流转”同等重要。这需要把握“互联互通”与数据共享之间的度的问题，同时考虑各互联网产业经营者采取的Robots协议策略是否可能导致数据孤岛局面的出现。

判别爬虫行为正当性，需考虑多重因素

研讨会上，华东政法大学教授张勇对数据爬虫的危害行为进行了分类。

他称从数据类型上来看，数据爬取可能侵犯到的权益包括计算机系统安全、个人信息、版权、国家秘密、商业秘密、市场竞争秩序等；从爬取方式来看，数据爬取可能危害到计算机信息系统安全、非法获取公民个人信息、非法获取商业秘密、破坏版权技术保护措施等；从爬取结果来看，则存在不正当竞争类、侵犯著作权类、侵犯人格权类等问题。

当数据成为一种生产要素，数据抓取技术应用场景日益广泛，随着而来的争议纠纷也不断增多。如何判别爬虫行为的正当性，从已有的判例中或能找到一些答案。

今年9月14日，杭州互联网法院公布一起爬取微信公众号平台数据的不正当竞争案件，判决被告停止数据抓取行为，并赔偿微信损失60万元。

法院审理认为，被告违背诚实信用原则，擅自使用原告征得用户同意、依法汇集且具有商业价值的数据，并足以实质性替代其他经营者提供的部分产品或服务，损害公平竞争的市场秩序，构成不正当竞争。

在本案中，法院还从“三元目标叠加”的角度分析了爬取行为是否具有正当性。

徐弘韬以此为例提到，对于非搜索引擎爬虫的正当性判别，主要看被告是否尊重被抓取网站预设的Robots协议、是否破坏被抓取网站的技术措施、是否足以保障用户数据的安全性，以及衡量创造性与公共利益。

他指出，如果以危害用户数据安全性为代价抓取数据，且爬虫技术应用无法创造新的优质资源，仅仅是加重他人服务器负担，那么很可能在行为正当性上被给予负面评价。

三、爬虫技术应用合法性引争议 保障数据安全亟待规制非法爬取数据行为

来源:法治日报——法制网

核心阅读

在大数据时代的背景下，愈来愈多的市场主体投入巨资收集、整理和挖掘信息。如果任由网络爬虫任意使用他人通过巨大投入获取的数据资源，将不利于鼓励商业投入、产业创新和诚实经营，甚至可能直接违背了数据来源用户的意愿和知情权，最终势必损害 健康 的竞争机制。

随着 社会 经济的快速发展，数据的价值日益凸显，已然成为企业 科技 创新的必备要素。但企业通过技术手段获取数据时，数据抓取技术的应用行为是否合理合法，是一个值得深思的问题。

近年来，网络爬虫“爬取数据”成为热词，相关司法案例不断出现。据不完全统计，近些年涉及网络爬虫的司法案件达十余起，其中既包括民事案件，还包括刑事案件。这类案例甚至还有愈演愈烈之势。

在近日于上海举行的长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会上，上海市人民检察院研究室副主任陈超然透露，检察机关正在积极推动企业合规改革试点工作，数据合规正是其中重点。“目前爬虫爬取数据案件非常普遍，当网络平台或者个人通过技术手段抓取别的平台数据时，这种行为是否合法，平台数据主体是谁，归谁使用，值得深入研讨。”

杭州长三角大数据研究院副院长郭兵认为，数据爬虫作为中立性的技术，已在互联网产业领域得到广泛应用。需要注意的是，如果爬虫技术不当应用，会对其他竞争者的合法权益造成损害，甚至涉嫌违法或者犯罪，也将对产业的 健康 发展产生非常大的负面影响。

从技术角度看，爬虫是通过程序去模拟人类上网或者浏览网页、App行为，让其高效地在网上抓取爬虫制造者所需要的信息。

欧莱雅中国数字化负责人刘煜晨说，大多数网站拒绝爬虫访问，其中的原因既包括商业利益考量，也包括自身网站运营安全的考量。除了爬虫可能爬到网站不愿被爬取的数据以外，网站经营者往往还会担心爬虫干扰网站正常运营。

而非正规爬虫自动持续且高频地对被爬取方进行访问，服务器负载飙升，也会给服务器带来“难以承受”之重：应对经验不足的网站，尤其是中小网站可能会面临网站打不开、网页加载极其缓慢、有时甚至直接瘫痪的情况。

新浪集团诉讼总监张喆说，无论是爬虫还是实现其他目的的技术，就其本身而言，都是中立的，但爬虫技术的应用不是中立的，技术应用都带有应用者的目的。这时候不应该评价技术原理，而是需要评价技术用来干什么，这一行为手段是否具有正当性。

提及网络爬虫，robots协议是绕不开的话题。robots协议（也称爬虫协议）的全称是“网络爬虫排除标准”，网站通过robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。

刘煜晨说，当网络爬虫访问一个网站，robots协议像立在自己房间门口的一个牌子，告诉外来者谁可以过来，谁不可以过来。但是，这只是一个君子协议，只能起到告示作用，起不到技术防范作用。

实践中，恶意爬虫爬取时不遵守网站的robots协议，并可能爬取到不该爬的数据，这种情形并非孤例。小红书法务负责人曾翔说，恶意爬虫案例经常发生在内容平台和电商平台。在内容上被爬取的更多是视频、图片、文字、网红互动数据、用户行为等，在电商领域则多为商家信息和商品信息。

“内容平台一般约定了相关内容知识产权归发布者或者发布者和平台共同所有，这些爬虫没有签订协议就获得用户授权，涉嫌对知识产权人权利的侵犯。”曾翔说。

或应明确网站权利

这就涉及到数据的权属及是否能开放的问题。

上海市浦东区人民法院知识产权庭法官徐弘韬认为，数据是内容产业的核心竞争资源，内容平台经过汇总分析处理后的数据往往具有极高的经济价值。

“如果要求内容平台经营者将其核心竞争资源向竞争对手无限开放，不仅有违‘互联互通’精神的实质，也不利于优质内容的不断更迭和互联网产业的持续发展。”徐弘韬说。

恶意爬虫爬取数据案件频发的背后，是数据的价值增加，以数据为核心的市场竞争愈发激烈。

华东政法大学教授高富平说，进入大数据时代，数据价值再次凸显，现在的爬虫技术已经从原来的网页爬虫进入到底层数据的爬取。数据爬虫问题会变得越来越严重。

在大数据时代的背景下，愈来愈多的市场主体投入巨资收集、整理和挖掘信息，业内人士对此表示担忧：如果任由网络爬虫任意使用或利用他人通过巨大投入所获取的数据资源，将不利于鼓励商业投入、产业创新和诚实经营，甚至可能直接违背了数据来源用户的意愿和知情权，最终势必损害 健康 的竞争机制。

高富平认为，如果网站合法积累数据资源，那么这些数据资源就应该属于网站的资产。“允许数据生产者、控制者基于商业目的开放数据是有好处的，通过许可使用、交换交易等方式，可以让更多人享用数据服务。期待在未来确认数据所有合法生产者对数据的控制权、使用权。”

有序流转同等重要

目前，网站虽然可以去指定相应策略或技术手段，防止爬虫抓取数据，但爬虫也有更多技术手段来反制这种反爬策略。

刘煜晨说，反爬和爬取的技术一直在迭代，在技术领域，没有爬不了的网站和App，只有愿不愿意爬和多难爬的问题。

据了解，现实中恶意网络爬虫制造者抗辩时，往往将robots协议限制爬取与数据流转联系起来。徐弘韬认为，在“互联互通”的语境下，“有序”和“流转”同等重要、缺一不可，需排除假借“互联互通”妨碍公平竞争、危害用户数据安全的行为。

“对于非搜索引擎爬虫的正当性判别，要考虑是否足以保障用户数据的安全性。包括身份数据、行为数据等在内的用户数据，从属性来讲不仅仅是经营者的竞争资源，同样具有用户的个人隐私属性，而此类数据的集合更涉及 社会 公共利益。”徐弘韬说。

据了解，近年来有关数据安全的法律规范正在不断完善中。数据安全法作为数据安全的基本法，承载着解决我国数据安全核心制度框架的重要任务。此外，还有2019年通过的密码法，工信部拟出台《工业和信息领域数据安全管理办法（试行）》等，一些地方如深圳、上海等也在 探索 制定数据管理相关规范。

四、你对爬虫技术怎么看？

爬虫技术是新科技手段，又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

五、现在的网络爬虫的研究成果和存在的问题有哪些

网络爬虫是Spider（或Robots、Crawler）等词的意译，是一种高效的信息抓取工具，它集成了搜索引擎技术，并通过技术手段进行优化，用以从互联网搜索、抓取并保存任何通过HTML（超文本标记语言）进行标准化的网页信息。

其作用机理是：发送请求给互联网特定站点，在建立连接后与该站点交互，获取HTML格式的信息，随后转移到下一个站点，并重复以上流程。通过这种自动化的工作机制，将目标数据保存在本地数据中，以供使用。网络爬虫在访问一个超文本链接时，可以从HTML标签中自动获取指向其他网页的地址信息，因而可以自动实现高效、标准化的信息获取。

随着互联网在人类经济社会中的应用日益广泛，其所涵盖的信息规模呈指数增长，信息的形式和分布具有多样化、全球化特征，传统搜索引擎技术已经无法满足日益精细化、专业化的信息获取和加工需求，正面临着巨大的挑战。网络爬虫自诞生以来，就发展迅猛，并成为信息技术领域的主要研究热点。当前，主流的网络爬虫搜索策略有如下几种。

>>>>

深度优先搜索策略

早期的爬虫开发采用较多的搜索策略是以深度优先的，即在一个HTML文件中，挑选其中一个超链接标签进行深度搜索，直至遍历这条超链接到最底层时，由逻辑运算判断本层搜索结束，随后退出本层循环，返回上层循环并开始搜索其他的超链接标签，直至初始文件内的超链接被遍历。

深度优先搜索策略的优点是可以将一个Web站点的所有信息全部搜索，对嵌套较深的文档集尤其适用；而缺点是在数据结构日益复杂的情况下，站点的纵向层级会无限增加且不同层级之间会出现交叉引用，会发生无限循环的情况，只有强行关闭程序才能退出遍历，而得到的信息由于大量的重复和冗余，质量很难保证。

>>>>

宽度优先搜索策略

与深度优先搜索策略相对应的是宽度优先搜索策略，其作用机理是从顶层向底层开始循环，先就一级页面中的所有超链接进行搜索，完成一级页面遍历后再开始二级页面的搜索循环，直到底层为止。当某一层中的所有超链接都被选择过，才会基于该层信息检索过程中所获得的下一级超链接（并将其作为种子）开始新的一轮检索，优先处理浅层的链接。

这种模式的一个优点是：无论搜索对象的纵向结构层级有多么复杂，都会极大程度上避免死循环；另一个优势则在于，它拥有特定的算法，可以找到两个HTML文件间最短的路径。一般来讲，我们期望爬虫所具有的大多数功能目前均可以采用宽度优先搜索策略较容易的实现，所以它被认为是最优的。

但其缺点是：由于大量时间被耗费，宽度优先搜索策略则不太适用于要遍历特定站点和HTML文件深层嵌套的情况。

>>>>

聚焦搜索策略

与深度优先和宽度优先不同，聚焦搜索策略是根据“匹配优先原则”对数据源进行访问，基于特定的匹配算法，主动选择与需求主题相关的数据文档，并限定优先级，据以指导后续的数据抓取。

这类聚焦爬虫针对所访问任何页面中的超链接都会判定一个优先级评分，根据评分情况将该链接插入循环队列，此策略能够帮助爬虫优先跟踪潜在匹配程度更高的页面，直至获取足够数量和质量的目标信息。不难看出，聚焦爬虫搜索策略主要在于优先级评分模型的设计，亦即如何区分链接的价值，不同的评分模型针对同一链接会给出不同的评分，也就直接影响到信息搜集的效率和质量。

同样机制下，针对超链接标签的评分模型自然可以扩展到针对HTML页面的评价中，因为每一个网页都是由大量超链接标签所构成的，一般看来，链接价值越高，其所在页面的价值也越高，这就为搜索引擎的搜索专业化和应用广泛化提供了理论和技术支撑。当前，常见的聚焦搜索策略包括基于“巩固学习”和“语境图”两种。

从应用程度来看，当前国内主流搜索平台主要采用的是宽度优先搜索策略，主要是考虑到国内网络系统中信息的纵向价值密度较低，而横向价值密度较高。但是这样会明显地遗漏到一些引用率较小的网络文档，并且宽度优先搜索策略的横向价值富集效应，会导致这些链接量少的信息源被无限制的忽略下去。

而在此基础上补充采用线性搜索策略则会缓解这种状况，不断引入更新的数据信息到已有的数据仓库中，通过多轮的价值判断去决定是否继续保存该信息，而不是“简单粗暴”地遗漏下去，将新的信息阻滞在密闭循环之外。

>>>>

网页数据动态化

传统的网络爬虫技术主要局限于对静态页面信息的抓取，模式相对单一，而近年来，随着Web2.0/AJAX等技术成为主流，动态页面由于具有强大的交互能力，成为网络信息传播的主流，并已取代了静态页面成为了主流。AJAX采用了JavaScript驱动的异步(非同步)请求和响应机制，在不经过网页整体刷新的情况下持续进行数据更新，而传统爬虫技术缺乏对JavaScript语义的接口和交互能力，难以触发动态无刷新页面的异步调用机制并解析返回的数据内容，无法保存所需信息。

此外，诸如JQuery等封装了JavaScript的各类前端框架会对DOM结构进行大量调整，甚至网页上的主要动态内容均不必在首次建立请求时就以静态标签的形式从服务器端发送到客户端，而是不断对用户的操作进行回应并通过异步调用的机制动态绘制出来。这种模式一方面极大地优化了用户体验，另一方面很大程度上减轻了服务器的交互负担，但却对习惯了DOM结构（相对不变的静态页面）的爬虫程序提出了巨大挑战。

传统爬虫程序主要基于“协议驱动”，而在互联网2.0时代，基于AJAX的动态交互技术环境下，爬虫引擎必须依赖“事件驱动”才有可能获得数据服务器源源不断的数据反馈。而要实现事件驱动，爬虫程序必须解决三项技术问题：第一，JavaScript的交互分析和解释；第二，DOM事件的处理和解释分发；第三，动态DOM内容语义的抽取。

前嗅的ForeSpider数据采集系统全方位支持各种动态网站，大部分网站通过可视化的操作就可以获取。对于反爬虫机制严格的网站，通过ForeSpider内部的脚本语言系统，通过简单的脚本语言，就可以轻松获取。

>>>>

数据采集分布化

分布式爬虫系统是在计算机集群之上运转的爬虫系统，集群每一个节点上运行的爬虫程序与集中式爬虫系统的工作原理相同，所不同的是分布式需要协调不同计算机之间的任务分工、资源分配、信息整合。分布式爬虫系统的某一台计算机终端中植入了一个主节点，并通过它来调用本地的集中式爬虫进行工作，在此基础上，不同节点之间的信息交互就显得十分重要，所以决定分布式爬虫系统成功与否的关键在于能否设计和实现任务的协同。

此外，底层的硬件通信网络也十分重要。由于可以采用多节点抓取网页，并能够实现动态的资源分配，因此就搜索效率而言，分布式爬虫系统远高于集中式爬虫系统。

经过不断的演化，各类分布式爬虫系统在系统构成上各具特色，工作机制与存储结构不断推陈出新，但主流的分布式爬虫系统普遍运用了“主从结合”的内部构成，也就是由一个主节点通过任务分工、资源分配、信息整合来掌控其他从节点进行信息抓取。

在工作方式上，基于云平台的廉价和高效特点，分布式爬虫系统广泛采用云计算方式来降低成本，大规模降低软硬件平台构建所需要的成本投入。在存储方式方面，当前比较流行的是分布式信息存储，即将文件存储在分布式的网络系统上，这样管理多个节点上的数据更加方便。通常情况下使用的分布式文件系统为基于Hadoop的HDFS系统。

目前市场上的可视化通用性爬虫，大都牺牲了性能去换取简易的可视化操作。但前嗅的ForeSpider爬虫不是。ForeSpider采用C++编程，普通台式机日采集量超过500万条/天，服务器超过4000万条/天。是市场上其他可视化爬虫的10倍以上。同时，ForeSpider内嵌前嗅自主研发的ForeLib数据库，免费的同时支持千万量级以上的数据存储。

>>>>

通用型和主题型网络爬虫

依据采集目标的类型，网络爬虫可以归纳为“通用型网络爬虫”和“主题型网络爬虫”两种。

通用型网络爬虫侧重于采集更大的数据规模和更宽的数据范围，并不考虑网页采集的顺序和目标网页的主题匹配情况。在当前网络信息规模呈现指数增长的背景下，通用型网络爬虫的使用受到信息采集速度、信息价值密度、信息专业程度的限制。

为缓解这种状况，主题型网络爬虫诞生了。不同于通用型网络爬虫，主题型网络爬虫更专注采集目标与网页信息的匹配程度，避免无关的冗余信息，这一筛选过程是动态的，贯穿于主题型网络爬虫技术的整个工作流程。

目前市面上的通用性爬虫的采集能力有限，采集能力不高，网页结构复杂的页面无法采集。前嗅ForeSpider爬虫是通用型的网络爬虫，可以采集几乎100%的网页，并且内部支持可视化筛选、正则表达式、脚本等多种筛选，可以100%过滤无关冗余内容，按条件筛选内容。相对主题型爬虫只能采集一类网站而言，通用型的爬虫有着更强的采集范围，更加经济合理。

六、爬虫技术是什么意思什么叫爬虫技术

1、爬虫技术：爬虫主要针对与网络网页，又称网络爬虫、网络蜘蛛，可以自动化浏览网络中的信息，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以便程序做下一步的处理。

2、Web爬虫是一种自动访问网页的脚本或机器人，其作用是从网页抓取原始数据-最终用户在屏幕上看到的各种元素（字符、图片）。其工作就像是在网页上进行ctrl+a（全选内容），ctrl+c（复制内容），ctrl+v（粘贴内容）按钮的机器人（当然实质上不是那么简单）。