A、聚焦网络爬虫
B、增量式网络爬虫
C、通用网络爬虫
D、深层网络爬虫
A、网络爬虫还可以对网页建立索引
B、有些网络爬虫能够从网站抓取内容聚合起来
C、有些网络爬虫甚至能发动DDos攻击、发送垃圾邮件等
D、隐藏在表单后的信息无法被网络爬虫发现
A、网络爬虫
B、网站日志
C、HTTP
D、表单
此题为判断题(对，错)。
此题为判断题(对，错)。
北京同城必应科技有限公司11月招聘面试题面试题面试官常问到的一些题目整理如下：问题 Q1：跨域请求问题django怎么解决的（原理）？可用的回答 ： 1. 启用中间件 2. post请求 3. 验证码 4. 表单中添加%csrf_token%标签 问题 Q2：Python中的命名空间是什么？可用的回答 ： 在Python中，引入的每个名称都有一个存在的地方，可以被连接起来。这称为命名空间。 它就像一个框，其中变量名称映射到放置的对象。每当搜索到变量时，将搜索此框以获取相应的对象。 问题 Q3：说说什么是爬虫协议？可用的回答 ： Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt， 网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。 问题 Q4：为何基于tcp协议的通信比基于udp协议的通信更可靠？可用的回答 ： TCP的可靠保证，是它的三次握手双向机制，这一机制保证校验了数据，保证了他的可靠性。 而UDP就没有了，udp信息发出后,不验证是否到达对方,所以不可靠。 不过UDP的发送速度是TCP比不了的，而且UDP的反应速度更快。 问题 Q5：为什么使用* args，* kwargs？可用的回答 ：当我们不确定将多少个参数传递给函数，或者我们想要将存储的列表或参数元组传递给函数时，我们使用* args。*当我们不知道将多少关键字参数传递给函数时使用kwargs，或者它可以用于将字典的值作为关键字参数传递。标识符args和kwargs是一个约定，你也可以使用其他名称问题 Q6：你对Django的认识？可用的回答 ： Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。 Django内置的ORM跟框架内的其他模块耦合程度高。 应用程序必须使用Django内置的ORM，否则就不能享受到框架内提供的种种基于其ORM的便利； 理论上可以切换掉其ORM模块，但这就相当于要把装修完毕的房子拆除重新装修，倒不如一开始就去毛胚房做全新的装修。 Django的卖点是超高的开发效率，其性能扩展有限；采用Django的项目，在流量达到一定规模后，都需要对其进行重构，才能满足性能的要求。 Django适用的是中小型的网站，或者是作为大型网站快速实现产品雏形的工具。 Django模板的设计哲学是彻底的将代码、样式分离； Django从根本上杜绝在模板中进行编码、处理数据的可能。 问题 Q7：是否使用过functools中的函数？其作用是什么？可用的回答 ：python自带的 functools 模块提供了一些常用的高阶函数，也就是用于处理其它函数的特殊函数。换言之，就是能使用该模块对可调用对象进行处理。functools.cmp_to_key(func)functools.total_ordering(cls)functools.reduce(function, iterable, initializer)functools.partial(func, args, *keywords)functools.update_wrapper(wrapper, wrapped, assigned, updated)functools.wraps(wrapped, assigned, updated)问题 Q8： Tornado 的核心是什么？可用的回答 ： Tornado 的核心是 ioloop 和 iostream 这两个模块， 前者提供了一个高效的 I/O 事件循环，后者则封装了 一个无阻塞的 socket 。 通过向 ioloop 中添加网络 I/O 事件，利用无阻塞的 socket， 再搭配相应的回调函数，便可达到梦寐以求的高效异步执行。 问题 Q9：说一说redis-scrapy中redis的作用？可用的回答 ： 它是将scrapy框架中Scheduler替换为redis数据库，实现队列管理共享。 优点： 可以充分利用多台机器的带宽； 可以充分利用多台机器的IP地址。 问题 Q10：说一说redis-scrapy中redis的作用？可用的回答 ： 它是将scrapy框架中Scheduler替换为redis数据库，实现队列管理共享。 优点： 可以充分利用多台机器的带宽； 可以充分利用多台机器的IP地址。 算法题面试官常问到的一些算法题目整理如下（大概率会机考）：算题题 A1：唯一路径题目描述如下：A robot is located at the top-left corner of a m x n grid (marked Start in the diagram below).The robot can only move either down or right at any point in time. The robot is trying to reach the bottom-right corner of the grid (marked Finish in the diagram below).How many possible unique paths are there?Above is a 7 x 3 grid. How many possible unique paths are there?Note: m and n will be at most 100.Example 1:Input: m = 3, n = 2Output: 3Explanation:From the top-left corner, there are a total of 3 ways to reach the bottom-right corner:1. Right - Right - Down2. Right - Down - Right3. Down - Right - RightExample 2:Input: m = 7, n = 3Output: 28思路：直接DP。子问题：经过当前点的路径一共有多少条。由于只能向右或者向下且不可返回，每一个点的路径可由左和右的点的路径数相加得来。边界：无则为0。1 1 11 2 3初始化一个 x * x 的列表，并将0, 0设置为1。之后将每个点的路径数等于左+上。效率为O(mn)。2数学方法暂且跳过。测试地址：https:/ 100%.可做参
A、通用网络爬虫通常采用并行工作方式，但需要较长时间才能刷新一次页面。
B、通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。
C、聚焦爬虫根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
D、增量式爬虫在需要的时候爬行新产生或发生更新的页面，并重新下载所有页面
robots.txt文件放在哪里（）
对于ROBOTS文件作用，哪些描述是正确（）
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
Robots.txt有什么作用（）