robots.txt文件放在哪里（）
对于ROBOTS文件作用，哪些描述是正确（）
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
通过（）的查询功能，用户可以方便、快捷地在网站上找到所需要的产品及服务方面的信息。
写出一段只允许百度抓取网站内容的robots
银联商务股份有限公司9月招聘面试题面试题面试官常问到的一些题目整理如下：问题 Q1：什么是序列化和非序列化？可用的回答 ：Pickle模块接受任何Python对象并将其转换为字符串表示形式，并使用dump函数将其转储到文件中，此过程称为pickling。从存储的字符串表示中检索原始Python对象的过程称为unpickling问题 Q2：说说什么是爬虫协议？可用的回答 ： Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt， 网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。 问题 Q3：如何在Python中删除文件？可用的回答 ：使用命令os.remove(filename) 删除文件 或 os.unlink(filename) 删除快捷方式问题 Q4：什么是python模块？Python中有哪些常用的内置模块？可用的回答 ：Python模块是包含Python代码的.py文件。此代码可以是函数类或变量。一些常用的内置模块包括：sys、math、os、re、random、time，datatime、json等问题 Q5：谈谈你对闭包的理解？可用的回答 ： #闭包函数的实例 # outer是外部函数 a和b都是外函数的临时变量 def outer( a ): b = 10 # inner是内函数 def inner(): #在内函数中 用到了外函数的临时变量 print(a+b) # 外函数的返回值是内函数的引用 return inner if _name_ = _main_: # 在这里我们调用外函数传入参数5 #此时外函数两个临时变量 a是5 b是10 ，并创建了内函数，然后把内函数的引用返回存给了demo # 外函数结束的时候发现内部函数将会用到自己的临时变量，这两个临时变量就不会释放， 会绑定给 这个内部函数demo = outer(5) # 我们调用内部函数，看一看内部函数是不是能使用外部函数的临时变量 # demo存了外函数的返回值，也就是inner函数的引用，这里相当于执行inner函数 demo() # 15 demo2 = outer(7)问题 Q6：描述数组、链表、队列、堆栈的区别？可用的回答 ： 数组与链表是数据存储方式的概念，数组在连续的空间中存储数据，而链表可以在非连续的空间中存储数据； 队列和堆栈是描述数据存取方式的概念，队列是先进先出，而堆栈是后进先出； 队列和堆栈可以用数组来实现，也可以用链表实现。 问题 Q7：什么是socket？简述基于tcp协议的套接字通信流程？可用的回答 ： 套接字： 也称为BSD套接字，是支持TCP/IP的网络通信的基本操作单元， 可以看做是不同主机之间的进程进行双向通信的端点， 简单的说就是通信的两方的一种约定，用套接字中的相关函数来完成通信过程。 应用层通过传输层进行数据通信时，TCP和UDP会遇到同时为多个应用程序进程提供并发服务的问题 通信流程： 1. 服务器先用 socket 函数来建立一个套接字,用这个套接字完成通信的监听。 2. 用 bind 函数来绑定一个端口号和 IP 地址。 因为本地计算机可能有多个网址和 IP,每一个 IP 和端口有多个端口。需要指定一个 IP和端口进行监听。 3. 服务器调用 listen 函数,使服务器的这个端口和 IP 处于监听状态,等待客户机的连接。 4. 客户机用 socket 函数建立一个套接字,设定远程 IP 和端口。 5. 客户机调用 connect 函数连接远程计算机指定的端口。 6. 服务器用 accept 函数来接受远程计算机的连接,建立起与客户机之间的通信。 7. 建立连接以后,客户机用 write 函数向 socket 中写入数据。也可以用 read 函数读取服务器发送来的数据。 8. 服务器用 read 函数读取客户机发送来的数据,也可以用 write 函数来发送数据。 9. 完成通信以后, 用 close 函数关闭 socket 连接。 问题 Q8：在Python中切片是什么？可用的回答 ：从序列类型（如列表，元组，字符串等）中选择一系列项目的机制称为切片。问题 Q9：为什么使用* args，* kwargs？可用的回答 ：当我们不确定将多少个参数传递给函数，或者我们想要将存储的列表或参数元组传递给函数时，我们使用* args。*当我们不知道将多少关键字参数传递给函数时使用kwargs，或者它可以用于将字典的值作为关键字参数传递。标识符args和kwargs是一个约定，你也可以使用其他名称问题 Q10：说一下Django，MIDDLEWARES中间件的作用？可用的回答 ： 中间件是介于request与response处理之间的一道处理过程，相对比较轻量级，并且在全局上改变django的输入与输出。 算法题面试官常问到的一些算法题目整理如下（大概率会机考）：算题题 A1：根到叶的和题目描述如下：Given a binary tree containing digits from 0-9 only, each root-to-leaf path could represent a number.An example is the root-to-leaf path 1-2-3 which represents the number 123.Find the total sum of all root-to-leaf numbers.Note: A leaf is a node with no children.Example:Input: 1,2,3 1 / 2 3Output: 25Explanation:The root-to-leaf path 1-2 represents the number 12.The root-to-leaf path 1-3 represents the number 13.Therefore, sum = 12 + 13 = 25.Example 2:Input: 4,9,0,5,1 4 /
Robots.txt有什么作用（）
robots.txt的作用是（）。
关于搜索引擎工作原理，下列描述中正确的一项是（）
网站被惩罚了怎么办？（）
使用了百度分享的网页可以更快地被百度爬虫发现，从而帮助网站的内容更快地被百度抓取。请问百度分享能使网页被快速抓取的原因是什么？（）