robots.txt文件放在哪里（）
对于ROBOTS文件作用，哪些描述是正确（）
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
通过（）的查询功能，用户可以方便、快捷地在网站上找到所需要的产品及服务方面的信息。
写出一段只允许百度抓取网站内容的robots
上海肯耐珂萨人力资源科技股份有限公司11月招聘面试题面试题面试官常问到的一些题目整理如下：问题 Q1： Django重定向你是如何实现的？用的什么状态码？可用的回答 ： 使用HttpResponseRedirect redirect和reverse 状态码：302,301 问题 Q2：说说什么是爬虫协议？可用的回答 ： Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt， 网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。 问题 Q3：用Python匹配HTML tag的时候，和有什么区别？可用的回答 ：术语叫贪婪匹配( )和非贪婪匹配( )问题 Q4：请用代码简答实现stack？可用的回答 ： stack的实现代码（使用python内置的list），实现起来是非常的简单，就是list的一些常用操作 class Stack(object): def _init_(self): self.stack = def push(self, value): # 进栈 self.stack.append(value) def pop(self): #出栈 if self.stack: self.stack.pop() else: raise LookupError(stack is empty!) def is_empty(self): # 如果栈为空 return bool(self.stack) def top(self): #取出目前stack中最新的元素 return self.stack-1 问题 Q5：有哪些工具可以帮助查找错误或执行静态分析？可用的回答 ： PyChecker是一个静态分析工具，可以检测Python源代码中的错误，并警告错误的风格和复杂性。 Pylint是另一种验证模块是否符合编码标准的工具。 auto-pep8工具也可以进行静态代码检查 问题 Q6：什么是arp协议？可用的回答 ： ARP（Address Resolution Protocol）即地址解析协议， 用于实现从 IP 地址到 MAC 地址的映射，即询问目标IP对应的MAC地址。 问题 Q7：什么是反射？以及应用场景？可用的回答 ： 通过字符串获取对象的方法称之为反射 python中可以通过如下方法实现： 1. getattr 获取属性 2. setattr 设置属性 3. hasattr 属性是否存在 4. delattr 删除属性 问题 Q8：如何在python中使用三元运算符？可用的回答 ：三元运算符是用于显示条件语句的运算符。这包含true或false值，并且必须为其评估语句。其基本语法为：三元运算符是用于显示条件语句的运算符。这包含true或false值，并且必须为其评估语句。其基本语法为：on_true if expression else on_false问题 Q9：用尽量多的方法实现单例模式？可用的回答 ： 一、模块单例 Python 的模块就是天然的单例模式，因为模块在第一次导入时，会生成.pyc文件，当第二次导入时，就会直接加载.pyc文件，而不会再次执行模块代码。 二、静态变量方法 先执行了类的_new_方法（我们没写时，默认调用object._new_），实例化对象； 然后再执行类的_init_方法，对这个对象进行初始化，所有我们可以基于这个，实现单例模式。 class Singleton(object): def _new_(cls,a): if not hasattr(cls, _instance): cls._instance = object._new_(cls) return cls._instance def _init_(self,a): self.a = a 问题 Q10：python提供的内置类型是什么？可用的回答 ： 可变类型的内置类型: List Sets Dictionaries 不可变的内置类型: Strings Tuples Numbers 算法题面试官常问到的一些算法题目整理如下（大概率会机考）：算题题 A1：数组中第k大个元素题目描述如下：Find the kth largest element in an unsorted array. Note that it is the kth largest element in the sorted order, not the kth distinct element.Example 1:Input: 3,2,1,5,6,4 and k = 2Output: 5Example 2:Input: 3,2,3,1,2,4,5,5,6 and k = 4Output: 4Note: You may assume k is always valid, 1 k arrays length.返回第 k 大个数，与 Third maximum numbers 思路一致：找到第 k
Robots.txt有什么作用（）
robots.txt的作用是（）。
关于搜索引擎工作原理，下列描述中正确的一项是（）
网站被惩罚了怎么办？（）
如何建立符合搜索抓取习惯的网站？（）