SEO优化：百度蜘蛛在抓取页面时会涉及的网络协议有哪些？

       我们做网站优化其目的就是让吸引百度搜索引擎蜘蛛爬虫来抓取我们的页面，为了让百度蜘蛛对我们的网站页面顺利抓取，除了需要站长自身遵守一定的规范之外，百度蜘蛛在抓取页面时也要遵守网络协议，那么百度蜘蛛在抓取页面时会涉及的网络协议有哪些？

       一、robots协议。

       网站优化小编提醒robots.txt是搜索引擎访问网站时要访问的****个文件，用来确定哪些内容是被允许抓取的哪些是被禁止抓取的。robots.txt必须放在网站的根目录下，网站优化小编提醒文件名要小写。

       二、HTTP协议。

       HTTP是超文本传输协议，在互联网上被广泛应用的一种网络协议，客户端和服务器端请求和应答的标准。

       三、HTTPS协议。

       HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。

       部署HTTPS是需要购买SSL证书上传到服务器，网站开启HTTPS：第一可以确保数据在传输过程中的安全性，第二用户可以确认网站的真实性。

       四、UA属性。

       UA是HTTP协议中的一个属性。通过UA让服务器可以识别出用户使用的操作系统、浏览器等等，根据相应的格式进行页面的调整，为用户提供更好的浏览体验。

       除此之外，另外网站优化同样支持网页内容中添加的名为robots的meta标签及index，follow，nofollow等等指令。