一、屏蔽死链、空链。在robots中设置后搜索引擎蜘蛛就不会去爬行，不然搜索引擎蜘蛛爬行到APP死链、空链的话会认为你的APP设置有问题，会影响用户体验，从而导致搜索引擎给我们差评，留下不好的影响，而robots设置屏蔽就不会有这样的问题。
二、避免搜索引擎蜘蛛抓取毫无意义的内容，从而导致浪费时间，甚至是爬行到这个毫无意义的内容后就跑了，导致优质的文章内容没有爬行抓取。比如APP中的各种脚本、css样式文档等。
三、保护APP部分隐私。不同的APP功能不同，有些APP是以销售为主的，这类APP是有用户注册信息的，这些东西搜索引擎抓取了也没有意义，反而客户会觉得自己的信息没有受到保护，所以在robots中设置一下还是很有必要的。
