蜘蛛、机器人和爬虫这搜索引擎的三项代言技术，深受许多站长的关注，下来石景山网站开发局分享这三项技术的一些奥秘！让你的网站更好地赢得它们的喜爱！
爬虫是一种程序，或者是一段自动化的脚本，它在网上不停辛苦的跑到各个网站上去。爬虫通过它们所流览的网页上面的链接从一个URL地址爬到另一个URL地址。
主流搜索引擎接连不断地将它们的爬虫派出去浏览广阔的互联网。爬虫首先找到各个页面，然后把页面上的文本和代码复制并储存在它们巨大的索引服务器上，这个过程叫做爬行。这个巨大的索引，实际上就是一个包含搜索引擎爬虫可以成功访问到的所有网站页面的数据库。该索引被用来作为当你搜索时，可以非常快速地得到一个结果的仓库。当您在搜索引擎上搜索词并提交时，您实际搜索的是搜索引擎所索引的全部内容，而不是当时互联网的实际内容。
当然，石景山网站开发中网页会发生变化。有时，网页和网站的变化周期非常短。除此以外，新的网站和网页随时都在快速出现。这也是为什么爬虫始终都在那里不停地爬行，一遍又一遍地浏览网页，并且建立和更新搜索引擎的索引信息。
爬虫看到的网页内容和一般的访问者看到的是完全不同的。如果您想查看爬虫看到的某个网页的内容是什么，您可以使用IE浏览器来访问它，然后按下Ctrl+A组合键，把内容复制下来（就是爬虫看到的内容）。
首页也是最重要的是，爬虫将它们爬过的每个页面的字和词组合起来。它们索引文本和链接。当您在搜索框中输入一个词时，搜索引擎尽量精确地找出和搜索词组最匹配的网页。
所以，任何石景山网站开发及优化（搜索引擎关键词排名）工作第一步的重要部分就是让爬虫更容易发现和爬行您的网站。如果您的网站没被爬虫爬过，它们也就不会建立关于您网站的搜索引擎索引。链接和石景山网站开发中精心设计的网页、栏目与其他网站内容和栏目之间建立桥梁。这将给爬虫提供清晰的爬行道路。
