网络爬虫（Web crawler）,其实就是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,它可以自动的采集所有能够访问到的页面内容,然后获取或更新这些网站的内容和检索方式等.在功能上来说,爬虫一般会分为数据的采集,处理,储存三个主要部分.
传统的爬虫会从一个或者若干个初始网页的URL开始,进而获得初始网页上的URL信息.在爬虫抓取网页的过程中,会不断从当前页面上提取新的URL放入队列,直到满足系统的一定后停止条件.聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列.然后,它将会根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并且重复上述过程,一直到达到系统的某一条件时停止抓取.另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并且建立索引,以便之后的查询和检索；对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导.

而聚焦爬虫与通用的网络爬虫还有不同,聚焦爬虫还会面对三个主要的问题:1. 对抓取目标的描述或定义；2.对网页或数据的分析与过滤;3. 对URL的搜索策略.