1. 研究目的与意义
随着互联网的迅速发展，互联网上的信息量急速膨胀，这使得想要准确地搜索信息变得很有难度，在此情况下，我们可以使用网络爬虫来有效、准确地抓取大量网页。
网络爬虫是一种自动提取网页的程序，Python是当下流行的程序设计语言。
使用基于Python编写的网络爬虫，可以有效地抓取指定信息的网页。
2. 研究内容和预期目标
研究网络爬虫设计时，要解决的问题有 1、搜索关键字的定义2、如何对网页进行存储和分析3、对网络的搜索策略。
写作提纲： 序言 1 网络爬虫的设计 1.1 网络爬虫的工作原理1.2 网络爬虫的体系结构 1.3 网络爬虫的主要模块设计 1.4 网络爬虫的主要时序关系2 网络爬虫设计与实现中的关键技术 2.1 网页搜索策略 2.2 URL消重 3 网络爬虫的实现 3.1实现工具 3.2网络爬虫主要功能的实现3.2.1 线程管理 3.2.2 URL解析 3.2.3 网页内容解析 3.2.4 数据库设计4程序功能测试 5 总结与展望
3. 国内外研究现状
出于商业机密的考虑，现在各个搜索引擎使用的爬虫系统的技术内幕一般都不公开，现有的文献资料也仅限于概要性介绍。
随着网络信息资源呈指数级增长及网络信息资源动态变化，传统的搜索引擎提供的信息检索服务已无法满足人们日益增长的对个性化服务的需求，正面临着巨大的挑战。
以何种策略访问网络，提高搜索效率，已成为近年来专业搜索引擎网络爬虫研究的主要问题之一。
4. 计划与进度安排
网络爬虫算法的解决方案，主要还是寻找实现#8220;最好优先算法#8221;。
研究的方法及措施：查询相关书籍，阅览相关资料，了解基本原理。
在国内外网络爬虫系统开发社区，与网络爬虫爱好者交流学习。
5. 参考文献
[1] 冯博琴.大学计算机基础[M].北京：高等教育出版社, 2004. [2] 冯元.计算机网络安全基础[M].北京：人民邮电出版社, 2004. [3] 《Webbots、Spiders和Screen Scrapers：技术解析与应用实践》[4]孙涌. 现代软件工程[M].北京: 希望电子出版社, 2003. [5] Python基础教程[M]. 人民邮电出版社, 2010.[6] 廖雪峰的python博客
以上是毕业论文开题报告，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
