搜索引擎开发日志

在互联网信息爆炸的今天，搜索引擎成为了获取信息的重要工具。本文将记录开发一个简单搜索引擎的全过程，包括爬虫的构建、数据库设计、关键词提取和网页解析等关键技术点。

一切始于朋友的启发。他向展示了一个包含4个URL的XML文件的搜索引擎，虽然它更像是一个自动完成工具，但那个功能让印象深刻。当晚，辗转反侧，脑海中涌现出无数的想法。经过三个不眠之夜，终于在第三天早上6点完成了一个包含100个URL的数据库的搜索引擎。那一刻，感到无比满足，终于可以安心入睡。

爬虫工作原理

搜索引擎的核心是爬虫，它的目标是获取给定URL的源代码，然后将内容分解成单词，创建一个标签词数组来表示网站的内容。虽然这种方法并不完美，但对于像博客、文章或讨论论坛等文字丰富的网站来说，它是有效的。

例如，可以查看以下网站的关键词云：

• http://www.google.co.in
• http://www.wikipedia.org
• http://www.w3schools.com

代码使用

为了简化工作，将任务分解成了许多小部分，因此会在项目中发现许多类。以下是一些重要的类：

Panda类负责使用get_sourcecode(url)方法从'func'模块获取给定URL的源代码，然后将其传递给juicer类以提取有用信息。完成后，它会向panda_manger报告，并再次分配新任务给Panda。

panda_manger类管理所有的Panda。从这个类中，可以分配任何网页URL进行爬取，它会自动将这项工作分配给任何空闲的Panda。如果没有Panda空闲，那么它将创建一个新的Panda并分配工作。当一个Panda完成任务后，它会向panda_manger报告，然后panda_manger会检查是否还有URL需要爬取，如果有，则命令Panda爬取该URL。

juicer类可以被认为是整个爬虫的主要类，它从任何网站的源代码中提取关键词，然后将其保存到数据库中。

juicer类包含多个子类，用于提取不同类型的信息：

• extract_juice：获取源代码并将其转换为HtmlAgilityPack.HtmlDocument，使用LoadHtml(source)方法。
• process_texttag：处理文本标签。
• process_anchor：处理锚点标签，这是搜索引擎自动跳转到下一个链接的关键部分。
• process_image：处理图像标签。

在项目的起点，有一个名为"Crawler"的数据库，其中包含4个表：

• Keyword_index：用于提供搜索框中的建议结果，包含爬虫迄今为止遇到的所有单词，不重复。
• Keyword_list：包含给定URL的标签云中的所有单词，并存储该单词所属URL的urlhash。
• url_webpage：用于存储爬虫迄今为止找到的所有链接。