基于Lucene网络视频垂直搜索系统的设计与实现
摘要
自从以YouTube为代表的视频分享型网站取得巨大成功后，国内视频分享网站也快速发展起来，网络视频的数量开始高速增长，增强了用户对视频搜索的依赖性。大部分视频分享网站站内数据库搜索模式不能满足人们对视频搜索越来越多的要求。
本文以用户对网络视频搜索需求为研究背景，结合网络视频市场中对视频信息搜索的需求，在网络视频搜索向基于关键帧方向发展之际，在非关键帧的传统文本搜索模式基础上，采用垂直搜索理念和技术，以国内互联网上的视频分享型网站内容为视频信息特定自动采集对象，来实现网络视频搜索功能。同时为了实现视频信息的全文检索，还引入Lucene全文搜索引擎来实现系统的全文搜索功能。
本文首先阐述了搜索引擎的基本原理以及垂直搜索的关键技术，然后对基于JAVA的Lucene全文搜索引擎技术进行必要的说明，最后在对网络视频搜索业务分析的基础上，得到系统的基本功能需求和最终目标。
在系统功能需求和目标的基础上，运用UML分析设计技术和系统三层架构思想，对系统的功能设计和数据库设计以及系统数据备份策略进行了详细论述。
由于系统的开发环境是Linux+Apache+PHP+MySQL，所以，本文还对Linux、Apache、PHP、MySQL进行了必要的说明。在此基础上，对系统各部分的功能实现进行了简要说明。
Since the video-sharing website has obtained the huge success after YouTube, the domestic video-sharing websites develop rapidly, the quantity of network video starts to grow at high speed, which strengthened people's dependence on the video search. However, the majority database searching pattern of video-sharing websites can not satisfy people's more and more requirement for video search.
The paper takes the users' network video search demand as the researching background, unites network video market demand to the video information search, to develops in the network video frequency search based on the essential frame direction, in the non- essential frame traditional text search pattern foundation, only then uses the vertical search idea and technology, shares the website content by taking the domestic Internet video as the video information specific automatic gathering object, and realizes the network video search function. In order to realize the video information full text retrieval, the system also absorbs the Lucene full-text search engine to realize the system full-text search.
The paper first elaborates the search engine basic principle as well as the vertical search essential technology, then gives an essential explanation for Lucene full-text search engine technology showing based on the JAVA, finally on the foundation of the network video search service analysis, obtains the basic function demand and the ultimate objective of the system.
On the foundation of the system function demand and goal, the paper utilizes the UML analysis design technology and system three overhead system architecture, and carries on the detailed elaboration to the system functional design and the database design as well as the system data backup strategy.
Because the system development environment is Linux+Apache+PHP+MySQL, the paper has also carried on essential showing for Linux, Apache, PHP, MySQL. On this foundation, the paper has carried on the explanation to the implementation of functions of each part of the system.
本文以用户对网络视频搜索需求为研究背景，结合网络视频市场中对视频信息搜索的需求，在网络视频搜索向基于关键帧方向发展之际，在非关键帧的传统文本搜索模式基础上，采用垂直搜索理念和技术，以国内互联网上的视频分享型网站内容为视频信息特定自动采集对象，来实现网络视频搜索功能。同时为了实现视频信息的全文检索，还引入Lucene全文搜索引擎来实现系统的全文搜索功能。
本文首先阐述了搜索引擎的基本原理以及垂直搜索的关键技术，然后对基于JAVA的Lucene全文搜索引擎技术进行必要的说明，最后在对网络视频搜索业务分析的基础上，得到系统的基本功能需求和最终目标。
在系统功能需求和目标的基础上，运用UML分析设计技术和系统三层架构思想，对系统的功能设计和数据库设计以及系统数据备份策略进行了详细论述。
由于系统的开发环境是Linux+Apache+PHP+MySQL，所以，本文还对Linux、Apache、PHP、MySQL进行了必要的说明。在此基础上，对系统各部分的功能实现进行了简要说明。
Since the video-sharing website has obtained the huge success after YouTube, the domestic video-sharing websites develop rapidly, the quantity of network video starts to grow at high speed, which strengthened people's dependence on the video search. However, the majority database searching pattern of video-sharing websites can not satisfy people's more and more requirement for video search.
The paper takes the users' network video search demand as the researching background, unites network video market demand to the video information search, to develops in the network video frequency search based on the essential frame direction, in the non- essential frame traditional text search pattern foundation, only then uses the vertical search idea and technology, shares the website content by taking the domestic Internet video as the video information specific automatic gathering object, and realizes the network video search function. In order to realize the video information full text retrieval, the system also absorbs the Lucene full-text search engine to realize the system full-text search.
The paper first elaborates the search engine basic principle as well as the vertical search essential technology, then gives an essential explanation for Lucene full-text search engine technology showing based on the JAVA, finally on the foundation of the network video search service analysis, obtains the basic function demand and the ultimate objective of the system.
On the foundation of the system function demand and goal, the paper utilizes the UML analysis design technology and system three overhead system architecture, and carries on the detailed elaboration to the system functional design and the database design as well as the system data backup strategy.
Because the system development environment is Linux+Apache+PHP+MySQL, the paper has also carried on essential showing for Linux, Apache, PHP, MySQL. On this foundation, the paper has carried on the explanation to the implementation of functions of each part of the system.
引文
[1] 中国网络视频研究报告2006年简版
[2] 王瑞斌 互联网视频革命的第一枪
[3] 赵志荣 垂直网站与垂直搜索引擎中国信息导报2000．11：18
[4] 肖冬梅 垂直搜索引擎研究图书馆学研究2003．2：87
[5] 《什么是垂直搜索?》[Web]http://www.fullsearcher.com/n20051112144420735.asp
[6] 《如何做好一个垂直搜索引擎》[Web]http://www.fullsearcher.com/n2005125125722735.asp
[7] 杨坚争 垂直搜索引擎及其应用
[8] 崔莹莹 垂直搜索小搜索公司的活路 法人2006．4：71
[9] 雷鸣 王建勇 赵江华等 第三代搜索引擎与天网二期 北京大学学报(自然科学版) 2001 37(3)：734-740
[10] 李广建 个性化网络信息检索系统的研究与实现 中科院文献情报中心博士论文2001，6
[11] 赵志荣www搜索引擎的发展方向 专题性搜索引擎 情报杂志2001(5)：75-76
[12] 洪光宗 王皓 搜索引擎robot技术实现的原理分析 现代图书情报技术2002(1)
[13] 徐建华 网络搜索引擎原理、特性分析及未来发展趋势 图书情报工作2000(8)：34-38
[14] 马静 搜索引擎机理剖析 中国信息导报2001 10：54-56
[15] 刘平兵 基于Lucene的Web站内信息搜索系统
[16] 孔柏煊 基于LuceneXML技术的Web搜索引擎设计与实现
[17] 搜索引擎直通车网http://www.se-express.com/index.htm
[18] 李晓明 刘建国 搜索引擎技术及趋势 中国计算机用户
[19] 曹树金 杨涛 自动分类在搜索引擎性能优化中的应用。
[20] 孙西全 马瑞芳 基于Lucene的信息检索的研究与应用信息系统第29卷2006年第1期
[21] PHP网络编程技术 南顺成刘敏主编 国防工业出版社2002年10月
[22] MYSQL核心编程Leon Atkinson著清华大学出版社2003年4月
[23] 王沫PHP&MySQL完全实例教程电子工业出版社
[24] 车东 在应用中加入全文检索功能——基于Java的全文索引引擎Lucene简介
[25] Lucene Open Source Material [Z].http://jakarta.apache.org/lucene.
[2] 王瑞斌 互联网视频革命的第一枪
[3] 赵志荣 垂直网站与垂直搜索引擎中国信息导报2000．11：18
[4] 肖冬梅 垂直搜索引擎研究图书馆学研究2003．2：87
[5] 《什么是垂直搜索?》[Web]http://www.fullsearcher.com/n20051112144420735.asp
[6] 《如何做好一个垂直搜索引擎》[Web]http://www.fullsearcher.com/n2005125125722735.asp
[7] 杨坚争 垂直搜索引擎及其应用
[8] 崔莹莹 垂直搜索小搜索公司的活路 法人2006．4：71
[9] 雷鸣 王建勇 赵江华等 第三代搜索引擎与天网二期 北京大学学报(自然科学版) 2001 37(3)：734-740
[10] 李广建 个性化网络信息检索系统的研究与实现 中科院文献情报中心博士论文2001，6
[11] 赵志荣www搜索引擎的发展方向 专题性搜索引擎 情报杂志2001(5)：75-76
[12] 洪光宗 王皓 搜索引擎robot技术实现的原理分析 现代图书情报技术2002(1)
[13] 徐建华 网络搜索引擎原理、特性分析及未来发展趋势 图书情报工作2000(8)：34-38
[14] 马静 搜索引擎机理剖析 中国信息导报2001 10：54-56
[15] 刘平兵 基于Lucene的Web站内信息搜索系统
[16] 孔柏煊 基于LuceneXML技术的Web搜索引擎设计与实现
[17] 搜索引擎直通车网http://www.se-express.com/index.htm
[18] 李晓明 刘建国 搜索引擎技术及趋势 中国计算机用户
[19] 曹树金 杨涛 自动分类在搜索引擎性能优化中的应用。
[20] 孙西全 马瑞芳 基于Lucene的信息检索的研究与应用信息系统第29卷2006年第1期
[21] PHP网络编程技术 南顺成刘敏主编 国防工业出版社2002年10月
[22] MYSQL核心编程Leon Atkinson著清华大学出版社2003年4月
[23] 王沫PHP&MySQL完全实例教程电子工业出版社
[24] 车东 在应用中加入全文检索功能——基于Java的全文索引引擎Lucene简介
[25] Lucene Open Source Material [Z].http://jakarta.apache.org/lucene.