搜索引擎是建设网络文化的核心技术

sowang

　　从信息学的角度来看，所有的网络文化产品都可以视为信息；网络文化的建设过程，就是文化信息产生、存储和利用的过程；人类的文明史，也可以视为一部文化信息资源创造和开发利用的历史。近年来，海量文化信息的出现，产生了人的自然力无法解决的“信息过载”问题。从开发利用信息资源的角度研究网络文化，可以获得一个全新的视角，有助于我们更准确地把握网络文化的发展规律，促进网络文化建设又好又快地发展。

　　存储信息：从纸张到电脑

　　信息资源是重要的社会财富，人类很早就认识到了这一点，并通过纸张来记录信息，通过图书馆来保存和利用信息。古埃及的亚历山大图书馆是人类最早的大型图书馆，建于公元前3世纪，曾拥有公元前9世纪的古希腊诗人荷马的全部诗稿等著作，成为古代文明的象征。中国最早的图书馆始于周朝的“盟府”，在宋朝、明朝、清朝均有国家兴建的大型藏书楼。

　　在专制统治时代，统治者常常实行“愚民”政策，仅仅向民众提供筛选过的少量书籍，不愿意将信息资源交给全民分享。在我国古代历史上，秦始皇焚书坑儒，规定以吏为师，禁止民间藏书；梁武帝“爱”书，藏书十多万卷，又将其尽数焚毁；清朝大兴“文字狱”，也曾大量焚毁前朝书籍。

　　以法国“百科全书派”的启蒙运动为先导，人类逐渐形成共识，社会的文明与进步，依赖于知识的传播和分享。自此之后，世界各地纷纷出版图书，建设图书馆，传承文明和知识。

　　图书的大量出版产生了一个如何有效利用知识的新问题。对于浩如烟海的书本上的知识，人类一直只能靠人体自然的记忆机能来加以使用。在今天，这种信息利用方式远远不能满足社会发展的需求。一天读一本书，按70年算，人一辈子不过能读2万多本书，而我国目前每年出版的图书就超过10万种。

　　到了20世纪50年代，由于计算机技术的出现，大量的知识、数据和图书文献转化为计算机信息，存放到数据库中。依托于计算机强大的存储能力，解决了海量信息资源的存储问题。

　　网络是分享海量信息资源的最佳渠道。通过网络，可以提高信息资源的开发效率，减少重复劳动；可以消除时间、空间上的障碍，让巨大的信息资源向每个社会成员开放。网络文化建设工作的实质，从信息学的角度来看，就是创造越来越多的信息资源形态的文化产品，通过网络提供给广大人民群众。


　　驾驭信息：从人脑到搜索引擎

　　20世纪后半期以来的“信息爆炸”，造成了巨大的“信息过载”压力。随着网络文化建设的深入，大量的声音、影像、三维状态描述等形式的文化信息将产生出来，网络文化的信息资源总量正在成数量级地增长。

　　依靠人的大脑和传统的手段，无法解决这种海量信息导致的“信息过载”的问题。建设网络文化，一方面要创造丰富的网络文化产品，另一方面，还要着力解决在“信息过载”背景下驾驭海量文化信息的问题。

　　为了解决这个问题，人类已经进行了半个多世纪的探索，并逐渐形成了共识。今天，各式各样的搜索引擎已成为人们处理海量信息必不可少的工具，彻底地改变了人类在海量信息面前的被动局面。可以说，搜索引擎是网络文化建设的核心技术，每一项网络文化服务的提供，都离不开搜索引擎技术。

　　搜索引擎技术有三类：分类查询、索引检索和全文检索。

　　分类查询方法是将信息按照学科、领域的类别进行划分，比较符合人们的认知习惯。雅虎是最早采用这一方法的搜索引擎网站。此后，几乎所有的搜索引擎网站均提供了分类查询的服务。分类查询方法的关键在于分类，有计算机自动分类和人工分类两种。计算机自动分类速度快、效率高，但是分类不准确。人工分类准确度高，但效率极低，无法跟上“信息爆炸”的速度。

　　索引检索方法来自计算机数据库管理经验，完全由计算机完成。它将信息看作一个个字、词的集合，出于效率的考虑，只能设定少数几个关键词。对于关键词范围内的词汇，其检索效率和查全率都很高；但是对于超出这一范围的词汇，就没有检索能力。索引检索方法比较适用于静态的科技或社科文献数据库。

　　全文检索方法是最流行的搜索引擎技术。几乎所有的网站都在采用全文检索技术。全文检索方法通过在整篇文章中机械地进行关键词的匹配来进行检索，查全率很高，但查询效率严重依赖于计算机的性能。在20世纪90年代中期之前，由于计算机性能的限制，全文检索发展缓慢。但此后，由于高性能计算机的普及，全文检索成为最主流的搜索引擎技术，应用到几乎所有的信息处理领域。

　　运用全文检索技术的搜索引擎网站，通过互联网向全体网民提供免费的信息搜索服务，使得每个人都获得了强大的信息驾驭能力。以谷歌网站为例，它的数据库里收录了80多亿个网页，在不到一秒钟的时间里，可以完成对几十亿个网页的全文检索。如此高的搜索效率，使得谷歌成为全球最受欢迎的搜索引擎，成为全球10多亿网民的强有力的“外脑”。今天，谷歌收录的网页还不到整个互联网信息资源的5%，而且，网上的文化类信息资源还仅仅是人类文化信息资源的一小部分。

　　评价网络文化建设的成果，关键要看网络文化的产品和服务是否真正服务于广大人民群众。搜索引擎技术的出现和流行，帮助我们从中找到了解决“信息过载”、让文化信息资源服务于广大人民群众的“钥匙”。因此，发展和推广先进的搜索技术，开发利用文化信息资源，是网络文化建设者当前面临的一个重大课题。根据网络文化各个领域的需求，有针对性地开发效率更高、更易于使用的搜索引擎，还有大量的工作要做。


　　作者：杨谷
　　（来源：光明日报）

url

不错。