找图片找字体如图

Post: 17:52:24
好历害的私家侦探。感觉没隐私了。
Post: 17:32:28
以后官 员们浪漫时候可就不安宁了,人肉出来照片是中部地区某伟大领袖的故乡的一个很大衙 门的某 层.要不然不会叫御姐,御是皇帝的专属名词.御驾亲 草的姐 就是X姐
Post: 14:14:30
即使楼主如此保密,可下载地址还是被破解了
/c0zhnkac0n
Post: 13:37:53
压缩包有密码。。。
Post: 16:14:20
密码是什么
Post: 0:37:48
11点半就准备睡了,结果手贱看了你这个,愣是花一个小时才找到种子下载,不说了,睡觉去,明早用我的14寸CRT看片开撸!
Post: 12:17:52
改用相机的时候还是用相机 哈哈
Post: 16:39:16
又学了一个新技能
Post: 16:01:58
博主你太坏了!
Post: 11:39:08
Post: 17:26:24
厉害。。。
Post: 14:22:13
亲,我只想说教会了更多人包含我,以后这种文章还是别发了,这套图很多人都有了
Post: 11:41:51
发照片下载地址
Post: 10:47:11
哈哈,太牛逼了。
Post: 21:34:41
我什么像是在间接推广某种软件的?有木有同感的?
Post: 20:02:12
这个确实太牛了
Post: 16:30:19
发图不留种,菊花万人捅!
Post: 16:27:22
说实话,这个真心牛逼哇
Post: 16:20:22
Post: 16:10:15
楼主到底想说明什么呢????
Post: 14:33:03
我去。。和谐社会啊,松松怎么还发这样的文章啊
Post: 13:32:50
哈哈,强大了,,我以前怎么没注意到呢!
Post: 12:50:41
善于挖掘深度信息啊
Post: 12:32:11
果然很强大啊
Post: 12:27:32
Post: 11:35:54
Post: 10:56:52
这也太强悍了,哥们佩服啦
Post: 10:44:38
将图片放到谷歌图片搜索一下,你懂的。。。
Post: 10:40:20
Post: 10:37:21
科普文章。。。。
Post: 10:31:06
。。。照这样说我可以知道女神的位置,然后啪啪啪了?
Post: 10:27:09
只有我们想不到的,没有做不到的
Post: 9:36:56
这个有意思!
Post: 8:48:23
谢谢分享,以后可要注意了。
Post: 8:19:26
这个得小心注意啦
Post: 7:44:57
我觉得还是直接找原作者求种更有节操
Post: 4:00:49
松松啊,节操啊。
Post: 3:16:33
太长了 省略过
Post: 1:18:32
受教了,这种知识真没注意到。
Post: 23:38:37
挺用心的,分析的也挺到位的。
Post: 22:41:00
Post: 9:49:54
这个世界已经没有隐私了
【相关文章】 9:0:52 12:18:31 11:2:21 12:11:20 8:22:51 8:25:30 8:19:3 8:26:51 20:16:10 9:29:55
本月最热文章
本年最热文章推荐这篇日记的豆列
······
&(1287人关注)
&(32人关注)
&(15人关注)
&(74人关注)
&(3人关注)图像搜索引擎(专业)计算机软件与理论。声明:知识水坝论文均为可编辑的文本格式..
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
图像搜索引擎
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口武汉大学 硕士学位论文 新闻图片库中基于综合特征的图象检索技术应用研究 姓名:邱扬 申请学位级别:硕士 专业:计算机应用技术 指导教师:陈珉
摘要在使用新闻图片库的过程中,经常遇到图片入库前查重和查找一组相似图片等涉及图片相似性判断的操作。图片相似性判断需要结合人对图片的视觉感知信息,如图片
的色彩、构图等等。然而,这些视觉感知特征难以用文字描述。而且,文字描述受主观因素影响很大,加工者和查询者的不同描述造成了检索矛盾。针对文字关键词检索方式造成相似图片检索效率低、效果差的问题,我们开发了一个基于图象综合特征的检索系统,实现了在新 闻图片库中客观地进行相似图片检索。目前,较成熟的基于内容的图象检索技术主要集中在图象的颜色、纹理等低层特征上,并已获得了颜色直方图、对比度、粗糙度、方向性等 许多高效的特征描述符。本系统结合新闻照片的构图特点将图片分割成权重不同的四个区域,综合使用HIS颜色模型下的颜色直方图以及MPEG--7标准推荐的颜色布局描述符(CLD)和边缘直方图描述符(EHD),分别对图象进行相应的特征提取和归一化处理。同时提出了采用相关反馈方法,根据用户对检索结果的相关性评价,客观地获取照片新闻 主体的文字描述,使检索结果更接近用户目标。通过在含有1000幅照片的图象库上测试 表明。本系统具有较好的检索效果。关键词:新闻图片库、图象检索、综合特征、相关反馈 AbstractSearchingagroup of similar photos from the database.or checkingphotosrepeated before putling into the database are commonly used in the news photo― database system.The iudgment of the photos similarity heavily depends on human’svisual recognitions photo’s feature such as color and structure.However,these visuaI recognitions are hard to be literarily described.Moreove r,Iiterature description of photos is widely different;ndividually which likely causes big disagreement by differentonindividuals’descnption.Therefore。a image searching system based on the image’s various features is developed to eliminate the problems of Iow efficiency and unsatisfied result caused by keywords based approaches。lt brings the function of searchingobjectivelyw附、reIated photos..IIoday,the mature CBlR technology mainly bases on underlying feature such as color,texture,and many effective feature descriptors have been gotten,such as color histogram,contrast,coameness。directionality.The colorapplied to four areas with different weight to describe the content of the images.According to user’s relevant valuation to searching result.we suggest using relevance feedback t0 get keywords of news object objectively and make the searching result close to user's need.The systemarehistogram of HIS model and CLD.EHD in MPEG-7 standardshows very good result basedonthe test fromaphoto database with 1 000 news photos.Keywords:news photo―database,image retrieval,various feature relevance feedback. 郑重声明本人的学位论文是在导师指导下独立撰写并完成的,学位论文没有剽窃、 抄袭、造假等违反学术道德、学术规范和侵权行为,本人愿意承担由此而产生的法律后果和法律责任,特此郑重声明。学位论文作者(签名):跏2004年5月16日 一引言新闻照片作为新闻事件的真实记载,它所具有的具像性、独特性、多元性往往是任何 文字所无法替代的.具有很高的保存价值。作为重要的历史资料,新闻照片一旦被毁坏就 很难再修复,因此,如何长期保存和充分利用新闻图片成为一个非常重要的课题。为此, 近几年来全国各家报业集团纷纷建立起自己的新闻图片数据库检索系统,主要是收集、熬 理、保存、标引在新闻采访过程中拍摄的各种新闻照片(包括系统建立前的历史照片), 以及从其他新闻机构获取的有价值的新闻照片.并提供后期的查询和再利用能力。图1新闻图片数据库检索系统示意图l现有系统使用的检索方法 目前,各报社新闻图片数据库的数据收集工作通常由专人(注解员)负责.手l对每一幅照片进行相应的文字信息处理,完成各个关键字的文字标引工作。一般的,图片丈字 信息项包括摄影者、摄影时间、摄影地点、图片说明、图片分类等,同时为使图片按照档 案管理的要求得到规范管理,还要登记图片号、底片号、案卷号、页码等。如图2所示。 图2图片信息入库界面瘁中图片的查询方式通常是采用文字关键字匹配检索。使用者可通过摄影者、摄影时 间、摄影地点、图片说明中的任意词等检索条件或这些条件的组合来检索所需的图片。如 图3所示。图3图片检索界面 2文字检索方式造成的功能缺陷 随着数码相机的普及,需要处理和保存的新闻照片数量越来越多,图片系统需要更大的存储空间,更高的检索效率和更加准确的检索结果,才能更好的满足图片处理人员和查 询使用者的实际需要。现有图片查询系统所提供的根据文字关键词检索的方式在实际操作过程中,无法很好的满足下面几个方面的使用需要:(1)同一新闻主题的新闻照片如果出现相同或相似的情况,有可能只需要保存其中部分 照片,因此,每一张照片在入库之前都需要对库中已有照片进行检索,由注解员根据检索 结果对照片进行比对判断后作出是否“入库”的决定,即完成“查重”处理。这样既能避 免照片的冗余,达到节省存储空间的目的,又能保证新闻照片资料的完整性和可用性。 目前,图片资料系统中主要使用的检索方法还是基于文本方式的关键词、主体词精确 匹配或概率匹配。采用这种方式产生的检索结果集通常都比较大,照片数量多,人工进行比对查重处理的效率低下,而且,选择关键词、主题词时人的主观因素比较大,这种不同 人的主观差异可能导致检索中的失配错误,从而产生“漏查”的现象。 (2)图片在后期再利用过程中,通常需要在一组相似的图片中进行比较和挑选。由于对 新闻图片的文字描述信息并不能表达图片本身的构图、色彩等相关内容,因此通过文字关键词检索方式是无法直接将一组相似的新闻图片检索出来并排列到一起,使用者要分析、 比较、挑选这些相似新闻图片十分不便,效率普遍比较低。 (3)使用者如果对一张新闻照片的情况不是很了解,要在新闻图片数据库中快速查找, 以获取与之相关的摄影者、摄影时问等各种相关文字信息。但是使用文字关键词的检索方 式进行查询,更多的时候是依靠自己的理解和猜测输入各种关键词内容,而且要从较大范围的图片结果集中进行人工搜寻,效率低下甚至无法找到。基于图象内容的检索技术已经成为当前的研究“热点”,不少研究成果在众多领域得 到应用并产生一定的效果。本文对基于综合特征的图象检索技术在新闻图片库中的应用方 法和效果进行研究,期望能较好的解决新闻图片库中现有检索方法在使用过程中暴露的上述缺陷。二基于内容的图像检索技术的发展状况l基于内容图象检索技术的提嫩基于内容的图像数据检索是由于图像信息的飞速膨胀而得到关注并被提出来的…。随着科学技术的进步发展和推广应用,已经能够运用各种手段大量地采集和产生备种 类型的多媒体信息数据。尤其是近年来,随着需求的增长,工艺技术的进步,以各种方式 获取的图像信息的数量得到了飞速增加。例如美国加州旧金山医院多年前已将医学X光图.3. 片数字化。每幅图是2000X2000象素,每个象素的灰度需16Bit,所以每幅图需要8MB来 存储。考虑每天需做约1000片,而一般x光图片需保存7年,这样一来每年这类图像数 据的数量都将在10”B的量级。从信息加工的角度来说,为解决上述信息膨胀问题.不仅要具有大量存储和快速传输图像信息的技术,还要具有能对图像信息进行自动查询和选择的技术,这样才能使人类只 接受或快速地获取需要的信息而不至于淹没在图像的汪洋大海之中。通过建立各种图像数据库,借助计算机对图像信息进行有效的管理,并为了进一步的利用进行识别和理解,晟 终实现臼动的查询检索是对付信息膨胀的有效办法。 但是图像信息捡索是复杂的,因为与图像相联系的信息类别非常多…: (1)与图像内容不宣接相关但有某种联系的数据(也常称为内容无关的元数据),如格式、作者名、日期、所有权等。(2)与图像内容相关的视觉信息的数据,分两层: ●底层特征的数据,如颜色、纹理、形状、空间联系等,以及它们的组合(也常称为与内容相关的元数据)。一般来说,这种数据与感觉因素有关。 ●商层内容语义的数据,这种数据也常称为内容描述元数据。它关心图像实体和客观 世界实体的关系,或者与视觉符号和场景相联系的时间事件、感受和意图的联系。传统的图像信息检索系统常常是使用文字标识符,也就是根据上述的与图像内容不直接相关的格式、作者名等联系数据进行检索。为实现检索,先给图像加上一个对其描述的 文字标引,然后在索引时对标引进行检索,这样一来对图像的检索就变成了基于标签的查询了。这种方法虽然简单,但有几个根本的问题影响对图像信息的有效使用。 (1)图象内容丰富很难用文字完全表达,尽管诸如图片的日期、关键字等都可以提供有 用的索引线索,但是都不能完全抓取图像的视觉信息。事实上,图象内容带给人的信息是 多方面的,所以没有人是仅借助标引来回忆场景的,用户需要能访问图象的内容,如颜色、纹理、目标形状、分布位置等;(2)文字描述是一种特定的抽象,如果描述的标准改变,则标引也得重新制作才能适应新查询得要求:(3)文字标引目前绝大部分是靠观察者选出来加工上去的,因此受主观因素影响很大, 不同的观察者或同一观察者在不同条件下对同一幅图象可能给出不同的描述,因此不够客观,从而造成检索矛盾。 上述问题就造成了传统方法在很多情况下不能满足实际应用的需要。为了解决这些问题,需要全面地、~般性地、客观地来提取图像内容,并根据这些内容进行检索,才能有 效的获取需要的图像信息。因此,基于内容的图像检索(Content--Based CBIR)也就成为了图像检索技术中的新热点。Image Retri eval, 2典型的图象检索系统最常用的基于内容检索是借助一些视觉特征柬进行的。这里特征可以是图像的匦面特征,也可以是图像的主题对象特征,具体来说可以是场景或物体的颜色、表面纹理、特定 日标的几何形状、几个物体在空间的相互位置关系等。对图像内容的提取可在建立图像数据库时进行。在图像归档时,对输入先进行分析,提取图像或目标的特征向量。在将输入 图象存入数据库的同时将其相应的特征向量也存入与图象数据库相连的特征库中。在图像 查询时,对给定的查询图,也先进行分析并提取其特征向量。通过将该特征向量与特征库中的特征向量进行匹配并根据匹配结果到图象库中搜索就可提取出所需要的图象来。用户 进一步可浏览输出的查询结果,选择所需的图象,或根据结果提出意见修改查询。图4给出了一个基于特征对图象进行归档和查询的原理框图。喇簟归蕊图4图象归档和检索流程图 鉴于基于内容的图象检索的重要性、有效性和优越性,国际上已投入了大量人力物力对此进行研究,许多研究者己研制开发了许多试验系统,并已在一些领域试用。如IBM公司研制开发的基于图象内容查询的QBIC(queryby imagecontent)通用系统、美国哥伦比亚大学的全自动图象查询系统Vi sum SEEK、美国国家图书馆的基于WEB的医学信息提 取系统WEB MIRS等已投入运用,而国内一些单位也积极研究了一些如指纹识别、人脸识别等基于内容的查询检索系统,并在公安(如刑侦)、保安(如个人身份验证、指纹锁)等多个领域得到了应用“】。 其中,QBIC是一个著名的图象检索系统,已在一些场合试用。’。例如旧金山的艺术博 物馆中采用了QBIC以帮助查询艺术图片,加州大学DaviS分校的艺术和艺术历史系利用QBIC让学生和公众了解教师的信息。QBIC允许用户给出希望查询的图象或目标的形状、 颜色或纹理等特征,然后系统以此为例可以从大型在线图象数据库中搜索、测览和提取出 库中满足条件的图象。在QBIC中,建立数据库有三个步骤:采集图象,制作缩微图,加 入文字信息。用户可有选择地用手工或半自动方法指定图象中的目标或区域。当采用手工 方法时主要是勾画边界,而使用半自动方法则可仅勾画一个范围,系统在这个范围内确定 边界。图象库建立后要计算特征,特征可以是彩色特征、纹理特征、形状特征、草图特征 等”1。QBIC中的彩色特征主要有彩色直方图和平均值等:纹理特征主要有粗燥度、对比度.5. 和方向性等:形状特征主要有目标的面积、各阶矩、圆形性、离心率和主轴方向等;草图特征也可称为边缘图特征,如边界各点的切线方向等。查询时可对整幅图片进行,也可对 图片中目标进行。在用彩色特征查询时QBIC允许用户指定各种颜色的百分比。在用纹理 特征查询时QBIC允许用户从给定纹理库中选取有代表性的纹理图案。在用形状特征套询 时QBIC允许用户指定一个已有目标,也允许用户勾画草图来表示形状。而对草图特征, QBIC允许用户只画出主要边缘的位置和走向。用户既可以使用以上任一个特征,也可利用它们的组合。三基于图象特征的检索技术根据上述基于内容的图象查询检索系统的工作原理和流程,可以知道基于特征的图象检索有三个关键:(1)要选取恰当的图象特征; (2)要采用有效的特征提取方法; (3)要有准确的特征匹配算法。l与图像内容相关特征的提取层次 图象特征是图象视觉效果的量化表示,好的特征能较好的表达人对图象的视觉感受。特征比较则是计算两幅图象间的相似程度,好的比较算法能更好地模拟人对于两幅不同图 象感受的差异程度。图象特征可以分为以下三个层次m:层次一,原始特征,如颜色、纹 理、形状:层次二,逻辑特征,如各种图象中的目标对象;层次三,抽象特征,如发生在 同一场景的图象。一般地,层次一又称为低层特征,层次二和层次三又称为高层特征或语义特征。目前基于内容查询的技术主要集中在图象低层特征上,其特征提取方法和匹配技术已 经比较丰富和成熟。对图象语义特征的提取也在研究,但在目前还没有一种完整的基于语 义的图象内容描述方案来支持实际的检索过程,而且,图象数据库在语义特征层次上的检 索通常会有先验知识的约束,也就是需要相关领域知识库的支持”1。2颜色特征颜色是图象的一种重要视觉性质,最早在基于内容的图象检索中得到应用。颜色特征定义比较明确,抽取也相对容易,所以在图象检索中得到广泛的重视和研究,已经提出了 很多算法m。要利用颜色特征检索图象,需要确定以下两点: (1)能表达图象彩色信息的特征; (2)用以计算两个图象特征问相似度的相似测度2.1统计直方图对颜色特征的表达方法有许多种,如简单直方图法、累积直方图法、局部累积直方图 法、颜色布局法等。因为彩色图象的数据量很大,所以各种方法共同的一点都是要用较有效和紧凑的方式来表达彩色信息。其中,最基本的表达方法是简单直方图法,其它方法都 是对此方法的改进。简单直方图法是借助图象色彩灰度的统计直方图(~般简称直方图)来描述图象的颜色特征。统计直方图实际上是一个1一D的离散函数,即有H取)一号t-呱.。一l上式中k代表图象的色彩灰度取值,L是色彩灰度可取值的个数,nk是图象中具有色彩灰度值为k的象素的个数,N是图象象素的总数。~个示例如图5,其中有8个直方条(bin), 对应图象中8种灰度象素数在总象素数中的比例。O.3 0.20 10图5直方图示例 对彩色图象,可对三个分量(如RGB颜色模型的R、G、B分量)分别做直方图。 2.2简单宜方图匹配方法(1)直方图相交法令H。(k)和H。(k)分别为查询图象Q和数据库图象D的特征统计直方图,则两图象 之间的匹配值P(Q,D)可借助直方图相交来计算”’,即(2)直方图匹配法 窿方图问的距离可使用一般的欧氏距离函数M;(Q,D)来衡量:』,ME(Q,D)-J毫慨o)一胁o)】2也可以使用加权距离函数Ml(Q,D)来衡量肘w(Q,D)一其中i‘。’z∑1’。n1。I’, V’ /。 [。H 。 。Q 。‘(。 i‘) 。 -。 。 ‘H。’ D。 ’( 。i 。) ―]f心(i)当心(i),HD(i)>0。i1当H。(i)或}1q(i)=o(3)距离法为了减少计算量,可借助直方图的均值来粗略地表达颜色信息。如图象用R、G、B这 三个分量表示时,用于匹配的特征向量是由R、G、B这三个分量的均值组成的,即有:,一凶肛p】r此时查询图象Q和数据库图象D之间的匹配值为P(Q,D)。托两亍.压石网(4)中心矩法对直方图来说,均值是其零阶矩,更高阶的矩也可用于匹配。对一幅灰度级数为L的图象,其直方图为H(i),则该图象的前三阶中心矩分别为:M。.三专日“)L角“叫珈mMtf~瞄㈨州】% 对彩色图象,设用M,.。,M。。,M,。分别表示查询图象Q的三个分量R、G、B的卣方图的i(i<=3)阶中心矩,用M。。,M..。,M,.。分别表示数据库图象D的三个分量R、G、B的直方图的i(i<:3)阶中心矩,则它们之间的匹配值为:『211e(o,D)一J阢蒿㈨,鲫一膳?m)+耽荟∽?∞-Mi,Da)32+耽荟(胍-∞一M,m)2其中W。.Wc,W。分别为R、G、B三个分量的加权系数。 (5)参考颜色表法 距离法太粗糙,直方图相交法计算量太大,一种折衷的方法是将图象颜色用一组参考色表示,这组参考色应能覆盖视觉上可感受到的各种颜色。1。参考色的数量要比原图少,这样可算得简化得直方图,所以匹配的特征向量是其中r。是第i种颜色出现的频率,N是参考颜色表的尺寸。此时加权后的查询图象Q和数据库图象D之间的匹配值为P(Q’D)一∥瓜可一压石哥其中w产{P。差≥:三昙≥::2.3颜色特征的特点颜色特征是一种全局特征,描述了图象或图象区域所对应景物的表面性质,其优点是不受图象旋转和平移变换的影响,将直方图进行归一化后还可以不受图象尺寸变化的影响。以直方图作为颜色特征,仅仅表示了图象中各种颜色的统计分布.没有包含任何颜色 的空间布局信息,因此,颜色分布明显不同的两幅图象可以提取判完全相同的颜色直方图,在进行检索时势必造成误检。如图6所示的3种图象就可以产生相同的颜色直方图。 垦圈---i'q-r■―――――――■―――――――喇―――●――――■_liI―■L, ’【V■L_丫 1―■L■――――■――■■■‘●啊■■――――_lI}rE3●■■■U图6颜色组成相同但空间布局不同的图象为了考虑图象的颜色布局情况,通常的改进方法是将图象分成多个子区域,分别计算 每个区域的直方图。但是,这种方法也带来了两个问题: (1)子区域分得越多。空间信息就越丰富,对全面描述颜色信息会比较有利。但子区域 分得越多,用来存储图象所有区域颜色直方图所耗费的空间也越大,同时计算量也会增加非常多。(2)确定子区域的划分个数也是一个需要解决的问题,经常会因为涉及到各种因素而不易自动确定。3纹理特征纹理可认为是灰度在空间以一定的形式变化而产生的图案,是真实图象区域固有的特 征之一。通常被看作图象的某种局部性质,或是对局部区域中象素之间关系的一种度量。 另外?纹理特征也可用来对图象中的空间信息进行一定程度的度量描述。根据纹理的空间性质和频域性质,对图象纹理特征的提取和描述方法一般分为统计法纹理描述和频谱法纹理描述。3.1统计法纹理描述 最基本和常用的基于图象空间性质的纹理描述方法有以下几种:(1)灰度直方图的矩最简单的统计法借助于灰度直方图的矩来描述纹理。把直方匿的包络奄作一条蓝线,则可把它表示成1个l―D函数f(r),这里r是个任意变量,取遍曲线上所有点。对这条曲线可通过用矩来定量地描述。如用m表示f(r)的均值,即m罱r。Y龠矿 L:,、l,则f(r)对均值的n阶矩为 工^胁(r)2黔一肌),(,r)基于U:(也叫方差),可定义灰度对比度的量度,表达了曲线相对于均值的分布情况,描述了直方图的相对平滑程度,进一步是描述了图象中灰度的分散程度。 基于U,,可定义偏度,表达了曲线相对于均值的对称性.描述了直方图的偏斜度,即直方图分布对称与否的情况,进一步是描述了图象中纹理灰度起伏分布。基于u.,可定义峰度,表示了直方图的相对平坦性,即直方图分布聚集于均值附近还是接近两端的情况,进一步是描述了图象中纹理灰度的反差。 但是,这些矩不能反映出纹理在图象空间的绝对位置。 (2)基于共生矩阵的描述符仅借助灰度童方图的矩来描述纹理没能利用象曩相对位置的空间信息。为利用这些信息,可建立区域灰度共生矩阵,即表示图象灰度级空间相关的矩阵,来表示图象中相距(△X,Ay)的琵个灰度象索同时出现的联合频率分布Ilo】。它不仅反映灰度的分布特性,也反 映具有同样灰度或接近灰度的象素之间的位置分布特性,是有关图象灰度变化的二阶统计特征。若将图象的灰度级定为L级,那么共生矩阵为LXL矩阵,可表示为M。.。(h,k), 其中位于(h,k)的元素m。、的值表示一个灰度为h而另一个灰度为k的两个相距为(△ x,△y)的象素对出现的次数。 设S为目标区域R中具有特定空间联系的象素对的集合,则共生矩阵P可定义为‰92)-也趔业崆魄芈韭划上式等号右边的分子是具有某种空间关系、灰度值分别为gl和92的象素对的个数,分母为象素对的总和个数(#代表数量)。 如下图所示,定义位置算子: 假设给定如下的仅具有3个荻度级的图象区域,分别记数符合上述位罱算子的象索空 问组合的数目形成频度矩阵,再将其归一化,即除以符合位覆关系的总数就褥到共生矩阵。O OO O O O O l1 l l01 101 12 2 20 1222共生矩阵的阶数与图象的灰度级别数相等。_r1001O6 O 014 4211O312 O 5 l03 3Ol7 O 0O2O20位置算子a蚶6。t的共生矩阵:去[6 i习du的共生矩阵去匿i;】利用共生矩阵,我们可以计算出4个特征量来表示纹理特征 ①反差coⅣ4;;(^一七)2肌对于粗纹理,由于垅“的数值较集中于主对角线附近,此时(h―k)的值较小,相应的CON值也较小.反之,细纹理对应的CON值较大。②能量ASM。F F(m。)2幸中、’这是一种对图象灰度分布均匀性的度量。当,,l“的数值分布较集中于主对角线附近时,相应的ASM值较大;反之。ASM值较小。③熵 ENT―一孓罗优“logmht oo当灰度共生矩阵中各mm的数值相差不大且较分散时,ENT值较大;反之,若聊。的数值较集中时,ENT值较小。 ④相关相关量是用来描述矩阵中行或列元素之间相似程度的,是灰度线性关系的度量。cm去障;一删“一叫其中:肚,胁和伍,毋分别为Ⅲ。,胁的均值和标准差,是胁一Vm¨矩阵M中每 乍行元素之和;是朋,一ym“矩阵M中每列元素之和。掣(3)Tamura纹理特征 基于人类对纹理的视觉感知的心理学研究,Tamura等人提出了纹理特征的表达““。 Tamura纹理特征的六个分量对应于心理学角度上纹理特征的六个属性,分别是对比度 (contrast)、粗细度(coarseness)、方向度(directionality)、线像度(1inelikeness)、规整度(regularity)、粗略度(roughness)。其中对比度、粗细度、方向度对于图象 检索尤其重要,利用这3个量可组合成一个3--D空间,在这个3--D空间中,两点间的欧式距离与人对纹理感知的差距相当接近。对比度依赖于象素的灰度分布,它可测量图象中局部的灰度变化,也常用作对图象整 体感知的一种描述。~般来说,图象的对比度与图象灰度的动态范围及图象中边缘的尖锐 程度都有关。其具体的计算公式如下:CD阼 圩乜盯_商其中盯是图象灰度的标准方差,p4是图象灰度的4阶中心矩。粗细度也称为粗糙度,它测量纹理的间隔尺寸/粒度,与图象的分辩率有关,分辨率大则纹理比较粗,即组成纹理的元素尺寸比较大。其具体的计算公式如下:c…e一娜I去摹z‘f(i,其中窗口尺寸剧删,k能使x和Y方向的;,仁必t最大化,k的取值在。到j 之间。方向度是~个全局的纹理特征,它描述纹理是如何沿某些方向散布或集中的。方向度的计算需要首先计算每个象素处的梯度向量,该向量的模和方向分别定义为I△GJl 0AnI+IArI)/20一tan‘1(AviAn)+,Tr/2其中An和Ar分别是使用下列两个3量。一1一1 ―1 00I l l X3操作符计算得到的水平和垂直方向上的变化i 0i000I一1一l―I当所有象紊的梯度向量都被计算出来后,一个直方图H0被构造出来表达8值。该直方图首先对口的值域范围进行离散化,然后统计了每个bin中相应的l△Gl大于给定阈值的象素数量a对于有明显方向性的图象直方图会出现峰值,对于无明显方向性的图象会表现 比较平坦-最后,11:1象总体的方向性可以通过下列公式计算直方图中峰值的尖锐程度获得。^”n善嚣呻m2该峰值所包含的所有bin,而姊是具有最高值的bin。p)其中P代表直方图中的峰值,n。代表直方图中所有的峰值。对于某个峰值p,%代表3.2频谱法纹理描述在频谱法纹理描述方法中,目前基于小波变换的纹理描述是一种比较飙型和广泛应用 的方法…1。小波变换是指将信号分解为一系列的基本函数毕“0)。这些基本函数都是通过对母函 数的变形得到的。如下所示:舻“(工)?2--/zlf,《2’4z一“)其中m,n是整数。这样,信号,(z)就被表示为厂o)一∑‰灿o) 小波是具有振荡性并迅速衰减的波,小波变换具有时间一频率都局部化的特点。小波 变换提供了~种将任何能量有限信号分解成一系列对数带宽相同的频道的方法,利用小波变换系数可以表达纹理的频率特性。为进行纹理分析,常用的有两种结构的小波变换:金字塔结构的小波变换(PWT)和树结构的小波变换(TWT)。匿7给出两种结构对小波变换域分解的一个对比示意图(L表示低频,H表示高频),其中图7(a)表示金字塔结构的迭 代分解情况,图7(b)表示树结构的迭代分解情况。在金字塔结构分解中,仅递归分解 LL通道(低频部分)以生成下一尺度的各频带输出,而不分解其它通道。由于纹理含有相 当多的中频分量,所以树结构的分解中,还常将乙H通道和HL通道(中频部分)递归分解。。。。。。。。Jl。一 %_¨【∥¨HII I%¨¨%…%l¨鹇…M。咿…¨I I%…tb)∥l…I图7两种结构小波分解的对比示意图 利用小波变换可将图象分解为一系列频道。这样,对图象的一个小波变换特征描述符 可用在各个分解层次上的各个频道中的能量分布的均值和方差来构成。这个特征也对应在不同分辨率上沿水平、垂直和对角线方向边缘的分布。以图6所示三级小波分解为例,采用金字塔缩构分解得到的特征向量将是一个20―D的向量,丽采用树结构分解得到的特征向量是一个80―D的向量。 3.3纹理特征的特点纹理特征常具有旋转不变性,并且对于噪声有较强的抵抗能力。在检索具有粳细、疏 密等方面较大差别的纹理图象时,利用纹理特征是一种有效的方法。但是,纹理特征也有其缺点:(1)当图象的分辨率变化的时候,所计算出来的纹理可能会出现较大偏差。(2)由于可能受到光照、反射情况的影响,从2--D图象中反映出来的纹理不一定是3一D物体表面真实的纹理,用于检索时可能产生“误导”。(3)图象纹理之间的粗细、疏密等分辨信息差别不大时,检索效果通常不是很理想。 4国际标准MPEG--7 为了规范对多媒体信息的内容描述,建立对不同多媒体信息的标准描述(包括指定一组描述符和描述方案),并且这些描述要与信息内容相关以便能用来快速和有效地查询和访问各种多媒体信息,国际标准化组织ISO/IEC下的MPEG委员会制订了新的国际标准MPEG 一7,正式名称是多媒体内容描述界面/接口(mult[media(1踟contentdescr[ption interface)目前MPEG一7标准由以下7个部分组成:m系统,包括标准结构体系,指定为有效传输和存储肝EG一7描述符以及协谲内容和描述所需的工具,以及与管理和保护知识产权相关的工具。 (2)描述定义语言,指定定义新描述方案和新描述符的语言,(3)视频部分,指定视觉信息的描述符和描述方案。(4)音频部分,指定听觉信息的描述符和描述方案。(5)多媒体描述方案,指定一般性的多媒体的描述符和描述方案。 (6)参考软件,包括与特MPEG一7工具对应的软件。(7)一致性检验,用于定义测试MPEG一7描述和终端~致性的说明和过程。其中前5部分代表}^PEG一7标准的核心技术,而后2部分主要起支持作用。 在MPEG一7标准的视频部分中一共考虑了5类基本的视觉特征,因而也有5类相应的 基本描述符:颜色描述符,纹理描述符。形状描述符,运动描述符和位置描述符。其中关于颜色特征和纹理特征的各种描述符可见表l所示。类别 颜色名称功能颜色空间定义YPEG--?颜色描述符的颜色空间,包括RGB、HSV、咖dD、YCbCr、单色、对应RGB的线性变换矩阵颜色量化 主颜色 可伸缩颜色定义对颜色空闻的均匀量化(器和主颜色等配合使用)对任意形状的区域指定一组主要颜色定义HSV空间的颜色直方图(用HAAR变换编码),它的 二进制表达在bin的数量和bit表达精度上都是可伸缩的颜色布局指定颜色的空间分布(帮助提高检索和浏览的速度),它 既可以用于整幅酗象也可以用于一辐图象的一部分颜色结构既描述颜色内容本身也借助结构元素描述颜色内容的结构帧组/图组颜拍利用可扩展颜色定义用来表达一组图象/视频帧的结构纹理同质纹理纹理浏览 边缘宜方图表达根据频率分布获得的能量和能量偏移 表达纹理的感知特点,如规则性、方向性、粗糙性等对5种子图象中边缘的空间分布的统计表1MPEG~7标准中部分描述祷一览本系统中将用到其中的颜色布局描述符和边缘直方图描述符,具体方法将在后面介.16. 绍。5综合特征基于一种特征的方法只能表达图象的部分属性,对图象内容的描述具有片面性。在图 象有较大变化(如尺寸或方向)的情况下常常不能获得理想的检索效果。为此人们研究了 综合利用颜色、纹理、形状和空间关系等特征,全面描述图象内容的检索方法,称之为综 合特征检索。 在实际应用中,综合利用颜色、纹理、形状和空间等不同特征进行检索主要有两大优点:(1)可以达到不同特征的优势互补的效果。例如:在颜色特征的基础上加上纹理特征既 可弥补颜色特征缺乏空间分布信息的不足又能保留颜色特征计算简便的优点。 (2)可以提高检索的灵活性和系统的性能,满足实际应用的需要。例如:将形状特征与 纹理特征结合可用于X光片图象中具有特定纹理的区域的检测,以帮助发现可能的组织痫 变区域。四1新闻图片库中检索方式的改进设想改进方法对上述功能缺陷进行分析,我们可以发现造成这些问题的原因主要是由于实现这三个功能都需要进行新闻图片的相似性判断。图片相似性的判断标准实际上要结合一些人对图 片的视觉感知信息,如照片构图、照片环境、照片色彩等,但现有新闻图片数据库系统提 供的检索方式只利用到文字信息,需要的视觉感知特征常常难以用文字描述;同时,文字 描述只是反映了注解者的观点,可能与查询使用者并不一致,因此对图片相似性判断过程 还是由人工进行,就造成了上述的种种功能缺陷。 要解决和完善上述的功能缺陷,克服人的主观因素在检索过程中造成的各种误差,更加客观的、自动化的在新闻图片数据库中搜索出所要求的相似图片结果集,可以在系统中 采用基于内容的图象综合特征检索技术,充分利用图片的视觉信息来自动完成图片的相似性判定。在离线状态,不仅注解员可通过一定的方法对新闻图片内容进行注解,而且系统也自动地对新闻图片进行分析并提取各种特征,从而提供出在线应用时所需的索引。查询者不仅可以借助文字进行查询,也可以借助视觉浏览和图片范例查询方法利用搜索引擎进 入索引进行检索,返回的结果可以用可视化的手段显示给用户。整个流程如图8所示…1。 图8新的图片数据库系统的工作框图2照片相似性定义要判断两幅新闻图片是否相同或相似,主要是判定两幅新闻图片场景的整体描述是否相同或相似,包括新闻主体、背景、构图三个因素。(1)新闻主体: 新闻主体是指摄影者所关注的被摄影对象。新闻摄影关注的是一切具有新闻价值的事 件,摄影对象十分广泛,包括人物、建筑、物品、风光等多种类型。显然,只有新闻主体 相同的新闻照片才可能成为相似的图片。(2)背景:背景是指新闻主体在被拍摄的瞬间所处的环境。新闻主体在同一背景中可能被拍摄了 多幅照片,就极容易产生相似图片。显然,同一新闻主体在不相似背景下拍摄的照片肯定 不会被看作相似的照片。(3)构图:相似的新闻图片除了新闻主体应该相同,画面背景应该相似以外,整个画面的构图也 应该是相似的,也就是说,新闻主体在画面所处的位置应该是相似的,在画面中所占的比 例也应该是相似的。3如何选择特征层次虽然大多数使用者的理想查询方式都是基于高层特征的,但是提取高层特征常常需要 借助相关的领域知识,如要提取图片中的汽车对象并加以识别,就需要各类汽车的相关数 据模型。因此,目前的一些基于高层特征的图象检索系统常常是针对于某个专门领域的应 用,例如计算机辅助人面像推断和检索系统(computer--aidedand retrievalfacial imagei nferencesystem,CAFIIR)就是一种用于辨认罪犯的数据库管理系统。由于新闻摄影的对象十分丰富,目前要采用基于高层特征的检索方法有相对大的难度,同时,有不少图象检索系统在对图象内容进行描述时直接采用传统的低层图象特征,如颜色、纹理、形状等,也取得了一定的效果。 在低层特征中,颜色和纹理是最有表现能力的两种特征.它们被广泛的研究,并得到了许多高效的描述符。本系统采用颜色和纹理这两种低层图象特征作为图象内容的描述, 选择颜色特征描述符和纹理特征描述荷时,作直B下的考虑:(i)陶际标准MPE(;一7中建议的颜色布局描述符cf.D结合了图象的颜色和空间分布信息,更重要的是它能用比较少的特征维数表达图象的颜色特征。考虑到本系统将图象分割 成四个区域分别提取颜色特征,特征维数会相应的大幅增长,决定使用CLD作为本系统的 颜色特征描述符。 (2)为了弥补CLD的不足,本系统还采用颜色全局直方图作为颜色特征的补充手段。同样考虑到特征维数问题,考虑采用HIS颜色模型下H分量的64维直方图。(3)国际标准MPEG一7中推荐了边缘直方图描述符EHD,它有如下几个特点: ①对图象的伸缩不敏感; ②人对图象的边缘是敏感的; ③适合于描述非均匀纹理图象;考虑到图象中的边缘多对应目标的边界或轮廓,边缘直方图描述符在一定程度上还反映了图象中目标的形状信息,因此能更为丰富地表现图象的内容特征。同时考虑到新闻照片被摄影对象十分丰富,各种纹理都可能出现的特点,认为使用边缘直方图描述符来表达 图象纹理特征是比较合适的。(4)上述3种特征向量的相似度计算方法均可以采用欧式距离法,能够减少综合检索前 的特征归一化计算量,提高系统的运行效率。五新闻图片数据库中的综合特征检索的实现在基于低层特征的图象检索系统中提供给用户的最常用查询手段包括利用范例图象“”和利用绘制图象“”。在新闻图片库中进行相似照片的检索时,通常会参照一幅明确的照片。因此本系统的查询手段适合于采用范例图象。1新闻图片的区域分割在利用图象的颜色、纹理等低层特征时,为了表现图象的空闻信息,常常将图象进行 区域分割,对各个子区域分别进行低层特征的提取;同时,进行新闻图片的相似性判定时新闻主体所在的区域常常更能表达整个图象的内容,在整个图象中占有更加重要的地位,因此,本系统将每幅新闻图片进行了区域分割并对各个区域赋予不同的权重。新闻摄影的构图遵循摄影构图的一般规律。摄影构图通常按照“黄金分割”的位置, 将图象分割为一个“井”字形,横向的两条线和竖向的两条线分别相交,形成了四个“焦点”。如图g所示。摄影者进行摄影构图时通常会将被摄影对象放在“焦点”位嚣上,因 此图象的中间区域就构成了图象的代表性区域“”。 图9“井”字形分割由于新闻摄影的“瞬间性”,摄影者为了把握到新闻事件的瞬间,有时候难以将新闻主体正好放在构图的“焦点”位置,因此,本系统将形成“焦点”的“黄金分割”位置分别移到图象的长和宽的0.2位置,将图象分割成图lO所示的4个区域,其中4号区域相对于整个图象的重要性最高,3号区域次之,1号和2号区域重要性最小。q ●▲142图10新闻图片的区域分割在系统中四个区域的权值分别被设定为:1号和2号分别为0.1,3号为0.3;4号为0.5。2颜色特征的提取为了更加准确的表达图象的颜色特征,本系统综合使用了两种颜色特征描述符:颜色全局直方图和MPEG--7标准中推荐的颜色布局描述符Color【19】Layout Descriptor(CLD)““2.1图象格式和色彩位数转换 图象格式有多种,如JPG、TIF、G1F等;图象色彩也有8hit、16bit、24bit、32bit的差别。基于以下原因,本系统在进行颜色特征提取之前.首先将图象统一转换为8bit色彩的BMP格式图片。 (1)系统主要目的是判定两幅照片的相似性。根据照片的相似性判断标准,如果照片的新闻主体、背景和构图相似,那么色彩的不同bit位数不应该影响到对照片相似性的判断。但是同一圈象bit位数不同,提取颜色特征时会产生不同结果值,最终影响检索准确率, 因此需要将图象色彩位数统一转换到8bit。.20. (2)在程序内部是对像素进行操作所以要把图像格式转换为位图格式。 加快运算速度。(3)为了减小运算复杂度和计算量 2.1.1图象格式转换随着数码相机在报社的普及,报社收集和保存的图片主要是JPG格式,因此以JPG格 式的图片文件为例,说明向BMP文件格式的转换方法。这个函数的输出是在硬盘上创建一 个临时位图文件。 具体算法是: (1)首先读取硬盘上Jm3文件并将其转为内存文件:HANDLE hFile=CreateFile(1pszJpgFile,GENERIC_READ,0,NULL,OPEN―EXISTING,0,NULL):(2)得到文件大小并在全局内存中为其分配足够空间。DWORDdwFileSize=GetFileSize(hFile.NULL):LPVOID pvData=NULL: HGLOBAL hGlobal=GlobalAl loc(GMEM_MOVEABLE,dwFi leSize):pvData=GlobalLock(hGlobal):DWORD dwBytesRead=0: BOOLbRead=ReadFile(hFile.pvData,dwFileSize,&dwBytesRead,NULL):GlobalUnlock(hGlobal): CloseHandle(hFi le):(3)在全局内存中创建流对象容纳JPG图像数据。LPSTREAl^pstm=NULL: HRESULThr=CreateStrean“3nHGlobal(hGlobM,TRUE。&pstm):(4)调用windows api的IPicture接口将流对象转为DIB位图显示在窗口中。LPPICTURE pPicture:hr=::OleLoadPicture(pstm,dwFileSize, })&pPicture): pstm->Release():FALSE,IID―IPieture,(LPv0ID(5)将转化的DIB存入HBIT姒P对象中HDChdc=::CreateCompatibleDC(NULL)://::GetOC(m_hWnd):HDC hdcOld: HBITMAP hBitmap: HBITMAP hOldB t tmap:pPicture一>SelectPicture(hdc.&hdcOld,(OLE_HANDLE*)&hOIdBitmap).2t. pPicture一>get―Handle((OLE―HANDLE*)&hBi tmap):(6)调用CreateBitmaplnfoStruct函数构造bmp文件信息头PBITMAPINFO pbi=CreateBitmapInfoStruct(hBitmap):(7)在硬盘上创建BMP文件CreateBMPFile(1pszBmpFile,pbi,hBitmap,hdc):(8)删除内存中冗余信息pPicture一>SelectPicture(hdcOld,NULL,NULL): ::SelectObject(hde.hOldBitmap): ::DeleteDC(hde):2.1.2色彩位数转换我们以24位真彩色图像转为8位图像为例。由于真彩色转8位图像的算法已经有人进行优化,我们通过调用动态链接库借用了这个优化算法咖1。以下是算法的详细介绍 (1)加载位图文件BITMAPFILEHEADER bf: BITMAPINFO*binfoin。{binfoout:(mOJ建两个信息头,打开24位位图文件并将其读入内存CFile file:if(!file.Open(str,CFile::modeRead,NULL))return:binfoin=(BIT姒PINFO幻malloc(sizeof(BITMAPINFOHEADER)+256*sizeof(RGBQUAD)+10):binfoout=(BITMAPINFO})malloc(sizeof(BITMAPINFOHEADER) +256*sizeof(RGBQUAD)+lo): file.Read(&bf,sizeof(BITMAPFILEliEADER)): file.Read(binfoin,sizeof(BITMAPINFOHEADER)):(3)得到真彩色位图的格式intnline=((binfoin一>bmiHeader.biwidth}binfoin一>bmiHeader.biBitCount+31)/8)/4*4:int intnsize=nline*(binfoin一>bmiHeader.biHeight):nline8=((binfoin一>bmiHeader.biWidth*8+31)/8)/4*4 ze8=nline8*(binfoin一>bmiHeader.biHeight):int nsiUnSigned char*pdata,*pdata8:(4)为源数据开辟缓冲区.22. pdata=(unsigned char})mMloc(nsize+nlj Tie+10):(5)为目标数据开辟缓冲区pdata8=(unsigned char})malloc(nsize8+lO): file.Read(pdata,nsize): file.Close():(6)调用动态链接库函数,找到需要的函数HINSTANCE hinstLib: MYPROC ProcAdd:hinstLib=LoadLibrary(’demcolordll”):if(hinstLib I-NULL)fProcAdd=(MYPROC)GetProcAddress(hinstLib,’RGB2256HiQual ity’):i f(ProcAdd!=NULL)(7)如果找到该函数则调用此函数进行格式转化 【Prochdd(binfoin.pdata,binfoout.pdata8):FreeLibrary(hinstLib):(8)将得到的数据写入文件if(file.Open(’temp.bmp’,CFile::modeCreateICFile::modeWrite.NULL)){bf.bfOffBits=bf.bfOffBits+1024: bf.bfSize=bf.bfOffBits+nsize8:file.Write(&bf,sizeof(BIT撇PFILEHEADER)):file.Write(binfoout,sizeof(BITMAPINFOHEADER)+sizeof(RGBQUAD)*256)file.Write(pdata8,nsize8): file.Close():free(binfoin): free(binfoout):free(pdata): free(pdata8):HBITlIAPhBitmap=(HBITMAP)Loadlmage(NULL,”temp.bmp’.IMAGE_BITMAP,0,0LR_LOADFR嘣FILE}LR_CREATEDIBSECTION):.23. (9)删除内存冗余数据 if(hBitmaD:=NULL)return:bi tmap.DeleteObject0:bi tmap.Attach(hBi tmap):bitmap.Getobject(sizeof(BITMAP),&bm)bShow=true:【nvalidate0: 2.2颜色全局直方图 数码相机拍摄照片都是采用RGB颜色模型,然而面向硬设备的颜色模型与人的视觉感 知有一定距离,例如给定一个颜色,人很难判定其中的R、G、B分量,这时使用面向视觉 感知的颜色模型比较方便。本系统使用面向彩色处理时最常用的HIS模型。 (1)HIS模型 HIS模型中H表示色调,s表示饱和度,I表示密度(对应亮度或灰度)。人区分颜色就常用3种基本特性量:亮度、色调和饱和度。亮度与物体的反射率成正比,如果无彩色就只有亮度1个维量的变化。对彩色来说,颜色中掺入白色越多就越明亮,掺入黑色越多 亮度就越小。色调是与混合光谱中主要光波长相联系的。饱和度与一定色调的纯度有关, 纯光谱色是完全饱和的,随着白光的加入饱和度逐步减少。色调和饱和度合起来称为色度。 所以颜色可用亮度和色度共同表示。HIS模型有两个重要的特点。首先亮度分量与色度分量是分开的,1分量与图象的彩色信息无关。其次是H和s分量与人感受彩色的方式密切相连。这些特点使得HIS模型非 常适合基于人的视觉系统对彩色感知特性进行处理分析””。在HIS模型中,H分量对彩色 描述的能力相对来说最与人的视觉接近,区分力也比较强。在许多应用中当将彩色图象由 RGB空间转换到HIS空间进行检索时,可仅利用H分量而将检索缩d,N l―D空间,从而简 化运算,加快计算速度。1。 (2)RGB模型转换到HIS模型 对任何3个归一化[0,1]范围内的R、G、B值,其对应的HIS模型中的H、S、1分爨 可由下面的公式计算:arcco。一:坚三堡!!丝:皇!H=R,G或R,B(1)24(R―G)2+(R―BXG.B)h叫㈣。堡三呈!圭丝三皇!24(R―G)2+(R―BXG―B)肛G s=l一南G对S的计算也可用式慷++J Bmin(啪,鳓、’’’I=(R+G+B)/3S=max(R,G.B)--min(R.G,B)\自,一Io\H一2坩H―O’虹二≥刭 /鼍lH。120",/ 图lli黑,=0HIS模型的坐标系统注意由式(1)算出的H在[00,360。]之间,为使H在[0.1]之间,再令H=H/360。 进行转换。另外当S=0时,对应无色,这时H没有意义,可定义H为0。另外当I―O或 I=I时,讨论S也没有意义。 在式(1)中,对H的计算既要用的三角函数又要用到求平方根,为减少计算量可用下列公式:●如果B=min(R,G,B),则H。z尘生I =;{R+G一2B}●如果R=rain(R,G,B),则H。星二墨。三R+G一2B 3●如果G=min(R,G,B),则H。墨二g.三R+G一2口3(3)获取H分量的统计直方图 为了保证不同尺寸的图象之间具有可比性.壹方图中每个直方条(bi n)表示的是不 同H值的象素在图象总象素数中的比例。图12例图图13H分量直方图(64维粗略图)(4)相似度计算 采用欧式距离函数E(Q,D)来衡量:E值越小,相似度越高。2.3CLD描述符CLD描述了图象局部颜色的特征,和图象全局颜色特征构成互补关系。 2.3.1提取流程 图14CLD描述符提取流程如图14所示,CLD描述符的提取步骤为: (1)将图象按照前面叙述方法进行区域分割; (2)将图象从RGB空间映射到YCrCb空间.映射公式为:Y=O.299×R+0.587×G+O.114×BCb=一0.169×R一0.33l×G+0.500×B Cr=0.500x R一0.419XG一0.081×B(3)将予区域图象分为64块(每块尺寸为(W/8)×(H/8),其中w为子区域的宽度, H为子区域的高度),计算每一块中所有象素各颜色分量的平均值,并以此作为该块的代表 颜色(主颜色),这样子区域就形成三个颜色分量各自的8×8矩阵,矩阵中每个分量代表 一个颜色值。 (4)对8x8的矩阵进行OCT变换,得到OCT系数矩阵。 离散余弦变换(OCT)是一种可分离的变换,是国际静止图象压缩标准JPEG的基础““。 其基本思路是用可逆的线性变换将图象映射成l组变换系数,然后将这些系数量化和编码。 在这个过程中,可将图象中的大部分信息集中到少数系数上,这样将其它系数较粗地量化 或完成忽略掉只会产生很少的失真。因此,一般在检索中可以利用部分OCT系数作为特征 向量。 (5)对DCT系数矩阵进行之字形(ZIGZAG)扫描.并进行非均匀量化,就得到OCT系数。 (6)对Y、Cr、Cb三个分量分别从OCT系数中取出4个低频分量,共同构成该子区域的 具有12个参数的颜色布局描述符CLD(如果还要更高的精度,可以使用18个参数)。 (7)对新闻图片的l号至4号区域按照(2)~(6)的步骤。分别进行CLD系数提取,构成一 个48维的全图颜色布局描述符。如表2所示。 区Y l 0.9639 0.8866 0.8810 0.8997 2 0.8577 0.845l 1.0626 0.8822 3 0.8073 0.7994 0.9925 O.8403 4 0.8043 0.7499 0.9456 0.7789 l 0.9108 0.9105 0.9049 0 9158 2Cr 3 0 3188 0 3195 0 3141 0 3078 4 0.6049 0.604l 0.6000 0 6074 I 0 9017 0 9023 0,9076 0 8958 2 0.6633 0.6640 0.664l 0.6638Cb 3 0.3201 0.3192 0.319J 0.3318 ?l 0.598I 0 5990 0 6029 0.5948域l 2 3 40.6639 0.6634 0.663l 0.663l表2全图CLD系数(低频)2.3.2相似度计算也咖厣而+厣雨j可+厣丽j可其中,各w为权重,Yi,Cr i,Cbi分别为各分量的第i个CLD系数。国际标准MPEG一7中建议的颜色布局描述符在匹配时使用欧式距离公式‰1:结合本系统的图象区域分割,实际运用的相似度计算公式,即欧式距离公式为e(o,D)-W?P,(Q,D)+-矿:P:(Q,D)+W,P3(Q,D)+W?P。(Q,D)其中,w。w:,w3,眠分别为1’4号区域的权值,且Ⅳ。+w:+帆+w‘=1:P。(Q,D),R(Q D),Pa(Q,D),P。(Q,D)分别为l~4号区域的相似度计算值。3纹理特征的提取 边缘直方图描述符表达了5种类型的边缘子图象,这5种边缘子图象分别对应0。,45。,90。,135。边缘和无方向边缘,因此也可称为边缘类型直方图。 3.1转换灰度图 在进行纹理特征提取前,通常将图象转换为灰度图。本系统是将前面产生的8bit的 BMP图象转换为灰度图使用。每个象紊的灰度值可以根据RGB颜色分量按下列公式计算得到:Gray=0.299×R+0.587XG+0.114XB3.2生成边缘囊方图 (1)将图象按前述方法进行区域分割,为了减少向量的维数,将1,2,3号区域合并进 行边缘提取。 (2)将子区域划分为4×4共16个子图象,每个子图象又分解成一系列图象块,每个图 象块包含4个子块,参见图15。海\、:|, 一}一斗“,~{一i。.1…:.一!】j~子阿象滞\削象块、阿象子嘲象4个子块图15图象的分解 (3)对每个子图象分别用图16表示的MPEG一7建议的5种边缘检测算子(依次分别检测0。,45。,90。,135。边缘和无方向边缘)检测是否有5种对应边缘类型。田圈口圈圈d)l∞图165种边缘检测算予检测算法是:将予图象分割成固定数量的小块,在每个小块上进行2 x 2宏块的方向 检测。给定2X2的宏块B和阈值T,分别使用5种算子,对宏块的相应位置进行乘加运算, 得到5个方向上的显著值0..0:,0,,0。,05,若满足max(0I,0:,吼,0‘,05)>T则判定方向为I----arg(max(0。)),i=1,2,3,4,5 (4)分别统计备子图象的边缘直方图,该直方图包括5个直方条(bin);同样,为了归 一化I到[O,1]之间,每个直方条表示的也是该方向的数量在予图象的方向总数量的比例。 (5)分别将2个区域各自的16个子图象的直方条综合起来,就得到2个各自包括80个 图17例图山删,il则‰扎11.1IIb心lIJ№也㈧【。 ¨沮。 。l|.|l帆lmi。I图18边缘直方图 3.3相似度计算 设两幅图象Q和D,进行边缘直方图统计后分别得到长度为80维的直方图数组 Qm[80],Q.[80]t D-”[80],D-[80]。图象分割成的2个区域的权值分别为W。w。(w。H- w{-1),则相似度计算公式为:£妇,D)。厣砾瓣+厣雨丽面综合特征的相似性计算:4仅基于一种特征的方法只能表达图象的部分属性,由于对图象内容的描述比较片面, 缺少足够的区分信息,在图象有较大变换(如尺寸或方向)的场合常不髓取得理想的检索 效果,为此人们研究了综合利用颜色、纹理、形状和空间关系等特征,全面描述图象内容 的检索方法,称之为综合特征检索。 本系统对新闻照片提取了三种特征描述: (1)颜色直方图:描述了图象的整体色彩的性质。 (2)颜色布局描述符:实际上是结合了颜色特征的特点和空间关系的特点。一30. (3)边缘直方图:利用纹理特征弥补了颜色特征缺乏空问分布信息的不足,而且,考虑 到图象中的边缘多对应目标的边界或轮廓,边缘直方图描述符在一定程度上还反映了图象 中目标的形状信息。 由此可见,这三种特征描述符达到了不同特征优势瓦补的效果,而且,三种特征在提 取过程中都归一化到[0,1]区闻,可以综合在…起进行图象检索。 没颜色特征权重为wc,纹理特征权重为凯,且wc+wt=l。同时,设颜色直方图描述 符的权重为Wch,颜色布局描述符的权重为wcl,且wch+wcl=l。如果两幅图象0和D的 颜色直方图、CLD、EHD相似度计算结果分别为E。。(Q.D)、E。,(Q,D)、E。(0,D), 那么,其综合特征的相似度计算公式为:E(Q,D)=WeX(Wch×E。。(Q,D)+Wcl×E。。(0,D))+Wt×E。(Q,D)六实验结果实验中我们从现有的新闻图片数据库中选取了lOOO幅新闻图片作为本系统的检索图 象数据库。所有的图象都保留了在新闻图片数据库中建立的文字关键词索引,同时进行了 颜色和纹理特征的提取,并将特征值保存到本系统的特征数据库中。1查询界面 我们从本系统的图象库中选取了一幅照片作为查询例图并计算其特征值,希望检索到与其相似的一组照片,并按照相似度由大到小的顺序排列后显示前10幅图片。图19―31. 为了对使用三种图象特征进行检索的效果进行比较,我们进行了单一特征和综合特征 的检索实验,分别为:颜色全局直方图检索、颜色布局描述符检索、两种颜色特征综合检 索、边缘直方图描述符检索、三种特征综合检索。图202颜色特征检索2.1颜色全局直方图检索结果如图2l。可以发现在10幅结果图片中没有出现相关照片。这是由于颜色全局直方图算法过于 简单,不能反映颜色位置信息,两幅根本不同的图像可能具有完全一样的颜色直方圈,导 致查准率和查全率都不高。本系统考虑到采用图像平均分割,对各子块分别提取全局直方 图的改进办法会造成特征维数太高,计算量大,严重影响到系统运行速度。因此,只将颜 色全局直方图作为CLD的辅助和补充手段,特征维数只选择了64维。 图212.2颜色布局描述符(CLD)图 22如图22所示,单一使用CLD特征检索, 前10幅照片中只出现了3幅撮相近的照片 其它照片均差别较大。 2.3两种颜色的综合特征图23如图23所示,与前两种使用单一颜色特征相比.检索结果有了一定的进步,lO幅照片中出现了6幅相近和相似的照片。但是,一幅不相关照片排到了序列第5的位置,仍不 太理想。3纹理特征检索 只使用单一纹理特征进行检索,得到结果如图24。 由于纹理特征只使用了图象的灰度图.在10幅结果图片集中出现了多幅颜色差异较大的无关照片。 图244综合特征检索 使用综合特征进行检索,褥到结果如图25。 lO幅照片中出现了6幅相近或相似的照片,而且按顺序连续出现在最前面,检索效果 比较理想。图25-35. 5过滤非同一新闻主体的照片 注意到综合特征检索到的新闻照片集中出现了非同一新闻主体的照片,这部分照片出现在序列中一方谣对查询者毫无意义,另一方面占用了结果序列的位置.影响到结果的准 确率和查全率。 为了解决这个问题,我们可以结合文字关键词检索的方法。每个人对一幅新闻照片的 理解可能有所差别,但是对照片中的新闻主体的认定通常是一致的,不会产生太大的分歧。 注解员将一幅新闻照片入库之前都要进行文字的标引,其中关键词项目中通常会表示出该 照片所关注的对象是谁,也就是包含了新闻主体的内容。 因此.在进行综合特征检索时,可以输入新闻主体关键词,对库中的照片进行过滤, 最终检索到的照片就全部是与该新闻主体相关的,这样的结果集对于查询人员来说更加有 效。另~方面.如果将新闻主体关键词检索过程放在综合特征检索之前进行,在进行综合 特征检索之前缩小检索范围,将极大地提高系统检索的效率。 系统中我们输入了“俞正声”这个新闻主体关键词后再进行检索,结果如图26所示, 结果全部是与俞正声书记在湖北日报报业集团考察相关的照片,并依照相似程度顺序排列。图26从实验中,我们看到综合利用多种基于图象内容的特征,并结合一定的文字检索手段, 可以比较好的解决新闻图片库目前在日常的照片处理、入库和查询中所面l临的难题,基于 图象内容的检索方法可以成为新闻图片库系统中现行的文字关键词检索方式的有效补充。 七对系统的改进思路和方法前面提到判断两幅新闻照片相似的标准是新闻主体相同.照片背景相似,以及照片构图相似。通过综合运用多种图象特征进行检索,可以较好地实现图片背景和构图的相似性 判定问题。但是,由于图象低层特征无法描述出图象中的新闻主体,在检索结果集中出现了图象低层特征相似但新闻主体不一致的照片。例如,对某一会议作新闻报道时新闻主体通常是人物,会产生一些不同人物在相似背景下的新闻照片,这样的照片可能出现在同一查询结果集中。为解决这个问题,前面提出了结合文字关键词检索的办法。然丽,由于文字关键词检索存在主观性因素,会带来以下的问题: l、查询者对照片中的新闻主体没有认识或者不清楚,无法确定文字关键词的内容; 2、查询者对照片中的新闻主体有认识,但是输入的文字关键词与照片入库时注释者的标引不一致。这就造成无法客观地获取例图的一个具有相同新闻主体的相似结果集。 在基于内容的图象检索中,通常会采用相关反馈方法来渐进地适应用户需求和提高检索精度m1。一般的过程是用户根据先前检索结果通过人机交互给检索系统提供更多更直接的信息,人工或自动地调整不同查询特征的权重来使查询向用户需求的方向前进。 考虑到,在新闻图片库中使用基于内容的图象检索技术的目的是为了提供文字检索所 不具备的客观地进行相似图片查询的能力,而且,每幅新闻照片在入库前都完成了细致的 文字标引。因此,我们可以采用相关反馈的方法,但不是调整特征的权值,而是通过用户 对先前检索结果中新闻主体的一致性判定(这种判定是容易而且客观的),得到相关照片和无关照片的新闻主体文字关键词,对图片库进行过滤后再获取新的结果集。这样,通过 客观地获取注解人员标引的新闻主体文字关键词内容,就避免了上述的两个问题,。 具体的设想是: l、用户在照片结果集中选择相关照片或无关照片,并在选择的照片下显示新闻主体 的文字关键词供用户调整相关或无关照片的选择。 2、如果选择了相关照片,取这些相关照片的新闻主体文字关键词的交集,对图片库 进行过滤,选择新闻主体文字关键词属于该交集的图片。3、如果只选择了无关照片,取这些无关照片的新闻主体文字关键词的并集,对图片 库进行过滤,排除新闻主体文字关键词属于该并集的图片。八结束语从数字图象检索技术的发展来看,特征的提取始终是一个重要的研究内容。由于提取图象的高层语义特征没有得到很好的解决,目前绝大多数的图象检索系统仍然停留在利用图象低层特征检索的层次上,要开发出理想的图象检索系统还要经过很长的_段路。 对于新闻图片库这类具有专业用途的专用图象库,使用图象低层特征检索技术同样可 以取得很好的效果。我们采用图象颜色特征和纹理特征相结合的综合特征检索技术,在新 闻图片库中实现了不需要人工干预的检索方法,解决了“图片入库奄重”和“相似新闻图 片搜寻”等实际操作效率低下的难题,成为文字关键词检索方式的有效补充。 实际应用中,系统自动识别照片中的新闻主体将是更加理想的一种状况,检索效果会 更加明显。这涉及到对新闻图象提取相关的语义特征,将成为系统发展和技术研究的方向。 参考文献 (1]章毓晋.基于内容的视觉信息检索,2003.5,北京:科学出版社,A D.Identi fying faces using multiple retrievalS.1994.[2]Wu J K,NarasemhalutEEE,Multimedia,l(2):27―38.[3]Niblack W,et a1.Updates andtO etthe QBIC system.1998.SPIE,3312:150―161. a1.The QBIC project:Query images by content[4]w.Niblack,R.Barberusing colon texture and shape.1994.2.In Proc.SPIE Storage and RetrievalforImage and V i deo Database.image[5]Jomni S.Yetongnon K.Individualizedbrowsingandretrievalusingmultiple descriptions.2002.SPIE,4672:55―63.[6]王惠锋,孙正兴.基于内容的图象检索中的语义处理方法.2001.中国图象图形学报.6A(10):945-952. [7]胡晓峰刘毅.基于内容检索的颜色特征匹配方法.1996.12小型微型计算机系统,of Computer[8]Swain M J,Ballard D H.Color indexing.1991.InternationalJournalVision,7(1):11-32.[9]MehtreB M,et a1.Coior matching for image retrieval.1995.Pattern RecognitionLetters,16:325―331.[10]FurhtB.et a1.Video and image processing in multimedia systems.1995.KluwerAcademi C Publ i shers,226―270.[11]TamuraH,MoriS,YamawakiT.Texturefeaturecorrespondingtovisualperception.1978.1EEE_SMC,8(6).[12]詹曙.基于小波变换的人脸图象特征的边缘提取算法.2000.合肥工业大学学报(自然科学版),23(6).[13]ISO/IECJTCl/SC29/WGl 1.N4031.OverviewoftheMPEG一7Standard.w、w.MPE6―7.tom[14] 章毓晋.基于内容的图象查询检索.1997c.信息系统工程,(8):35―36. [15] 刘忠伟,章毓晋.利用局部累积直方图进行彩色图象检索.1998.中国图象图形学报.3(7):533-537. [16]Zhang Y J,Liu Z W,He Y.Color―based image retrieval using SUb range cumulat i ve histogram.1998b.High TecbnolgRv Letters。4(2):71―75.[17] 美国纽约摄影学院.美国纽约摄影孽岳摄影教材.2000.3.北京:中国摄影出版社. [18] 高宇立.基于内容的图象检索实践.2002.复旦大学君政学者论文集. n9] 夏定元,周曼丽.~种基于MPEG一7的图象特征相关性检索新方法.2002.2.计算机]二 程与应用..39. [20j胡志国.真彩位圈转化成256彩色或黑白位图.2002.1 1.www.vckbase.∞IIl/code.[21j章毓晋.图象工程(上册)――图象处理和分析.1999.北京:清华大学出版社.(22j刘忠伟,章毓晋.十种基于颜色特征的圈象检索算法的比较和分析.2000.信号处理,16(1):79-84.【23]营加恒.多媒体技术与系统应用.1997.7.武汉:武汉大学出版社[24]Manjunath B S,Ohm J R,Vasudevan CSVT.11(6):703―715.V V.Color and texture descriptors.2001.IEEE[25]Rong Rui,Thomas S.Huang.A Novel Relevance Feedback Technique in ImageRetrieval,UIUCAC硅№itimedia99. 致谢首先,感谢我的导师陈珉教授对我的悉心指导。陈珉教授虽然工作非常的繁忙,仍然坚持亲自给予我指导,每一次的指导都让我茅塞顿开,帮助我理清了思路,认准了方向。 陈老师渊博的知识和高深的专业造诣使我在每一次的学习过程中都受益非浅,提高了我对专业知识的理解和运用技能。其次,感谢我的朋友李非一同学。在毕业设计的过程当中,他帮助我收集了大量的学 习资料,解决了一个个的编程难题,花费了他的不少时间和精力,感谢他所给予我的帮助。最后,感谢我的家人和单位的领导、同事。在这三年的学习中,他们为我分担了不少的工作和事务,使我可以全身心的投入到学习当中。对他们给予我的众多关怀和帮助,衷 心地表示感谢! 新闻图片库中基于综合特征的图象检索技术应用研究作者: 学位授予单位: 邱扬 武汉大学参考文献(27条) 1.参考文献 2.章毓晋 基于内容的视觉信息检索 2003 3.Wu J K.Narasemhalu A D Identifying faces using multiple retrievals .Niblack W Updates to the QBIC system 1998 5.W Niblack.R Barber The QBIC project:Query images by content using color texture and shape 1994 6.Jomni S.Yetongnon K Individualized image browsing and retrieval using multiple descriptions 2002 7.王惠锋.孙正兴 基于内容的图象检索中的语义处理方法[期刊论文]-中国图象图形学报A辑 .胡晓峰.刘毅 基于内容检索的颜色特征匹配方法 .Swain M J.Ballard D H Color indexing .Mehtre B M Color matching for image retrieval 1995 11.Furht B Video and image processing in multimedia systems 1995 12.Tamura H.Mori S.Yamawaki T Texture feature corresponding to visual perception .詹曙.钱钰.方芳 基于小波变换的人脸图象特征的边缘提取算法[期刊论文]-合肥工业大学学报(自然科学版) .ISO/IEC JTC1/SC29/WG11.N4031.Overview of the MPEG - 7 Standard 15.章毓晋 基于内容的图象查询检索 .刘忠伟.章毓晋 利用局部累加直方图进行彩色图象检索[期刊论文]-中国图象图形学报 .Zhang Y J.Liu Z W.He Y Color_based image retrieval using sub_range cumulative histogram .美国纽约摄影学院 美国纽约摄影学院摄影教材 2000 19.高宇立 基于内容的图象检索实践 2002 20.夏定元.周曼丽 一种基于MPEG-7的图象特征相关性检索新方法[期刊论文]-计算机工程与应用 .-3922.胡志国 真彩位图转化成256彩色或黑白位图 2002 23.章毓晋 图象工程--图象处理和分析 1999 24.刘忠伟.章毓晋 十种基于颜色特征图像检索算法的比较和分析[期刊论文]-信号处理 .曹加恒 多媒体技术与系统应用 1997 26.Manjunath B S.Ohm J R.Vasudevan V V Color and texture descriptors .Rong Rui.Thomas S Huang A Novel Relevance Feedback Technique in Image Retrieval本文链接:http://d..cn/Thesis_Y699040.aspx
新闻图片库中基于综合特征的图象检索技术应用研究―汇集和整理大量word文档,专业文献,应用文书,考试资料,教学教材,办公文档,教程攻略,文档搜索下载下载,拥有海量中文文档库,关注高价值的实用信息,我们一直在努力,争取提供更多下载资源。}

我要回帖

更多关于 图片查找 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信