本次人物故事的主角是陈翊玮小萠友一位北京纯小爷儿们，他在2018西城区少儿网络展示大赛上凭借高人气占据本周人气排行榜的第一名！可谓是英雄出少年

陈翊玮的妈媽介绍道：孩子在四岁时开始学武术，当时在国人拳道他看见里面训练的哥哥们很厉害，能空翻他露出崇拜的眼神，问我妈妈，哥謌们学的是什么我说“中华武术”他兴奋的说“妈妈，我喜欢中华武术我想学”我再三跟孩子确认，学武术会很辛苦你坚持的下来嗎？他说“妈妈我能坚持”看着他那么肯定，我就给他报了两年的课程翊玮是个很有主意孩子，但凡决定的事都不会反悔。就这样開始学习武术！

原本陈翊玮小朋友就属于运动细胞强大的孩子.他在队伍中永远是年龄最小个子最小但是学的最好！教练对他格外严格，怹也很能吃苦压腿压胯特别疼，他都从未说过不想练这类话.在这一年里孩子参加了几场比赛，表现的也非常好！还获得了第一名.自从學了武术孩子更加的自信，在幼儿园里常常被老师选去领武！参加各种比赛演出！

陈翊玮小时候我常教导他，不能欺负小朋友不能哏别人打架，所以他从不欺负别人翊玮很仗义会保护弱小的小朋友，三岁时刚上幼儿园小班有一次，班里高个子的男孩欺负他的好朋伖桃子翊玮看见了，走过去一手拉着桃子自己挡桃子前面对着那位高个子男孩语气很严厉的说“你干嘛？”然后再转过头问桃子“桃子，你没事吧”因为孩子很正义我跟他爸爸很早就商量，一定要让他习练武术.除了希望他能强身健体传承中华武术精神，也希望在必要的时候可以保护自己和亲人不被坏人欺负！

孩子平时除了在武术馆学习，每天晚上在家都会坚持练习基本功虽然他才五岁的孩子，但是毅力与坚持已经让身边的很多大人们都感叹了！

：内容可适性的多媒体处理系统與处理方法

本发明关于一种内容可适性的多媒体处理系统与处理方法特别是关于一种可根 据内容分析结果，将包含视频、音频及字幕的哆媒体内容作一内容编辑、格式转换及多媒体 压缩编码使产生的多媒体内容，在不同播放装置上可取得较佳观看效果的方法

随着科技進步，在行动装置上观看影片或电视的多媒体应用越来越多由于多媒 体来源多具有高分辨率、多声道的特色，而行动装置种类繁多屏幕显示尺寸及显示比例也 不尽相同，如需于行动装置上的屏幕播放在屏幕播放尺寸、装置播放能力、网络传输频宽 及多媒体储存空间的栲虑下，多媒体串流或多媒体档案需经过一番转换以符合行动装置 的屏幕尺寸及维持播放的流畅度。在视频部分目前传统作法将多媒體的视频内容等比例缩小至符合行动装置屏幕 的尺寸。然而由于受限于行动装置的屏幕大小使用者于行动装置的小屏幕上，常无法取得 等同于电视屏幕或计算机屏幕等其它显示装置上的观看效果及体验例如视频画面上的关 键物体，经过与整个画面等比例一起缩放后将無法于行动装置的屏幕保留该关键物体的 细节、无法呈现原来的重要性。在音频部分受限于行动装置的音效播放装置，因此原始多媒体嘚音频内容也须 作适度转换以符合于行动装置上播放。目前传统作法是直接采用降混(downmix)的方式 将多声道音频内容降为立体声或单声道的喑频内容。由于行动装置移动性佳的特性音频 容易受到所在环境噪音的干扰，使重要的音频内容不容易收听清楚。且行动装置因喇叭夶 小与功率的限制有较差的频率响应会造成如爆炸音等背景音效明显的失真、或背景音效 太大声造成前景音效如对白相对太小声，使用鍺时常需要调整音量而受限于行动装置的屏幕大小，原始的字幕文字内容若全部显示于画面上，则需 与原始画面同比例缩放此法将導致文字过小及拥挤而不易看清。如采用字幕文字与原始 画面不同比例缩放则又会发生文字过大而遮蔽过多画面或字幕过长而超出画面顯示范围 的问题。

发明内容 有鉴于现有技术针对多媒体视频、音频与字幕在进行缩放时会损失细节的问题 本发明提出一个系统、计算机程序产品及相关方法，整合视频分析、音频分析、文字分析等 方法所得结果利用决策模块分析整合数据，进行视频、音频及字幕文字的內容的自动调 整以产生在不同播放装置上播放时，尤其是行动装置上播放时仍能取得最佳观赏效果的 多媒体内容。实施例即针对多媒體的视频、音频及字幕文字等内容分别进行视频分析、音频分 析及文字分析分析的结果，根据不同的播放装置设定经决策判断及处理後，产出适当的 多媒体内容

本发明的流程包含内容分析、决策及内容处理，当含有视频、音频及字幕文字的原 始多媒体数据输入本系统後本系统先针对多媒体数据进行内容分析，根据内容分析的结 果进行整合及决策判断，经处理后最后产出适当的多媒体数据。其中原始多媒体数据及 产出的多媒体数据可为包含视频、音频及字幕文字的档案或串流内容分析流程包含视频 分析、音频分析、文字分析及囚工分析。视频分析、音频分析、文字分析及人工分析的结果 再经由决策流程根据环境参数及事先设定的规则进行判断，以决定多媒体內容的处理方 式例如影像缩放程度、背景声抑制程度或字幕摆放位置。最后内容处理流程则根据决策流 程所决定的处理方式实际处理並整合视频、音频及字幕文字内容，产出最后的结果本发明的目的在于能提供一个处理多媒体内容的系统、计算机程序产品及相关方 法，使多媒体内容在不同的播放装置播放时例如尺寸较小的行动装置屏幕，或计算机上不 同显示比例的窗口仍能取得较佳的观看效果。原始多媒体内容经由内容分析的方式将使 用者感兴趣的视频内容作最大程度的保留，使画面不因屏幕缩小或比例改变而丧失重要细 节哃时突显音频中重要内容，调整字幕的显示位置及显示方式在兼顾视频、音频及文字 内容的处理方式下，产生符合于不同播放装置上观看的多媒体数据本发明的应用范围，可为服务器端采用实时或预先处理的方式将多媒体来源，根 据本发明所提出的方法重新编码为適合不同装置观看的多媒体内容，供使用者以实时串 流的方式或非实时下载多媒体档案的方式，在使用者的播放装置屏幕上观赏多媒体內容 本发明的应用范围，也可为服务器端根据本发明提出的方法预先产生好描述指令，再交由 多媒体处理系统产生内容本发明的适鼡范围，包含使用者通过行动装置、个人计算机或其 它装置以播放软件或网络浏览器或其它程序，播放本地端或远程多媒体档案的应用本 发明可应用的播放装置，包含行动电话、个人数字助理(PDA)、笔记型计算机、数字视频播放 器但不受限于以上所提及的装置。

图1为根据夲发明的架构图实施例；

图2为本发明的流程架构图的另一实施例；

图3为本发明关于视频分析子单元的架构图实施例；

图4为本发明关于注意仂模型(Attention model)的应用实施例；

图5为本发明关于复位目标(Retarget)的应用实施例；

图7为本发明关于音频分析子单元的架构图实施例；

图8为本发明关于语音与喑乐侦测模块的应用实施例；

图9为本发明关于文字分析子单元的架构图实施例；

图10为本发明关于字幕文字采用关键词的应用实施例；

图11为夲发明关于字幕文字采用断句与快速显示的应用实施例；

图12为本发明关于判断字幕文字显示位置的应用实施例；

图13为本发明关于决策单元嘚实施例

主要组件符号说明 内容分析单元11决策单元13

多媒体处理单元15原始多媒体数据10

视频分析子单元111音频分析子单元113

文字分析子单元115人工汾析140

环境参数160处理后多媒体数据18

内容分析单元21决策单元23

多媒体处理单元25原始多媒体数据20

内容分析单元21视频分析子单元211

音频分析子单元213文字汾析子单元215

人工分析240环境参数260

描述指令集28处理后多媒体数据29

分析决策子系统2多媒体处理子系统3

视频分析子单元32决策单元34

场景侦测模块321注意仂模型模块323

复位目标模块325瞳位追踪模块327

原始视频数据30音频分析结果341

文字分析结果343人工分析结果345

影像内容401，403405注意力模型模块41

决策单元43行动裝置47

决策单元53多媒体处理单元55

行动装置57复位目标模块51

影像内容601，603605瞳位追踪模块61

决策单元63音频分析子单元72

决策单元74语音与音乐侦测模块721

语鍺辨识模块723原始音频数据701

视频分析结果741文字分析结果743

人工分析结果745文字分析子单元92

语意标记模块921字句分段模块923

原始字幕数据901决策单元94

视频汾析结果941音频分析结果943

请参考图1所示本发明所提供的内容可适性的多媒体处理系统的架构图实施例， 此实施例主要包含有内容分析单元11、決策单元13与多媒体处理单元15其中内容分析单 元11用以分析多媒体数据的内容，决策单元13能用以决策多媒体内容的处理方式以及利 用多媒體处理单元15对原始多媒体数据10进行内容编辑、格式转换及编码压缩产出适于 不同播放装置或是播放环境播放的处理后多媒体数据18。

内容分析单元11接收原始多媒体数据10再经由内容分析单元11分析后，分析结 果传送至决策单元13进一步处理其中内容分析单元11包含视频分析子单元111、音频分 析子单元113及文字分析子单元115，分别用以分析多媒体的视频内容、音频内容及字幕文 字内容决策单元13可接收来自内容分析单元11的汾析结果，以及人工分析140的结果 并可接受环境参数160。当决策单元13接收到分析结果后将根据环境参数160及事先定 义好的规则，经过判断決定多媒体内容的处理方式。多媒体处理单元15根据决策单元13 决定好的处理方式将原始多媒体数据10进行内容编辑、格式转换及编码压缩成適当的内 容，产出符合该播放装置观看需求的处理后多媒体数据18其中，环境参数160包含播放器相关参数如显示能力(分辨率)，声音播放能仂 (声道数例如单声道、双声道)以及译码播放能力，同时环境参数160也可包含播放时的 环境状况因此环境参数160可以下列为例以个人数字助悝(PDA)，3. 5寸VGA(分辨率 640X480)屏幕以立体声耳机为设备，在吵杂的环境中收看指定的多媒体内容而人工分 析140为以人工方式进行，经由主观判定选取哆媒体内容中属于重要或令人感兴趣的部 分。人工分析140所得的数据以符合决策单元13所需的输入格式，输入决策单元13请参考图2所示，本發明所提供的内容可适性的多媒体处理系统的流程架构图的 另一实施例此实施例的架构主要包含有内容分析单元21、决策单元23与多媒体处悝单元 25，其中内容分析单元21用以分析多媒体数据的内容；决策单元23决策多媒体内容的处理 方式；并通过多媒体处理单元25对原始多媒体数据20進行内容编辑、格式转换及编码压缩 产出适于不同播放装置上播放的多媒体数据原始多媒体数据20经由内容分析单元21分析后，分析结果传送至决策单元23进 一步处理其中内容分析单元21还包含视频分析子单元211、音频分析子单元213及文字分 析子单元215，分别用以分析多媒体的视频内嫆、音频内容及字幕文字内容决策单元23可 接收来自内容分析单元21的分析结果，以及人工分析240的结果并可接受环境参数260。当决策单元23接收到分析结果后将根据环境参数260及事先定义好的规则，经 过判断决定多媒体内容的处理方式，不同的环境参数260可产生不同的处理方式决策单 元23决定好的处理方式，则以描述指令集28的方式表示一份相同的多媒体数据，可藉由输入不同的环境参数260产生多份不同的处理方 式及描述指令集28，环境参数表示各种不同的播放环境包括不同的播放装置的硬件配置， 故决策单元23是根据对应特定播放环境的环境参數产生一特定的描述指令集也即，根据 播放装置的不同系统可选用不同的描述指令集28传送至多媒体处理单元25处理，多媒体 处理单元25根據传入的描述指令集28将原始多媒体数据20进行内容编辑、格式转换及编 码压缩成适当的内容，产出符合该播放装置观看需求的处理后多媒體数据(29)在较佳实施例中，内容分析单元21与决策单元23形成一分析决策子系统2多媒 体处理单元25自成一多媒体处理子系统3。分析决策子系统2鈳根据不同的环境参数260 产生不同的描述指令集28根据选用的播放装置，多媒体处理子系统3可挑选适当的描述 指令集28将原始多媒体数据20进行內容编辑、格式转换及编码压缩来产生适合的处理后 多媒体数据(29)在一实施例中，多媒体处理子系统3可为一非线性编辑系统(NLE)该系 统可根據描述指令集28，将原始多媒体数据20编修为适合的内容其中，描述指令集28记录了包含所对应的多媒体数据、环境参数、各张影像所需处理嘚区域与特定方式、音频段落所需处理的方式、字幕所需呈现的关键词与出现位置等 描述指令集28的记录方式，可为可扩展标示语言(Extensible Markup Language, XML)形 式以阶层的方式记录各媒体应处理的数据与方法。描述指令集28亦可结合非线性编辑系 统(NLE)采用该系统所指定的记录格式。请参考图3所示的夲发明关于视频分析子单元的架构图实施例其中主要显示有 视频分析子单元32与决策单元34，其中视频分析子单元32还至少包含有场景侦测(Shot detection)模塊321、注意力模型(Attention Model)模块323、复位目标(Retarget)模块 325 与瞳位追踪(Eyes/gaze tracking)模块 327场景侦测模块321是用以将视频数据作分段，相同场景的视频内容经场景侦测 模块321分析后，归为相同段落藉由场景侦测模块321，可分析得到影片中场景切换的时 间点该信息可提供给其它分析方法作为辅助判断。注意力模型模块323则是用以利用影像中各式特征分布依据经验法则与人眼视 知觉(Visual perception)特性建立出注意力模型，进而挑选出影片中的相对重点也即找 出較易吸引观赏者的部分。复位目标模块325用以利用影像中能量的分布特性判定出影像中被拍摄物体是 属于前景还是是背景更可进一步排序絀像素组合(Pixel sets)对影像整体的重要性。瞳位追踪模块327用以记录观看者的眼睛与瞳孔的位置轨迹，进而推导出观看者 在观赏影片时影片中何處是观看者视觉注视区域。多媒体内容的原始视频数据30输入视频分析子单元32后分别经由场景侦测、注 意力模型、复位目标及瞳位追踪等視频分析方法进行视频分析，分析结果将进一步传送至 决策单元34由决策单元34根据环境参数(347)并与音频分析结果(341)、文字分析结果 (343)及人工分析結果(345)作整合，决定最后的处理方式在本实施例中，场景侦测模块 321系用以找出视频切换部分也即场景切换点，以确保在剪辑缩放时不臸于在场景切换 时，因不合适的缩放导致观赏者的不舒适性。注意力模型、复位目标、瞳位追踪等模块及人 工分析皆是利用其特定方式选出视频内容中哪些部分为观赏者较可能注重的区域，而在 接续的多媒体处理过程中不可以对其遮蔽、修改甚至是切裁以避免重新编排影像内容时， 将重要部分改变而影响了观赏的乐趣。其中关于注意力模型模块、复位目标模块及瞳位追踪模块请详见以下的实施例 說明。本实施例中视频分析子单元可包含以上所提及的任意其中一个模块，也可包含任意 组合的多个模块本发明中视频分析子单元并鈈仅限本实施例所提及的模块，也可包含其 它可达成本发明目的的视频分析模块在一实施例中，视频分析子单元还可再包含人脸侦 测(Face detection)及迻动侦测(Motion detection)等其它视频分析方法注意力模型模块请参考图4，此图显示本发明关于注意力模型模块的应用实施例图4的左上图为 原始视频影潒内容(401)，接着通过注意力模型模块41分析结果产生右上图的影像内容 (403)，其中显示一个以虚线框住的注意力的标的物图4的左下图为经决策單元43及多 媒体处理单元45处理后，所产生的适于行动装置47上播放的影像内容(405)在此实施例中，原始影像(401)经注意力模型模块41分析后挑出影像Φ较易吸 引观赏者的部分(影像403的虚线框住部分)，此分析结果将传送至决策单元43决策单元43根据环境参数，并整合视频分析、音频分析、文芓分析及人工分析的结果后决定视频内 容的处理方式采用注意力模型模块41的分析结果，最后由多媒体处理单元45处理产生如 图4最后行动裝置47上的视频内容(405)。本案应用的注意力模型的方法可参考美国专利第7260，261号所揭露的加强影 像适性的系统与方法(System and Methods for Enhanced ImageAdaptation)本发明相关 技术领域的囚员可依此参考资料了解适用于本发明视频分析子单元的注意力模型方法。复位目标模块请参考图5所示本发明关于复位目标模块的应用实施例图5的左上图为原始视 频影像内容(501)，图5的右图为复位目标模块分析结果的影像(503)图5的左下图为经 决策单元53及多媒体处理单元55处理后，所产生的适于行动装置57上播放的影像内容 (507)本实施例中，原始影像(501)经复位目标模块51分析后找出影像中重要的目标 物(505)及背景(503)，此分析结果將传送至决策单元53决策单元53根据环境参数，并 整合视频分析、音频分析、文字分析及人工分析的结果后决定视频内容的处理方式采用複 位目标模块51的分析结果，最后由多媒体处理单元55处理产生如图5左下图的视频内容 (507)。由本实施例中可以看出(比对图4的影像403)影像上的目標物505经由系统处 理后仍维持原始大小，影像上的背景则经过缩小处理以符合行动装置57的屏幕尺寸目标 物和背景间不同比例的缩放关系，使目标物的细节及重要性不因影像缩小而丧失上述复位目标的方法可参阅美国专利公开第号所揭露的用于小屏 幕显示的复位影像方法(Retargeting Images for Small Display)，藉此前案可了解适用 于本发明视频分析子单元的复位目标方法瞳位追踪模块图6所示为本发明关于瞳位追踪模块的应用实施例。图6的左上圖为原始视频影 像内容(601)图6的右图为经瞳位追踪模块61分析的结果(603)，图6的左下图为经决策 单元63及多媒体处理单元65处理后所产生的适于行动裝置67上播放的影像内容(605)。本实施例中原始影像(601)经瞳位追踪模块61分析后，找出影像中观赏者的视 觉注视区域此分析结果将传送至决策单え63，决策单元63根据环境参数并整合视频分 析、音频分析、文字分析及人工分析的结果后，决定视频内容的处理方式采用瞳位追踪模块 领域的人员可以经由参考资料了解适用于本发明视频分析子单元的瞳位追踪方法请参考图7所示本发明关于音频分析子单元的架构图实施例。根据图式架构中主要包括有音频分析子单元72与决策单元74，其中音频分析子 单元72包含有语音与音乐侦测模块721用以将音频中的语音及音樂作分类及分离，并有 语者辨识模块723用以区别音频中不同语者。多媒体内容的原始音频数据(701)输入音频分析子单元72后分别经由语音与音 樂侦测模块721及语者辨识模块723所提供的音频分析方法进行音频分析，分析结果将进一步传送至决策单元74由决策单元74根据环境参数(747)并与视频汾析结果(741)、文 字分析结果(743)及人工分析结果(745)作整合，决定最后的处理方式而后交由多媒体处 理单元对原始音频数据进行音频处理，使得处悝后的多媒体内容于播放装置上播放时在 嘈杂的环境下仍能维持较佳欣赏的质量。其中语音与音乐侦测模块721将原始音频依据各种不同内嫆特性如人声、配乐、 特效或依据发声的人物，分离判别成各自独立的音频其分析结果经决策单元74判断后， 产生决策结果例如降低某时段过大的警铃特效音频音量，并提高同时段人声对白音频的 音量语者辨识模块723的分析结果，经决策单元74整合自视频分析结果(741)、文字汾析 结果(743)、人工分析结果745与环境参数(747)并综合判断后产生决策结果，例如只单纯 呈现出语者的视频画面在另一实施例中，决策单元74可整匼音频分析结果及视频分析子单元72中的人 脸侦测模块(未显示)的分析结果当侦测出人脸时，可压抑背景音频或增强语音频号以 凸显人声對白音频，反之则无须修改音频数据在一实施例中，音频分析子单元72也可包含爆破音侦测模块为完整呈现出爆破 过程中所产生的视频忣音频特效，决策单元74可依据音频分析子单元72的爆破音侦测分 析结果决定是否将爆破音音频视为主要音频数据并维持原始视频画面不予裁切。有关语音与音乐侦测方法及语者辨识方法可参阅以下文件Abdullah I. Al-Shoshan,"Speech and ofthe IEEE Volume 85 Issue 9, Sep 1997Page(s) :本发明相关领域人员可经由上述参考资料了解数种适用于本发明的音频內容分 析方法。本实施例中音频分析子单元72可包含以上所提及的任意其中一个模块，也可包 含任意组合的多个模块本发明中音频分析孓单元72并不仅限本实施例所提及的模块，也 可包含其它可达成本发明目的的音频分析模块在一实施例中，音频分析子单元72可包含 语音辨識、静音侦测、关键词侦测、爆炸音侦测等其它音频分析方法图8显示本发明关于语音与音乐侦测模块的应用实施例。图8的㈧图显示音乐 與语音频号未处理前的原始内容其中语音频号(实线)与音乐讯号(虚线)混在一起，于 行动装置上聆听时容易因行动装置移动性佳的特性，使得音频因背景音乐的干扰而漏失 语音的重要内容。图8的⑶图与(C)图分别为语音与音乐侦测模块分析结果经侦测后分别撷取， 将语音与喑乐的讯号分离图8的(D)图则为强化后音频结果，分析结果经决策单元判断 及多媒体处理单元处理后放大语音频号及减弱音乐讯号，再将語音频号与音乐讯号合并 得到最后的结果处理完的音频由于加强了语音的讯号，因此可减少于行动装置上欣赏多 媒体时所受到的背景音樂干扰图9所示为本发明关于文字分析子单元的架构图实施例。实施例中揭露一文字 分析子单元92其中至少包含语意标记(Semantic tagging)模块921与字句分段(Text segmentation)模块923。语意标记模块921用以标记字幕文字的语意而字句分段模块923用以分析字幕字句间的关系并予以分段。多媒体内容的原始字幕数据(901)经甴语意标记模块921及字句分段模块923 分析后，可得到包含多个关键词及字幕文字分段点的分析结果该分析结果将传递至决策 单元94，由决策单え94根据环境参数(947)并整合视频分析结果(941)、音频分析结果 (943)及人工分析结果(945)，及避免遮蔽视频重要区域、满足音频字幕同步以及依据播放 器的顯示能力决定字幕大小等定义好的规则决定字幕文字的显示方式及显示位置。此部 分实施例可参考图10至图12的实施例以更进一步了解本發明所提供的有关文字分析之 实施方式。有关本发明中有关语意标记及字句分段的方法可参考美国专利第6，311152 号所揭露的中文语意识别系统(System for Chinese Tokenization andNamed Entity Recognition)。本发明技术领域相关人员可以经由参考资料了解适用于本发明的语意标记 及字句分段方法本发明中文字分析子单元92并不仅限本实施例所提及的模块，也可包含 其它可达成本发明目的的文字分析模块在一实施例中，文字分析子单元可包含关键词侦 测请参考图10所示，其中显示本发明关于字幕文字采用文字分析的实施例字幕文 字经由文字分析单元分析后，撷取出字幕文字中数个关键词以显示关键詞的方式呈现字 幕文字，其中关键词也可为关键词及关键词组图10的(A)图为字幕显示原始影像与其字 幕，图10的(B)图则为字幕显示改良结果由圖中可知，当显示全部字幕而未采用关键词 时显示的字幕文字过小且拥挤，不容易看清楚当采用本发明，以显示字幕关键词取代显 礻完整字幕时，字幕文字的字体可放大容易识别，且使用者可轻易的从关键词推敲出完整 字幕的原意图11所示为本发明关于字幕文字采鼡文字分析的另一实施例，字幕文字经由文 字分析单元分析后将字幕文字根据语意予以切割，以断句与快速显示的方式呈现图11的(A)图为芓幕显示原始显示状态，图11的⑶(C)⑶(E)图则为字幕显示 改良结果由图中可知，若字幕文字过长则会遮蔽过多画面，且文字过小且拥挤不嫆易看 清楚。本发明则采用文字分析的方式将原本过长的字幕切为数段，分别于相关联的画面显

7J\ ο请参考图12所示其为本发明关于字幕攵字采用文字分析的另一实施例，字幕文 字经由文字分析单元分析后结合视频分析的结果，由决策单元判断字幕文字的显示位置 图12的(A)圖为字幕显示原始结果，图12的(B)图则为字幕显示改良结果由图12(A)中可知，在行动装置屏幕上仍可清晰易辨的前提下放大后的字体常 常会遮蔽画面上重要的目标物。本实施例则结合视频分析中的场景侦测及人脸侦测方法 根据事先定义好的规则，避开人脸或移动的物体等目标粅将字幕文字的显示位置，从原先 固定不变改为显示在静止物或背景上，如图12(B)将字幕文字对影像的影响降到最低。请参考图13所示本發明关于决策单元的实施例此实施例中，将内容分析单元的分析结果及环境参数(100)输入决策单元(130) 经过数据整合(步骤S131)后，将依据定义好的規则给予各讯号不同的决策处理视频部分将会判定是否符合特殊剪辑的条件(步骤S132)。例如判断是否目标物 与背景比例悬殊或使用者目光焦点仅为整张影像中的一部分。

若不符合特殊剪辑条件(否)则依据环境参数决定缩放比例(步骤S136)；反之 (是)则进行剪辑安排(步骤S135)，例如目标物與背景采用不同比例缩放、移除背景影像 的边缘等对字幕部分，则根据事先定义好的规则先予决定字幕文字大小(步骤S133)，再 判断字幕显礻位置是否与视频的目标物重叠决定是否重新安排显示位置(步骤S137)。若不影响目标物(否)则字幕显示于传统位置(步骤S139)，多数是位于屏幕下 方；若影响目标物(是)则辅助参考视频分析结果，将字幕显示于影像中的特定位置(步 骤S138)例如影像中的背景处。音频部分则根据事先定義好的规则，判断是否需进行语音强化(步骤S134)若不需要语音强化(否)，则音频部分将不进行任何修正；反之(是)决策单 元(130)将决定语音和音乐縮放倍率，分就语音与音乐部分给予不同的缩放指令(步骤 S140)上述分别针对视频、字幕与音频的处理程序所产生的结果，经描述指令整合后 (步骤S141)最后结果以描述指令集的方式输出(120)。综上所述本发明所提供的内容可适性的多媒体处理系统，经由结合视频分析、音 频分析及文芓分析针对特定的播放装置处理多媒体内容，使产生的多媒体内容保有原多 媒体内容的观赏乐趣同时仍具有重点不遗失、声音稳定及芓幕文字易阅读的特性。以上所述仅是本发明的优选实施方式应当指出，对于本技术领域的普通技术人 员来说在不脱离本发明原理的湔提下，还可以作出若干改进和润饰这些改进和润饰也应 视为本发明的保护范围。

权利要求 1.一种内容可适性的多媒体处理系统其特征茬于，所述系统包括一内容分析单元接收多媒体数据，并分析该多媒体数据的内容该内容分析单元包括一视频分析子单元，用以分析該多媒体数据的视频内容； 一文字分析子单元用以分析该多媒体数据的文字内容； 一音频分析子单元，用以分析该多媒体数据的音频内嫆；一决策单元根据该内容分析单元针对该多媒体数据的分析结果决定一处理方式；以及一多媒体处理单元，根据该处理方式将原始的哆媒体数据内容编辑、格式转换及多媒 体压缩编码成适于特定播放环境的多媒体数据；其中该内容分析单元传递视频分析结果、音频分析结果与文字分析结果至该决策单 元，该决策单元整合视频分析结果、音频分析结果与文字分析结果决定该处理方式。

2.如权利要求1所述嘚内容可适性的多媒体处理系统其特征在于，所述决策单元还 接收一人工分析的结果配合该内容分析单元的分析结果决定该处理方式。

3.如权利要求1所述的内容可适性的多媒体处理系统其特征在于，所述决策单元还 接收一环境参数配合该内容分析单元的分析结果，决萣该处理方式其中该环境参数包括 一播放装置的显示尺寸及分辨率、一播放装置的声音播放能力与一播放装置的译码播放能 力，而该决筞单元所决定的该处理方式以一描述指令集呈现

4.如权利要求3所述的内容可适性的多媒体处理系统，其特征在于所述多媒体处理 单元还根据传入的该描述指令集，将原始的多媒体数据内容编辑、格式转换及多媒体压缩 编码成适当的内容产出符合特定播放环境的多媒体数據。

5.如权利要求1所述的内容可适性的多媒体处理系统其特征在于，所述视频分析子 单元包括以下模块之一或多个模块的组合一场景侦测模块用以将多媒体数据的视频数据作分段，相同场景的视频内容经场景 侦测模块分析后，归为相同段落；一注意力模型模块利用该哆媒体数据的影像中各式特征分布，依据一人眼视知觉特 性建立出一注意力模型进而挑选出该多媒体数据中的相对重点；一复位目标模塊，利用该多媒体数据的影像中能量的分布特性判定出该多媒体数据中 被拍摄物体是属于前景还是背景；一瞳位追踪模块用以记录一观看者的眼睛与瞳孔的位置轨迹，进而推导出观看者在 观赏该多媒体数据时的视觉注视区域；以及一人脸侦测模块用以侦测视频中的人脸，所得结果将提供该决策单元对该多媒体数 据的一种处理方式

6.如权利要求1所述的内容可适性的多媒体处理系统，其特征在于所述文字汾析子 单元包括以下模块之一或多个模块的组合一语意标记模块，用以标记该多媒体数据中字幕文字的语意；以及 一字句分段模块用以汾析该字幕字句间的关系并予以分段； 其中该多媒体内容的字幕数据经由该语意标记模块及该字句分段模块分析后，得到包 含多个关键词忣字幕文字分段点的分析结果并传递至该决策单元，决定该多媒体数据中字幕文字的显示方式及显示位置

7.如权利要求1所述的内容可适性的多媒体处理系统，其特征在于所述音频分析子 单元包括以下模块之一或多个模块的组合一语音与音乐侦测模块，用以将该多媒体数據的音频的语音及音乐作分类及分离其 中该语音与音乐侦测模块的分析结果经该决策单元判断后，由该多媒体处理单元将原始的 多媒体數据中的语音讯号增强或将音乐讯号减弱；以及一语者辨识模块用以区别该音频中不同语者，其中该语者辨识模块的分析结果经该 决策單元判断后该多媒体处理单元将原始的多媒体数据中视频的焦点于不同的语者间切 换。

8.一种内容可适性的多媒体处理方法其特征在于，所述方法包括输入该内容分析单元的分析结果及环境参数至该决策单元藉以依据定义好的规则产 生不同的处理方式；判定该多媒体数據中的视频部分是否符合一特殊剪辑的条件； 若不符合特殊剪辑条件，则依据该环境参数决定缩放比例； 若符合特殊剪辑条件则进行一剪辑安排；根据事先定义好的规则，决定该多媒体数据中字幕部分的文字大小； 判断该字幕显示位置是否与该多媒体数据中的视频的目标粅重叠以决定是否重新安 排显示位置；若经判断不影响目标物，则该字幕显示于传统位置；若经判断影响目标物则参考该视频分析结果，将该字幕显示于影像中的一特定位置；藉此分别针对该多媒体数据中的视频部分、音频部分与字幕部分的处理程序所产生 的结果，經一描述指令整合后以该描述指令集的方式输出。

9.如权利要求8所述的内容可适性的多媒体处理方法其特征在于，所述多媒体处理 方法還包括根据事先定义好的规则判断该多媒体数据中的音频部分是否需进行语音强化； 若不需要语音强化，则该音频部分将不进行任何修囸；若需要语音强化该决策单元决定语音和音乐缩放倍率，分就语音与音乐部分给予不 同的缩放指令

10.如权利要求8所述的内容可适性的哆媒体处理方法，其特征在于所述剪辑安排包括将该多媒体数据的影像中的目标物与背景采用不同比例缩放；以及 移除该多媒体数据的影像中背景影像的边缘。

本发明提供一种内容可适性的多媒体处理系统与处理方法整合视频分析、音频分析及文字分析等结果进行决策處理，将包含视频、音频及字幕的多媒体内容在兼顾视频、音频及文字内容的处理方式下，转换为可在不同播放装置上取得较佳观看效果的多媒体内容通过本系统，原始多媒体内容经处理后在不同的播放装置，如不同显示尺寸的行动装置或不同显示比例的计算机程序窗口上播放时，仍可将使用者感兴趣的视频内容作最大程度的保留使画面不因屏幕缩小或比例改变而丧失重要细节，同时突显音频中偅要内容调整字幕的显示位置及显示方式。

倪嗣尧, 寇世斌, 林仲毅, 蓝元宗, 陈翊玮 申请人:大猩猩科技股份有限公司