3D中的3d图像合成技术体如何用折分开

2010年电影《阿凡达》火爆上映,國人亲身体验了3D显示技术的震撼效果身临其境的观看感受让人长时间津津乐道。3D的立体视觉效果让人们有了前所未有的“真实”的视觉體验实际上,继高清之后3D已经成为显示设备的下一个重心。

在惊叹科技带来的改变的同时我们有必要了解一下3D技术的今生前世,看看那些2D图片是如何跃出纸面的

人类的双眼是横向并排,之间大约有 6~7 厘米的间隔因此左眼所看到的影像与右眼所看到的影像会有些微嘚差异,这个差异被称为“视差”大脑会解读双眼的视差并藉以判断物体远近与产生立体视觉。

我们就从人眼谈起人的两眼相隔在6厘米左右,这意味着假如你看着一个物体两只眼睛是从左右两个视点分别观看的。左眼将看到物体的左侧而右眼则会看到她的中间或右側。当两眼看到的物体在视网膜上成像时左右两面的印象合起来,就会得到最后的立体感觉而这种获得立体感的效应就是“视觉位移”。

如果在制作一部3D电影时用两台摄影机模拟左右两眼视差,分别拍摄两条影片然后将这两条影片同时放映到银幕上,放映时加入必偠的技术手段让观众左眼只能看到左眼图像,右眼只能看到右眼图像最后两幅图像经过大脑叠合后,我们就能看到具有立体纵深感的畫面这就是我们所说的3D影像。

早在19世纪摄影技术刚刚起步时人们就用2台性能和参数完全相同的相机并列,模拟人的左右两眼同时拍丅两张有着细微差异的相片,之后再透过平行视线法、交叉视线法或者类似双筒望远镜的专属观看设备等,让人的左右两眼分别观看2张並列拍摄的相片以重现“视差”,藉以模拟出立体视觉

随着立体显示技术在电视广播、视频游戏、医疗、教育等领域的应用越来越多,三维显示已从电影银幕向电视终端、计算机终端、智能手机终端、平板电脑终端等发展

目前主流的三维显示包括立体视觉、头盔式显礻器、CAVE、裸眼立体显示器和真三维显示等。3D显示技术主要分为眼镜类3D显示技术与裸眼类3D显示技术两大类型

眼镜类3D显示技术,我们又可以細分出三种主要的类型:色差式、偏光式和主动快门式也就是平常所说的色分法、光分法和时分法。

色分法——色差式3D显示技术

色分式俗称为红蓝眼镜式最突出的特点是观看时所配的眼镜有两片不同颜色的镜片组成,通常一片为红色另一片为蓝色或者绿色。这种技术早在1915年就被发明并进行了商业应用也是最早普及的一种3D显示技术。我们若干年前在游乐场之类的场所看到3D动画几乎都是采用这种技术實现的。

我们知道红色、绿色和蓝色被称为三原色自然界中的任何颜色都可以由这三种颜色3d图像合成技术,而这三种颜色本身是互斥的没有任何的交集。色分式3D系统正式利用了三原色互斥的特性

内容的拍摄部分没有任何区别,只是在后期制作、播放过程中左图像只保留三原色中的一种颜色,而右图像则只保留三原色中另一种颜色而观众所配戴色分眼镜也是由这两种颜色的镜片组成。通过色分眼镜對左右图像进行分离保证左眼看到左图像,而右眼看到右图像左右两幅图像经过大脑的3d图像合成技术,最终呈现出一帧立体图像

色汾式由于采用了互斥的三原色,因此左右两帧图像即使冲印到同一张底片上在放映时也可以利用色分眼镜进行完美的分离。正式具有这個特性现有的显示设备,如电视机、显示器、投影仪等在不进行升级的情况下就可以进行这种3D影像的显示。同时色分式3D系统的造价佷低廉。

然而色分式3D系统最大缺陷在于其只采用了三原色中的两种,另一种被丢弃了因此,在实际显示中偏色非常严重显示效果大咑折扣。正式由于这个缺陷导致色分式3D系统趋于淘汰。

光分法——偏光式3D技术

“光分式”也被称为“偏振式”顾名思义,这种技术利鼡了偏振光的特点

我们知道,光波是一种横波(震动方向垂直于传播方向)是由与传播方向垂直的电场和磁场交替转换的震动形成的。我们通常将其电场的震动方向称为光波的震动方向自然光在各个方向上的震动是均匀的,因而也被称为非偏振光如果一束光在任意┅个特定的时刻只在一个特定的方向上震动,则这束光就是偏振光

偏振光可以通过偏振镜获得,偏振镜就是一个栅栏其具有震动方向。当一束自然光通过偏振镜时偏振镜只会这束自然光中与其震动方向一致的一部分光通过,而其他不一致的部分都会被过滤掉

而当一束偏振光经过偏振镜时,如果这束偏振光的震动方向与偏振镜的震动圆偏振光振动方向一致这束偏振光则全部被允许通过;反之,如果這束偏振光的震动方向与偏振镜的震动方向不一致这束偏振光则全部被过滤掉。光分式系统正是利用了这一原理

当系统进行显示时,將左、右图像同时显示在屏幕上不过左右两幅图像在显示在屏幕上之前会经过不同偏振镜的过滤,如上图所示:左图像用垂直方向的偏振镜进行过滤成为在垂直方向上震动的偏振光;而右图像则采用水平方向的偏振镜进行过滤,成为在水平方向上震动的偏振光

与之相對应的是,观众所配戴的偏振眼镜的左镜片的震动方向为垂直方向右镜片的震动方向为水平方向。这样就能保证做图像最终被观众的左眼所看到而右图像被观众的右眼所看到,两幅图像经过大脑的3d图像合成技术最终形成一幅具有三维立体感的3D图像

偏振光具体上分为线性偏振光与圆偏振光两种。在任意一个特定时刻线偏振光和圆偏振光都只在一个特定方向上震动。而随着时间的变化线偏振光保持震動方向不变,而圆偏振光的震动方向在垂直于光线传播方向的平面上旋转而旋转方向又分为左旋和右旋。

早期的光分式3D系统多采用线性偏振光而采用线性偏振光最大的缺点是观众观看姿势必须尽量保持不变。如果观众歪头或侧身则眼镜的偏振方向会变得与光线的偏振方向不一致,3D效果会变差甚至会导致观看者头晕、头痛等现象。

圆偏振光的引入则比较有效的改善了线偏振光的缺点圆偏振光系统与線偏振光系统的组成结构没有任何的区别,只是将垂直偏振镜与水平偏振镜替换为左旋偏振镜与右旋偏振镜

光分式的3D成像效果较好,造價相对较低该技术现阶段主要被各种3D影院系统所采用,如RealDIMAX等。光分式最大的问题在于没有完美的偏振镜也无法过滤出完美的偏振光。

因而观众所配戴的偏振眼镜无法对左右图像进行完美的分离因而导致总有一部分左图像的光线进入右眼,而一部分右图像光线进入左眼虽然从比例上讲很少,但足以导致3D效果的下降以及导致一部分观众观看过程中的不适,如头晕、头痛

时分法——主动快门式3D显示技术

主动快门式3D技术在原理上比前两个更加简单,它直接通过快速交替关闭一只镜片的方式让双眼在不同时间接收完全不同的画面。只偠屏幕的刷新率和眼镜的开关频率完美的配3d图像合成技术120Hz以上便可以让每只眼睛都得到60Hz刷新率的连贯流畅画面。

相对于前两者主动快門式3D显示具有更多的优势,它不会产生红(琥珀)蓝3D 的光化学损伤问题成本及兼容性代价方面也要优于偏振式3D技术。因此目前主动快门式3D显示正在快速的进入市场并进入普及阶段但因为主动快门式3D技 术存在镜片开合操作,因此或多或少都会产生闪烁感这是目前主动快門式3D技术最大的技术问题。

这种3D技术在电视和投影机上面应用得最为广泛资源相对较多,而且图像效果出色受到很多厂商推崇和采用,不过其匹配的3D眼镜价格较高

显示器屏幕是平面2D的,人之所以能欣赏到真如实物般的3D图像是因为显示器展现出的图像色彩灰度的不同,而使人眼产生视觉上的错觉将显示的2D图像感知为3D图像。

眼镜类的3D显示技术是通过眼镜将左右图像分离出来并分别送到观看者的左右兩眼中,实现3D效果而裸眼类的3D显示技术则是通过调节光的角度使左右两个图像分离出来,并分别送到观看者的左右两眼中以实现3D效果。

如今的裸眼类3D显示技术组合了目前人类最新面板制造技术和引擎软件技术,一方面在生产制造方面,采用在液晶面板前方配置双凸透镜的全景图像方式显示即在同一个屏幕上,以分割区域显示(空间多功裸眼3D技术)和切割时间显示(分时多功裸眼3D技术)来实现3D显示(见表三)另一方面,在图像显示方面通过计算机图像处理技术,将已有的2D图像和3D图像的左右两眼的视差转换为9视差的3D图像。

裸眼類3D显示技术目前主要有:光栅式、柱状透镜式、全像投影式、体积式、分时多工式等几种

光栅式与眼镜类3D显示技术最大的区别在于:观看咣栅式3D显示系统时不需要配戴眼镜裸眼就可以进行3D影像的观看。由于这个特点光栅式3D技术引起了很多厂商的重视,技术和应用上也得箌了很大的发展

在具体的实现细节上,光栅式又细分为狭缝光栅式与柱状透镜式

狭缝光栅式的显示器件被划分为一些竖条,一部分竖條用于显示作图像而另一部分竖条用于显示有图像,左右相互间隔而在显示器件的前方则有一些柱状的狭缝光栅。这些光栅的作用在於能够允许左眼看到左图像阻挡右眼看到左图像;同时光栅允许右眼看到右图像,阻挡左眼看到右图像;

而柱状透镜式与狭缝光栅式的區别在于将显示器件前的狭缝光栅替换为柱面透镜如右图所示:显示器件同样被划分为竖条,一部分竖条用于显示作图像而另一部分豎条用于显示有图像,左右相互间隔利用显示器件前面的柱面透镜的折射作用,左图像的光线射向左眼位置而有图像的光线射向有眼位置。左右两幅图像最终经过大脑的3d图像合成技术最终呈现出一帧立体图像。

光栅式的优点很明显:观看者不需要配戴眼镜;其缺点同樣明显:

(1)观看者只能站在几个固定的角度才能出现立体效果

(2)现阶段的清晰度也非常低;

(3)工艺难度与成本都很高尤其难以在夶屏幕上实现;

(4)而且无法与2D兼容。

由于以上特点光栅式3D技术主要被一些电视机厂家用来研发、生产用于广告牌等展示用途的设备。

铨息投影式3D显示技术

全息照相投影相对于传统的摄影技术来说是一种革命性的发明光作为一种电磁波有三个属性:颜色(即波长)、亮喥(即振幅)和相位,传统的照相技术只记录了物体所反射光的颜色与亮度信息而全息照相则把光的颜色、亮度和相位三个属性全部记錄下来了。

全息摄影采用激光作为照明光源并将光源发出的光波分为两束,一束直接射向感光片另一束经被摄物的反射后再射向感光爿。两束光在感光片上叠加产生干涉感光底片上各点的感光程度不仅随强度也随两束光的位相关系而不同。所以全息摄影不仅记录了物體上的反光强度也记录了位相信息。

人眼直接去看这种感光的底片只能看到像指纹一样的干涉条纹,但如果用激光去照射它人眼透過底片就能看到原来被拍摄物体完全相同的三维立体像。一张全息摄影图片即使只剩下很小的一部分依然可以重现全部景物。

全息照相茬理论上是一种很完美的3D技术从不同角度观看,观看者会得到一幅角度不同的3D图像其它的3D显示技术都无法做到这一点。全息照相可应鼡于无损工业探伤、超声全息、全息显微镜、全息摄影存储器、全息电影和电视但是由于技术的复杂,全息投影照相技术目前还没有得箌商业应用

体积式是由德仪所开发的激光3D投影技术,以激光光照射在一个高速旋转盘上的散射现象于一个玻璃密闭空间内显示立体物件的每一个点,并组成立体影像但缺点在于投影物件体积受到限制,且越靠近中央转轴解析度越低

分时多工技术又称为指向背光板技術。以一组指向性背光板搭配快速反应面板快速切换显示左、右眼影像让使用者观看形成3D影像。

随着技术的进步 3D显示技术已成功应用箌了数字显示领域,3D显示技术和普通消费者的距离已经越来越近了而作为新起之秀的裸眼3D显示技术必将青出于蓝而胜于蓝,裸眼3D技术在實现成品化、成熟化后不仅可以实现了裸眼看3D,而且还可以保证3D立体出屏效果的震撼解决戴着眼镜看3D的束缚与困扰,开拓出一个自由洎在享受3D的空间

位于英国南部沿海的多佛小城,因白色悬崖和在第二次世界大战中的历史地位而闻名白崖长达5公里,崖面最高点有350英呎(110米)由白垩和黑色燧石条纹组成,并且由东向西蔓延

    前期他们先创建了一个三维模型,运用绿幕拍摄和后期3d图像合成技术3D投影影像並增强音轨以完成视听逼真的现场效果。

  眼镜式3D技术我们又可以细分出三种主要的类型:色差式、偏光式和主动快门式,也就是平瑺所说的色分法、光分法和时分法

  色差式3D技术(Anaglyphic3D):配合使用的是被动式红-蓝(或者红-绿、红-青)滤色3D眼镜。这种技术历史最为悠玖成像原理简单,实现成本相当低廉眼镜成本仅为几块钱,但是3D画面效果也是最差的色差式3D先由旋转的滤光轮分出光谱信息,使用鈈同颜色的滤光片进行画面滤光使得一个图片能产生出两幅图像,人的每只眼睛都看见不同的图像但这种方法容易使画面边缘产生偏銫。

  偏光式3D技术(Polarization 3D):也叫偏振式3D技术配合使用的是被动式偏光眼镜。偏光式3D是利用光线有“振动方向”的原理来分解原始图像的先通过把图像分为垂直向偏振光和水平向偏振光两组画面,然后3D眼镜左右分别采用不同偏振方向的偏光镜片这样人的左右眼就能接收兩组画面,再经过大脑3d图像合成技术立体影像

  偏光式3D技术的图像效果比色差式好,而且眼镜成本也不高比较多电影院采用的也是該类技术。由于偏光3D技术采用的是分光法成像原理会使画面分辨率减半,难以实现真正的全高清3D影像而且降低了画面的亮度。因此偏光式3D技术对显示器的亮度要求较高,且需达到240Hz的刷新频率目前,应用较多的没有闪烁的不闪式就是偏光式的一种以乐金(LG)3D电视,宏碁(Acer)、联想(Lenovo)笔电采取偏光眼镜技术

  快门式3D技术(ActiveShutter3D)配合主动式快门3D眼镜使用:3D显示器以高达120~240Hz的萤幕刷新频率,连续性的茭叉显示左、右眼的画面;藉由快门眼镜快速切换、遮蔽左右眼使左右眼各自看到正确的左右眼画面,在大脑内呈现出具深度感的立体影像此技术不会牺牲3D画面解析度且立体效果良好,但少数人观看主动式3D眼镜的显示会有头晕不舒服的情况

  这种3D技术在电视和投影機上面应用得最为广泛,资源相对较多而且图像效果出色,受到很多厂商推崇和采用不过其匹配的3D眼镜价格较高。目前包括LG、三星、松下、创维等品牌推出的3D电视,都是采用主动快门式3D技术

  裸眼3D显示器,由3D立体现实终端、播放软件、制作软件、应用技术四部分組成是集光学、摄影、电子计算机,自动控制、软件、3D动画制作等现代高科技技术于一体的交差立体现实系统因此,裸眼3D显示技术是影像行业最新、前沿的高新技术它的出现改变了传统平面图像给人们带来的视觉疲惫,也是图像制作领域的一场技术革命是一次质的變化,它以新特奇的表现手法强烈的视觉冲击力,良好优美的环境感染力吸引着人们的目光。裸眼3D技术目前有:

  全像投影式(Holographic):它利用红、绿、蓝3色激光光源各自经过调变器产生相位型光栅激光在经过全像片合并之后,以垂直扫描镜及多面镜进行垂直及水平的掃描使立体影像呈现出来。

  体积式(Volumetric):它是由德仪所开发的激光3D投影技术以激光光照射在一个高速旋转盘上的散射现象,于一個玻璃密闭空间内显示立体物件的每一个点并组成立体影像。但缺点在于投影物件体积受到限制且越靠近中央转轴解析度越低。

  視差光栅(Parallax Barrier):它是利用透光栅栏来控制左右眼画面的光线前进、折射方向成本较低但有亮度与可观视角/点数限制,显示2D文字时较不清晰

  柱状透镜(Lenticular;LC):它利用液晶分子因通电的扭转使光线通过时造成折射现象,形成垂直柱状透镜的聚焦效果优点是亮度高;若搭配摄影镜头追踪观赏者还可以作到全视角,但相对成本偏高

  分时多工(Time-multiplexed):这种技术又称为指向背光板 (Directional Backlight)技术。以一组指向性背光板搭配快速反应面板快速切换显示左、右眼影像让使用者观看形成3D影像。

  值得指出的是现又提出一种真3D立体显示技术,因為人类发展显示技术追求的终极目标是在观察三维影像时犹如在观察一个真实存在的物体,完全满足人类对真实场景的三维视觉体验即真三维显示技术。因此相对于当下主流的基于双目视差深度暗示的三维显示技术,真三维显示技术不会造成观看者的视觉疲劳其显礻的图像更加真实,更符合人们的视觉习惯目前,被列为真三维显示技术的有:光场三维显示技术、全息三维显示技术、体三维显示技術、光栅三维显示技术、集成成像三维显示技术

  真三维立体显示技术是一种全新的三维图像显示技术,基于这种显示技术可以直接觀察到具有物理景深的三维图像该技术具有全视景、多角度、多人同时观察,即时交互等众多优点它将引领科学可视化进入崭新的发展方向,具有广阔的应用前景因此,能够真实反映真实世界的三维显示技术被誉为是“21 世纪最伟大的革命之一”。

  3D显示技术发展趨势

  显示技术经历了由黑白显示到彩色显示由普通彩显到高清晰度彩显的过程,目前平面显示技术已经取得了很大的成就。但因為客观世界是一个三维世界任何实物都具有x、y和z三维性,为了追求最大限度的真实重现其中主要的一种方式就是实现立体感。

  目湔已商业化的显示技术只能在平面显示器(x,y)上实现对三维世界的表达在真实感上,离用眼睛直接去观看客观事物仍有很大差异誠然,平面显示在某种程度上给人三维的立体感觉但只是在二维显示技术基础上基于心理的认知,从本质上讲不能算是真正物理意义仩的三维立体显示。现有的大部分立体显示技术在显示的视角上大多达不到广角要求,因为它们脱胎于二维显示始终没有摆脱传统的②维显示屏幕180°显示空间的限制。此外,还要借助立体视镜,或者要借助平面显示屏上的“视差”效果。

  目前主流的三维显示已经占據了大半壁江山,已知的三维显示设备包括立体视觉、头盔式显示器、CAVE、裸眼立体显示器和真三维显示等

  在3D立体显示技术中,将逐漸从主动式眼镜、偏光式眼镜朝向裸眼3D、真3D立体显示技术方向发展。

}

3 月 19 日根据官方消息,云从科技基于单帧图像的 3D 人体重建技术同时在 Human3.6M、Surreal 和 UP-3D 三大数据集上创造了最新的世界纪录将原有最低误差记录大幅降低 30%。

3D 重建领域通常以误差(Error)莋为衡量算法能力的主要指标误差就是生成模型与实际图像的差别。一般来说误差越低,精度越高意味着技术的性能越好。

与传统關键点检测、3D 重建的区别是什么

传统的人体关键点检测技术往往以 2D 的人体骨骼关节点检测形式出现,即通过技术预测 RGB 图像中人体的十几個关节点的坐标一方面结果非常稀疏,将人体大为简化成骨骼的形式另一方面结果往往只包含二维平面上的坐标预测,不能还原深度信息因此无法体现纵深的感觉。

而基于单帧图像的 3D 重建技术不仅能输出骨骼关节点信息更能同时预测大量的人体表面关键点信息,预測结果更加丰富而且每个点的坐标都是 3D 的,能够体现不同躯干的纵深信息

传统 3D 重建技术大多需要连续的图像序列或是多视角的图像,茬硬件设备上一般需要采用双目摄像机或者结构光摄像机等设备因此在手机等便携设备上往往难以实现;另一方面,专用设备还会增加蔀署成本增加大规模普及 3D 重建技术的难度。

上述突破是如何实现的

据悉,该论文对人体具有丰富多样的姿态和穿着的特点提出了一套全新的基于人体 3D 纵深预测的 3D 信息表征方式。通过对三原色图像(RGB不含深度信息)的分析,预测人体的 3D 形态和姿势并用 6 万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破呈现出来的模型更精细,帧率高达到 200fps原本由于受实时显示限制而无法实现嘚应用可以一一实现。

不过基于单帧图像的 3D 重建技术对原始图像的需求放松的同时,对背后的技术提出了更难的挑战:技术需要从单帧圖像中推理出人体或人脸的 3D 形态并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在 3D 空间的位置和朝向,从而得到人体嘚姿态或表情信息

人体姿态和服饰复杂多样,精度提升意味着对复杂场景的适应性更好模型更接近真实的情况。如《阿凡达》、《阿麗塔》、漫威系列等电影中都需要专用特效设备与面部贴点来完成精细的人像采集,基于单帧图像的 3D 人体 / 人脸重建技术意味着可能颠覆电影视频的拍摄制作,同时降低工业级 3D 动画3d图像合成技术的门槛

由于对输入图像的要求低,使 3D 重建技术将可以利用普通光学摄像头作為感知设备例如,该技术将会使美颜 App 无需结构光摄像头也能具备高精准度的瘦身与动画3d图像合成技术功能

目前,这项技术可通过重要囚员影像重建、医疗仿真肢体打印、虚拟试衣、美颜化妆、表情姿态动画3d图像合成技术等应用场景在大型商场、直播平台、美颜软件、影視特效制作等行业普及

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人不代表电子发烧伖网立场。文章及其配图仅供工程师学习之用如有内容图片侵权或者其他问题,请联系本站作侵删 

}

0

禁止匿名转载;禁止商业使用;禁止个人使用

打开站酷发现更好的设计

}

我要回帖

更多关于 3d图像合成技术 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信