当前位置：&>&&>& > 正文
干货！虚拟现实混合MR视频制作指南
作者：星佳是个小人物 来源：xingjia10086
干货！虚拟现实混合MR视频制作指南'...
&如果你保持关注，那么大名鼎鼎的HTC Vive你肯定早就纳入了囊中（为了提前比别人进入下一个新世界，两万块还是很值得的，毕竟这种风口我们这个尴尬的年纪已经错过很多次了，对不？），而除了游戏领域的内容体验外，我们正在尝试通过&虚拟现实头显+手柄+Lighthouse基站定位装置+绿幕抠像技术&来创造出更有趣的行业应用和展示视频，接下来星佳就结合国外大神和圈内从业者们一起研究出的宝贵经验和读者们分享下如何低成本的打造，同时利用直播软件可以通过直播平台方便的做的直播哦，当然游戏宣传片的制作也是基于此基础上进行更细节的工作，希望此章的内容可以对你有用。
什么是MR（Mixed Reality）虚拟现实混合视频？
Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频，Mixed Reality视频更适合用来做游戏直播和制作宣传视频，比如大名鼎鼎的Google tilt bursh绘画程序，而由此带来了很多新的可能，比如教育，多人互动，科普等虚拟现实行业应用的展示，甚至虚拟现实游戏的评测和直播，而对于线下体验店来说也是很好的引流方式。
上面这个视频截图来源HTC Vive官方宣传片的Mixed Reality视频花絮，游戏画面来源于官方赠送的一款叫做&The Lab&的射箭体验游戏，而游戏者的画面是由一台摄像机配合第三只实体Vive手柄实时捕捉的。
同样是来源于免费的&the lab&游戏的插图
因为人的影像摆放的位置，透视关系和玩家在虚拟场景中的位置，映射坐标都一样，摄像机拍摄画面中手拿手柄的位置和游戏画面中虚拟手柄的位置是完全一样的，看起来就像体验者身临其境走进了一个虚拟世界，并用双手借助实体手柄直接和游戏的虚拟环境和物体互动。
而在此之前，我们看到的大多数的虚拟现实演示大多数都是下面这样，对于很多从来没有体验过虚拟现实的人来说看起来确实有点不知所云，虽然玩耍的人确实因为身临其境感觉很爽。
不得不说像类似这种经常在直播平台所谓的VR直播里出现的抠像画面真的让人无所适从，随便搞个绿屏就来普及虚拟现实真的可以给目前处于观望状态中的消费者们了解真实的&虚拟现实&吗？没有体验过的人看别人玩的这么high只会更雾里看花&&
体验者根本没有同步出现在正确比例的游戏画面里，而本篇文章星佳就教大家如何从零开始低成本的实现MR视频，打造CG级别的视觉效果（对了，这个需要投入一点大价钱了.....）。
MR（Mixed Reality）视频的制作原理
相比普通录制，我们需要购买第三只Vive控制器通过连接usb延长线再配合游戏目录下特殊设定的配置文件，使得某些基于Unity引擎开发的虚拟现实应用就会自动开启混合现实拍摄模式（四分屏画面），第三只Vive控制器和游戏里的虚拟摄像机映射后就可以定位摄影机的位置产生的画面，利用现实中摄影机拍摄游玩的画面抠像后，在开源的直播软件 OBS(Open Broadcaster Software) 下进行即时合成，就能够成功制作混合现实影片了。
所以我们需要：
1. 切换成第三人称视角
2. 将体验者的影像也录制下来
3. 将游戏画面和摄像机影像合成
① 切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼,分别生成左右眼的画面传给HMD,然后将其中一只眼的画面复制到PC屏幕上。 为了让屏幕上产生第三人称视角的游戏画面,就需要在和玩家一定距离外摆放一个额外的虚拟camera,并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复制,而是由这个额外的camera单独绘制的(会增加一定的渲染负担)。
② 将体验者的影像录制下来
因为我们只需要玩家本人的影像,并不需要看到房间里的桌子、墙壁等背景。所以要用到抠像技术。 在录制的时候,让体验者在一个周围是绿布(或者其他颜色)的房间里,然后用一个摄像机 (webcamera或者专业的摄像机)录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉,就只剩下人的影像了。
③ 将游戏画面和摄像机影像合成
在1和2中分别提到了一个虚拟摄像机和一个真实的摄像机，为了让他们拍到的影像能实时的合成起来,需要保证他们的视角是一样的。也就是说,假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角,那么要保正现实中摄像机在体验者左前方2米,朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。将额外的手柄绑在摄像机上,或者将手柄和摄像机绑在同一个位置上,原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时,游戏通过感知手柄的位置变化,也相应地改变虚拟摄像机的位置。
了解了关于MR的基础理论知识和应用场景，接下来要为大家解答原理和方案到底是如何实现的？
需要准备什么？
硬件部分：
摄影棚：墙和地面铺上绿布（至少三面哦），大概5m*5m即可，同时为了实时抠像，需要不错的布光（尤其是顶部的灯光，约均匀越好），如果没有专业经验还想拍出来牛逼的视觉效果那就请专业的影视行业帮忙搭建吧。
专业工作室和巨资打造的绿棚
家里或者小型工作室可搭建的低成本绿棚
一些搭建绿棚的技巧：
架设绿幕摄影棚的目的是让真实拍摄后的影像能够去除背景，最少需要两侧墙壁加上地板三面绿布，架设好两侧背景架后，挂上绿背景布，让其中一个背景布稍微重叠到另一侧，最后再铺上地板的布。 为了有更好的去背效果，最后需要拉紧背景布黏在两侧的架子上，尽可能的保持背景布是平的，尽可能的减少皱摺。 打上灯光后尽量让拍摄范围的光线均匀，这样可以达到较好的去背效果，记住顶部的光尤为重要哦。
摄像机的两种方案：
为了节省经费用网络摄像头就行，比如网吧的聊天摄像头，五百块左右的罗技就挺好，例如Logitech Webcam C930e(可以直接通过USB延长线即可或许实时抠像的实拍视频)。
如果你是专业人士想拍出来更好的视觉效果，那么推荐您购买专业的摄像机和视频采集卡，如果有很好的抠像效果那么最后的MR合成效果会更赞，当然成本相对贵一点。
例如大疆如影稳定器或者斯坦尼康，Sony HDR CX405或者全画幅相机Sony A7S II即可。
高性能主机+第三只Vive手柄：
因为需要同时运行游戏和录像，所以要求配置相对较高的电脑，显卡最低GTX970，CPU推荐I7-4790以上。第三只手柄可以直接从HTC官方商店单独购买哦。
为了何成1080P的视频，所以需要一块的显示器。
视频采集卡：
采集卡的作用是实时的截取现实摄像机的画面进OBS，当然你如果用的是网络摄像头的廉价方案就不需要了，想拍出来CG级别的效果还是需要专业摄像机配合采集卡才能实时抓取视频画面，此处优先推荐内置在机箱里插主板的采集卡（需要拆装主机，有点麻烦），如果电脑不允许内置可以购买外置的USB采集卡，当然延迟就会稍微有点高了，但是也没有太大的影响。
软件部分：
目前只有Unity3D制作的虚拟现实程序支持MR模式，我们期待Value能够早日携手UE4放出来Unreal Engine for 的程序，当然SteamVR的版本得至少是1.0.8或以上哦。
OBS或者其他视频合成软件，用于实时获取应用窗口和简单抠图。
详细操作步骤：
1.制作四分屏的配置文件
打开记事本复制以下代码并存挡，名称取为「externalcamera」，并将后缀名改为.cfg，之后将这个文件放到你想要开启 MR 游戏（部分游戏支援如：Space Pirate Trainer, Job Simulator. Zenblade, Tiltbrush...等等，详细的清单会附在文章最后）的游戏目录。
//m=-0....016,-0...301,0...0846
sceneResolutionScale=0.5
2.固定第三只Vive手柄在摄像机上
第三控制器的作用在原理部分已经讲过，它是负责定位虚拟摄影机的位置，所以必须「完全不动」的固定在摄影机上，一般有热靴的摄影机，可以在热靴上装夹子，或者是直接把控制器绑在闪光灯上。此处由于每款相机的状况不同，请各位根据实际情况绑好手柄即可。
最理想的方式是水平的固定在摄像机上，上图为星佳的罗技C930网络摄像头的廉价方案，这种办法会为之后的同步设定时省下很多时间，如果是专业的工作室建议学习如下的绑定方式哦：
3.按顺序开启控制器
由于我们需要让SteamVR把绑在摄像机上的第三只手柄作为虚拟相机的定位，所以正确的开启顺序很重要：
①确定所以控制器处于关闭状态，之后开启SteamVR
②开启游戏者的两只Vive控制器（摄像机同步以外的两个控制器，按下系统牛钮即可开启）
③确定两只控制器被SteamVR监测后，将第三只控制器用USB延长线连接的方式接上电脑主机，确定第三只控制器被侦测到
最终的实现效果如下：
4.开启游戏启动MR四分屏模式
确定externalcamera.cfg 放入游戏目录后，将游戏开启，首先确认三个控制器都有被 Lighthouse 侦测到，之后按住Shift 开启游戏选择适合你屏幕的最高画質，之后稍等片刻电脑屏幕的游戏画面就会分成四格，代表成功开启了 MR 模式。
通过四分屏最终实现输出的影像由三个影像合成：摄像机捕捉人的影像，覆盖在背景上（合成视频的背景，虚拟摄像机控制的画面），合成视频的前景覆盖在背景上即可。
e.g 摄像机捕捉人的影像,覆盖在背景上(山和太阳),前景(花)覆盖人和背景上。
星佳测试成功的切西瓜游戏的MR视频截图：
出现四分屏画面后，基本就成功了一大半，目前此方式还只支持unity开发的程序，所以不能保证所有游戏应用都可以通过此办法来实现四分屏，文章最后会列出目前大部分支持MR模式的虚拟现实游戏。
5.设置OBS，开始直播
成功下载开源的OBS后即可开启直播，首先确保游戏的四分屏画面成功出现，真实摄像机的画面可以通过采集卡实时捕捉到电脑里。
视频来源选择裁剪游戏窗口，裁剪区域为虚拟摄像机第三只手柄的控制画面。
②摄像机捕捉：
a.视频来源选择摄像机画面输入或者视频采集卡。
b.设置绿色为色键（和绿幕颜色一样），扣出人像。
③合成视频的前景：
a.视频来源选择裁剪游戏窗口，区域和四分屏的左上角画面重合。
b.设置黑色为色键，扣除前景画面（注意看透视关系，游戏画面前景成功的遮罩住了人）。
获取正确的前景画面后的遮罩关系图
简单的说，我们首先通过获取真实摄像机拍摄的体验者，之后在OBS里实时抠像出只有体验者的透明画面，借着获取两次窗口分别把四分屏的前景和背景成功获取，最后调整三个画面的透视关系和角度即可成功实现MR。
6.如何快速实现相机与控制器的同步？
①整个过程最难的地方在于如何正确填写.cfg配置文件里的参数，镜头与预设位置之间的距离，分为平行(X)丶垂直(Y)与前后(Z)，以及旋转的幅度，这里附上来源于台湾大神CY的经验：
②除了以上数值外，「垂直FOV」的这个数值并没有想像中的容易琢磨出来，一般相机规格写的 FOV 并非「垂直FOV」，最好的解释是留给专业影视老司机来解决，可以肯定的是每款相机和不同镜头的FOV数据都是不同的。
提供一些镜头的垂直 FOV 数据：
Sony HDR CX405: 42.7
LogitechC920 或 C910: 43.3
全片幅 (Full Frame) 搭上 35mm 镜头：27
PS3 Eye (75FOV模式) : 45
(以上来源自：SteamVR Mixed Reality 讨论串）
③把数值填入 用记事本打开「externalcamera.cfg」，X，Y，Z 单位是米，rx，ry，rz (旋转)单位是度。
④开启游戏，看着 OBS 测试，不断开启关闭调整数值，微调直到完美为止。 开始微调如果运气好会在差不多准确的对准状态，慢慢花时间调整到好为止，这里并没什么速成办法，星佳也是慢慢经过长时间的调整有了经验
⑤通过以上的步骤之后，就能够通过 OBS 录制或是直播虚拟现实混合视频的游戏视频了。
VR玩网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。转载请注明出处和链接！
再不关注，就要OUT了！视频地址复制
Flash地址复制
Html地址复制
离线看更方便
用或其他应用扫描二维码
微软为我们呈现了非同凡响的世界：AR（增强现实）+VR（虚拟现实）+AI（人工智能）的结合，一个混合现实 (MR) 的全新时代就要来临。
优质VR内容（游戏/视频）下载，请关注奇境VR()
广播电视节目制作经营许可证：（沪）字第1248号
| 网络文化经营许可证：沪网文[6号 | 信息网络传播视听节目许可证：0910417 | 互联网ICP备案：沪ICP备号-3 沪ICP证：沪B2- | 违法不良信息举报邮箱： | 违法不良信息举报电话：转3搞定零延时前端智能
USB Type-C PD充电器快设计
实践理解应用RTOS各组件
物联网安全从小白到大师
实战让你秒懂mbed OS
&08-08&20:00
&08-15&20:00
&08-11&20:00
&08-25&10:00
移入鼠标可放大二维码
深入探寻最具潜力的混合现实技术MR
来源：VR之家
作者：佚名日 13:51
[导读] MR深入探寻，最具潜力的混合现实技术是怎样的？混合现实是迄今为止众多令人印象深刻的虚拟现实技术之一。
　　MR深入探寻，最具潜力的混合现实技术是怎样的？混合现实是迄今为止众多令人印象深刻的虚拟现实技术之一。通过使用绿幕和特殊的相机设置，使用者可以将游戏中的世界投射到屏幕上并且让它环绕玩家&&好像玩家们是真正站在虚拟环境中一样。这种表现方式不仅可以成就视频的观赏性，还是一个绝妙的分享头显中世界内容的沟通方式。
　　Owlchemy实验室推出了无论在商业上还是用户口碑上都取得成功的&工作仿真（Job Simulator）&VR体验，此外它还是&瑞克和莫迪（Rick and Morty VR）&VR游戏背后的开发者。追溯到今年十月份，Owlchemy实验室对外宣布迭代和改进虚拟现实捕捉方案的计划。
　　近期，他们发布了公司该项目计划的后续进展，包括难以置信的动态照明技术，绿色屏幕边界自动填充和透明度特征抠图等。 Owlchemy Labs的首席执行官Alex Schwartz在接受采访时，对这些新技术的特点和如何为其它公司开发的游戏服务等问题作了回应。&它可以被安装到任何应用程序中，这些零集成度的技术适用于任何在Unity中开发的3D内容。目前，我们正在积极寻找志愿者内测，还没有发布许可证模式版本。& 您可以申请成为Owlchemy实验室混合现实技术的内测人员，并可在其官方博客中获取更多相关消息。
　　关于动态照明功能，该团队在博客中写道，&该技术可以让相同于游戏中光照设定的光照点亮混合现实脚本，让二者无缝的混合。比如说，在游戏中通过魔法咒语点亮深邃黑暗的洞穴，您可以发现，我们已经完成了非常优质的效果&。你可以在上面的动图中观看。 同样令人印象深刻的是绿幕边界自动填充功能，这个是一个超级有用的功能，尤其对于那些只有很小工作空间的用户而言。因为他们很可能无法覆盖天花板或者在绿幕设置的时候遗留了部分的裸露区域。&
　　最后，我们来说一下该解决方案对展现透明物品的技术支持。 &这是第一次游戏中的透明物品可以被扣下并放置于合适的位置来创造深度感知，&Owlchemy实验室在它的一篇博客中写道。&透明度终于开始以它应有的方式来进行工作。之前的混合现实技术很大程度上限制了透明物品所应发挥的效用，但现在通过我们的这个引擎，该限制被完美的解决了& （任何尝试过制作混合现实视频内容的人都应该明白，后期处理过程中将透明物体通过抠图展现出来是何其困难的事情，更别说是实时完成该工作了）。 有了适当的alpha混合，我们还可以获得惊人的粒子效果，比如说有一个人站在烟雾、雨雪或者任何复杂的透明场景之中。&
混合现实相关文章
混合现实相关下载
MR相关文章
MR相关下载
技术交流、积极发言！ 发表评请遵守相关规定。
创新实用技术专题
Android和iOS两个平台在技术和应用程序商店战略上存在明显的不同，开发人员也...
版权所有 & 深圳华强聚丰电子科技有限公司
电信与信息服务业务经营许可证：粤B2-相关的资讯
MR混合现实相对来说应该比VR知道的人更少，那么大家对于MR知道多少?下面大家来了解一下Bridge吧!Bridge优势包括价格低廉、更开放。介于微软HoloLens增强现实眼镜和三星Gear VR之间，不过价格更接近后者。有传言称苹果在开发类似产品，这意味着Bridge将再增添一个竞争对手。
在MR中既包括现实世界，也包括虚拟世界，该技术由“智能硬件之父”多伦多大学教授SteveMann提出，又可称为介导现实。混合现实成功地传达了一个人在VR中所做的事情，并且已经被HTC和Oculus所采用，虽然这看起来会有点怪怪的。混合现实也需要一些设备以及场地设置。
很多人都将2016年称之为VR元年，因为在2016年VR虚拟现实技术得到了快速发展，许多厂商推出了VR头盔。但同时AR增强现实和MR混合现实也得到了快速发展。既然增强现实距离成为主流只差一两年的时间，那些已经在VR领域投入重金的人是否应该开始担忧呢?是的，他们的确是该如此!以下是增强现实和混合现实最终将胜过VR的四大理由
混合现实 相关图片
热门关键字
混合现实 相关问答
MHOL系列完全舍弃了一路上不得不打的各种杂兵小怪,对所有玩家采用了开放式的地图设计,允许玩家完全不打小怪,直面巨型BOSS。由于跳过了沉闷的清杂兵环节,让每一场...
iPhone 的到来。据 Scoble 的消息源透露,iPhone 8 将会是一整块玻璃,计算芯片被放在了底部的条状物上。Robert Scoble 还透露称,这种设计是为 MR(混合现实 VR 和 AR)以及...
目前,微软开发版 HoloLens 已经面向美国和加拿大发货,大众对 HoloLens 和混合现实的关注也逐步升温。为此,这个月两个微软的老员工 Sebastien Motte 和 John Howard 单飞出...
若一切事物都是虚拟的那就是虚拟现实(VR)的领域了。若呈现出来的虚拟信息只能简单叠加在现实事物上,那就是增强现实(AR)。混合现实(MR)的关键点就是与现实世界进行交...
超次元mr是"超次元"2016年刚推出的"混合现实"集换式卡牌游戏,目前该游戏已经开放了,到官网上去下载就能玩了。游戏以二次元为核心背景,众多超人气动漫角色轮番上阵,实体...
混合现实 相关视频}