短视频热门教程郭一璞来自奥飞寺
量子比特报告| 公众号QbitAI
人工智能研究从论文到应用还有多远？
我们看到了很多有趣的AI应用，比如修改图片、编辑视频、生成音乐等。 他们中的大多数只是坐在纸上。 好心的作者会在 GitHub 上开源，并分享 demo 供大家体验。
然而，体验AI技术带来的乐趣的门槛仍然很高。 对于普通人来说，比如你家乡的爷爷奶奶，开一个Colab，跑一个Demo是很难的。
然而，快手这样做是为了“让村里的老人体验人工智能的乐趣”。 无论他们使用的硬件是多低端的千元机还是百元机，通过快手的一系列AI技术积累和算法优化，普通人也能体验到基于人脸识别、身体识别的体验、手势识别、人体分割、AR魔幻表情等技术，享受前沿科技带来的乐趣。
比如让“哥斯拉”来到工地。
△来自快手用户星云“Xy”
又比如，利用“萌脸”魔法表情，全家可以换上绿色的爆炸头，跳起最流行的拳击舞，甚至戴上头套也能秀出各种表情。
△来自快手用户张女士的穿搭秘诀
近日，快手一款最新的AI交互设备在美国加州CVPR 2019会场引起轰动，吸引所有与会者驻足体验，连连称赞：nice！ 有趣的！ 甚至被CVPR现任主席朱松春教授称赞为最优秀的展厅。
该交互设备通过多模态整合面部识别技术、身体识别技术和手部动作识别三种人工智能技术的识别结果，让虚拟3D图像实时复制体验者的面部表情、身体动作和手部动作。
通过面部关键点识别和面部表情识别，虚拟图像可以跟随体验者实时做出微笑、闭眼、张嘴、伸出舌头等50多种细微表情。
通过3D人脸重建技术，恢复人脸的3D几何信息以及世界坐标空间中头部的姿态，可用于精确驱动头部旋转和人脸朝向。
此外，还充分考虑了肢体运动的物理限制，有效避免了真实人体无法完成的动作。
两个月前，这项技术也被运用在快手APP中，让多个知名短视频动画IP形象开始直播，与用户实时互动。 一禅小和尚3D形象首次直播49分钟，获得64.9万点赞，观看人数超过25万。 很多用户都被一禅小和尚的暖心治愈了。
这些不同的AI玩法背后的技术基础是什么？
在今年的CVPR上，快手Y-tech西雅图人工智能实验室和FedA商业Y-tech联合实验室负责人刘吉、快手Y-tech硅谷实验室负责人王华燕揭晓了背后的秘密。
七大支撑、三大实验室
在快手，AI技术不仅用于常规的内容分发和广告推荐，更重要的是短视频和直播相关内容的制作。
这背后，快手依托计算机视觉、图像处理、语音识别、多模态理解等多项技术，以及七大人工智能技术组成的技术平台和底层支撑。
针对用户行为的推荐需要高效的离线和在线学习培训服务推荐系统，能够对万亿特征大数据进行全链路实时在线学习。 这里，快手的广告推荐离线训练系统达到了100T数据和100G特征快手在线自助业务平台，1小时内训练完成。
将技术应用到手机上需要模型压缩和基于深度学习的AutoML。 快手使用自己的端到端模型压缩算法。 它不仅发表了很多论文，而且它的实际在线性能已经超越了过去常用的方法。 经典算法。
从游戏到广告竞价，AI系统的决策能力也在接受考验。 快手的专家团队利用强化学习的方法，将多种智能决策技术应用到用户每天看到的短视频中。
其背后的神经网络基础依托于快手自研的YCNN深度学习推理引擎，针对不同的手机硬件进行了适配和优化。 这样，各地的用户在拍摄各种特效时都能保证实时性和准确性。 流畅性。
此外，在机器学习方面，快手拥有自己的机器学习平台，结合自研的服务器资源虚拟化技术、RDMA高速网络、CPU/GPU/F-PGA异构计算系统和共享存储系统，为快手提供内部AI基本功能。 还专门推出了亚瑟自助机器学习开发平台，以完全自助的方式简化机器学习开发操作。
有了工具，还需要数据的支持。 快手免费大数据平台为Tensorflow/Mxnet/XDL/MPI等各种主流机器学习引擎提供海量多模式数据存储、异构资源调度以及分布式训练和预测。
除了七大平台外，快手还拥有美国西雅图、硅谷、圣地亚哥三大实验室的人才和技术支持。
快手Ytech西雅图人工智能实验室
刘吉教授是快手Y-tech西雅图人工智能实验室和FeDA商业Y-tech联合实验室负责人，从事机器学习和人工智能研究超过15年。
此前，刘吉教授与快手创始人苏华荣获2017年麻省理工学院中国35位35岁以下最佳创新人才奖快手在线自助业务平台，两人在颁奖典礼上不期而遇。 他们也研究过机器学习领域，相似的经历让他们一见如故。
也正是因为这样的缘分，刘吉教授于去年10月加入快手，并成为西雅图两个实验室的负责人。 他目前还在罗切斯特大学计算机科学系和电气工程系任教。
西雅图实验室是快手在美国的三个实验室之一。 主要聚焦智能决策问题，承担了快手的大量主营业务，如商业广告推荐、竞价、大型线下培训平台、游戏AI和游戏关卡自动化等。 生成、手机AI模型优化和AutoML、视频图像分析、理解和生成等。
对于一项AI技术的研发，基于数据的可用性，必须合理设计和训练模型，AI系统才能真正运行。 但对于快手来说，模型压缩是AI模型服务千元机大众的关键一步。
刘吉教授表示，AI技术落地时，越是用在性能不太好的模型上，技术挑战就越大，而模型压缩的任务就是专门让AI能力服务于每一个领域。用户。 关键的一步，这也是西雅图实验室除了训练AI模型之外的主要任务之一。
因此，无论是像这样的娱乐效果，将熊二带入现实，还是变身雷神，快手都可以保证，无论是强大的旗舰机还是普通的千元机。
△来自快手用户任性又可爱
△来自快手用户拉面哥-辛拉面
除了短视频平台外，快手的业务还涉及广告和游戏。 在广告方面，西雅图实验室主要采用强化学习等方法来实现广告推荐、竞价等功能。
刘吉还领导了FeDa商业化Ytech联合实验室，在广告推荐方面也做出了一些技术创新。 此前，对于广告推荐商业平台，业界普遍的做法是使用CPU，效率较低。 刘吉团队改进了这种方法，用GPU方法代替。 单机效率提升640倍以上。 以前需要50个CPU机器才能训练20个小时的数据，现在只需要一个GPU就可以训练1个小时。
游戏方面，快手拥有近百款自主研发的小游戏。 人工智能也应用于游戏中。 一部分是游戏AI，另一部分是游戏关卡的自动生成和难度评估，以及游戏数据分析和智能运营。
例如，三消游戏需要更新新的关卡，但手动设计和测试关卡的工作量非常繁重。 因此，在快手，利用AI系统自动生成关卡并自动测试难度，得到的通关率是相当准确的，误差率只有7~8%左右。
目前，西雅图实验室虽然只有十几个人，但是效率很高。 研究方面，今年有7篇论文被主要会议接收。 在实施方面，通常只需要一周左右的时间就能将实验结果落地并付诸实践。 正式投放市场。
快手Y-tech硅谷实验室
王华燕，快手Y-tech硅谷实验室负责人，毕业于北京大学，获得学士和硕士学位，后前往斯坦福AI实验室攻读博士学位。 在加入快手之前，王华燕曾在硅谷人工智能初创公司Vicarious担任高级研究员。
硅谷实验室位于斯坦福大学校园附近。 与之前介绍的西雅图实验室不同，快手硅谷实验室更专注于计算机视觉，利用AI打造各种特效，为用户在创作短视频时添加丰富多彩的内容。
例如：
你也可以实现这样的改变，将静态照片直接变成延时摄影，将白天变成夜景：
在用户的手机上实现和部署这些功能是硅谷实验室的核心技术挑战。
“这其中有两大挑战。 一是我们需要以非常高效的方式训练和开发模型，二是我们还需要让这些模型以最高的效率运行在移动设备上，所以它需要在数据和计算上都达到非常高的效率”王华彦说道。
例如，在人物的视频图像分割中，当前的方法是将大量图像注释为监督学习的数据集并训练模型。 然而，这种方法并不是很有效，并且比人类只需要少量样本的学习方法效率低。
也正是因为如此，快手硅谷实验室不断招募人才来改进AI算法，提高数据和计算效率，使模型训练和部署能够高效完成。
门户网站
最后，快手Y-Tech西雅图AI实验室联合罗切斯特大学等研究人员提出了一种基于能耗建模的压缩方法。 这项工作的论文也被CVPR2019收录。 有需要的朋友可以来领取哦~
ECC：通过双线性回归模型进行平台无关的能量约束深度神经网络压缩
作者：杨海川、朱宇豪、刘吉
作者为网易新闻·网易账号“每个人都有自己的态度”签约作者
- 超过-
人工智能社区 | 与优秀人士交流
小程序| 全品类AI学习教程
量子比特 QbitAI·今日头条签约作者
̾'ᴗ' ̫ 追踪AI技术和产品新进展
喜欢的话就点击“好看”吧！
发表评论