近日,IEEE/CVF计算机视觉国际顶级会议(CVPR 2023)公布第五届人脸表情国际挑战赛(ABAW5)的结果,网易伏羲AI实验室虚拟人团队再创佳绩:在人脸表情(肌肉)动作单元检测(AU)、人脸情绪识别(EXPR)、愉悦度-唤醒度估计(VA)和情绪反应强度估计(ERI)四个赛道中,分别获得了两项冠军、亚军和季军的优异成绩,这已是网易伏羲连续三次在该赛事中获得AU和EXPR双赛道冠军。这些成果充分展现了网易伏羲在人脸表情感知领域的长期沉淀和技术实力。
(资料图)
CVPR是全球计算机视觉领域顶级的学术会议之一,拥有40年历史,长期享誉盛名,是学术界和工业界公认的重要会议之一。ABAW赛事是专注于自然环境下(in-the-wild)的人脸表情感知的国际赛事,本届比赛吸引了众多国内外知名企业和高校的参与,包括百度、思图、天翼云、斯坦福大学、南加州大学、南洋理工大学、莱斯特大学、清华大学,中国科学技术大学、浙江大学、中国人民大学等。能从一流竞赛队伍中脱颖而出,离不开伏羲众包平台所提供的高质量的数据标注与管理服务。
在今年的比赛中,网易伏羲虚拟人团队继续优化了自研表情表征技术和基于transformer的多模态情绪分析框架,进一步提高了模型的识别准确性和泛化能力。
网易伏羲成绩一览
网易伏羲虚拟人团队解决 ABAW5 挑战赛难题
人脸表情分析是计算机视觉领域一个重要的研究方向,其在人机交互、心理疾病诊断与治疗、刑侦安防等领域有着广阔的应用前景。常见的人脸表情情绪表征包括表情(肌肉)动作单元、基本情绪类别以及愉悦度-唤醒度。ABAW5针对这三种表征分别提出了挑战赛道,此外,今年还新增了ERI估计这一项新挑战。ERI指人类在面对某种刺激时所产生情绪反应的程度,赛事将其归纳为7个情绪维度的连续值。该赛事提供的视频数据存在复杂多样的光照、角度、遮挡以及数据类别不均衡问题,这对模型的泛化性提出了挑战。针对这些挑战,网易伏羲提出自己的解决方案,为行业的实际落地提供了新的思路。
pipeline框架图
利用自研MAE-Face技术,网易伏羲成功实现了人脸视觉细粒度特征集成模型。该技术借鉴了Masked Autoencoder (MAE) 的结构,基于大规模的人脸数据集,采用掩码的自监督训练方式,同时结合伏羲在表情表征技术的长期积累,实现了隐空间细粒度的表情表征能力。同时,为了优化性能,该技术使用了时序和音频等多模态信息的融合,并运用transformer技术进行特征整合,取得了多个赛道的领先成绩。
除此以外,网易伏羲还加入了基于对比学习的表情编码预训练特征,该特征在前两届比赛中也得到了应用。为了进一步加强这一特征,在本次比赛中,网易伏羲制造了更多的对比样本并基于网易有灵众包平台完成了高质量、高效率的人工标注。具体来说,网易有灵众包在"人工样本标注"和"人工检验"阶段将相应的众包任务通过低代码平台发布到众包平台中,然后经过人类标注的数据再通过AOP规范化接口输入到AI能力系统中,喂给表情编码算法进行表情相似度的训练,值得一提的是, 众包数据的质量直接影响着表情编码表征细粒度表情的效果。网易有灵众包平台提供了基于用户画像的区间估计、真值推断等自动质检功能,在降本增效、缩短标注周期、保证质量等方面都有一系列的前沿算法举措。得益于有灵机器人平台提供的能力支撑,网易伏羲才能在短时间内提升了表情编码的表征,为最后的获胜打下了坚实的基础。
人类表情AI感知技术广泛应用于游戏、数字文旅、心理测试等领域。以游戏场景为例,人类表情AI感知技术能够提高AI对于玩家情绪的精准感知,并以更为自然合理的方式进行回应。网易伏羲的模型提取到的表情特征,能够帮助游戏开发者实现更为细腻、传神的NPC表情动画,配合语音生成表情技术,进一步提升AI合成动画的质量,缩短游戏研发周期,降低制作成本。
持续深化虚拟人领域的探索与实践
网易伏羲在AI人脸表情迁移、情绪识别等研究领域取得了显著成果,并已在网易集团内外部多个产品中得到验证,为产品及用户提供了更加便捷、高效、智能化的服务。例如,伏羲人脸表情迁移技术可以将真实人脸的表情迁移到虚拟人物上,使虚拟人物与用户进行更加自然流畅的交互,提高互动体验。
网易伏羲将持续深化在虚拟人科研领域的探索,积极将最新的 AI 人脸表情分析技术应用于游戏、文旅、文娱等产业,为用户提供更为自然、流畅的虚拟人互动体验。借助智能捏脸、动画迁移、动画合成、语音合成、语音转换等完善的虚拟人能力服务,推动 AI 技术在实际应用中发挥更大价值,为行业带来前崭新的AI+应用体验。
关于网易伏羲
网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文,拥有400多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,已服务超200家客户,应用日均调用量超数亿次。
(免责声明:此文内容为广告,相关素材由广告主提供,广告主对本广告内容的真实性负责。本网发布目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,请自行核实相关内容。广告内容仅供读者参考。)
关键词:
2023年湖南高考缴费成功后可以退还吗?什么时候截止缴费?湖南省2023年普通高等学校招生考试(含普通高中学业水平选择性考试和普通高等学校对
2023湖南高考报名人数达68万?今年湖南高考报名人数达68万!4月23日下午,省教育厅召开2023年全省教育考试招生工作会议,要求加强考试招生治
教师资格网显示网报待确认是提交资料还没审核吗?所有申请人在中国教师资格网上完成报名后的状态均为网报待确认,申请人在长沙政务服务网提
郑州小学生有以下情形可以转学吗?1、入学未满一学期的(转出省外的除外);2、进入毕业年级的;3、国际班转入普通班的;4、拟转入学校与转出学校
一个人一年最多可以考几次普通话?一个人一年最多可以考三次普通话。根据国家语委办的文件规定,报名参加普通话测试的人员,必须在前5个月内未
郑州2023教资复核结果什么时间统一反馈?5月8日统一反馈复核结果。复核成绩无误的考生不再予以反馈,成绩有误的考生将电话通知考生本人。中
2023郑州教师资格认定体检价格公布了吗?郑州市高中、中专及各县(区、市)初中、小学、幼儿园教师资格认定体检费用和规定详见郑州市高级中学
北京市西城区能能办理外省转学吗?北京市西城区初二能办理外省转学的呢,根据北京市西城区中学的管理规定,外省的是可以办理转学的哈,但是
近日,IEEE CVF计算机视觉国际顶级会议(CVPR2023)公布第五届人脸表情国际挑战赛(ABAW5)的结果,网易伏
历史地震:根据中国地震台网速报目录,震中周边200公里内近5年来发生3级以上地震共76次,最大地震是2021年5
2023宁海县强蛟镇幼儿园招生计划一览招生计划属地招生单位地址性质计划数第一阶段已招人数第二阶段可招人数
原标题:“留给鸟吃”一举多得“真奇怪,这几片稻田都熟透了,为啥不割啊?你看,稻子都被鸟儿吃了。”来到
中国科学院地质与地球物理研究所研究员秦小光、王旭、吴海斌,联合国家天文台研究员刘建军、任鑫,大气物理
给“特种兵式旅游”温暖看护杭州地铁试点行李寄存服务
澎湃新闻记者从中国国家铁路集团有限公司(下称国铁集团)获悉,自4月27日铁路五一小长假运输启动以来,截
中央气象台预计,未来三天(5日至7日),我国主雨带将分为两支,其中一支位于江南、华南中北部及西南地区东
国家石油天然气管网集团有限公司(简称国家管网集团)自成立以来,一直将数字化转型视作重大战略任务,并加
5月5日,由知乎策划,知名作家吴军博士所著的童书《给孩子的人类文明史》正式出版。作为吴军博士的最新力作
不必担忧真相来了 城镇职工基本养老保险和城乡居民基本养老保险制度可以办理衔接根据2014年人社部、财政部
美国哥伦比亚广播公司日前报道说,4月29日假期第一天,多地热门旅游景点门票都处于约满状态,旅游、零售和
一夜消息:冠军教头下课,绿军悍将创造历史,狄龙新东家曝光,绿军,悍将,狄龙新,雄鹿队,热火队,nba,斯玛特,
2023年湖南高考缴费成功后可以退还吗?什么时候截止缴费?湖南省2023年普通高等学校招生考试(含普通高中学业水平选择性考试和普通高等学校对
今年“五一”假期,旅游出行市场火热,流动的中国活力无限。
中央气象台5月5日10时继续发布强对流天气蓝色预警
驰而不息,久久为功。2020年,中国石油大学(北京)克拉玛依校区第一届本科毕业生有118名学生选择扎根西部
2023湖南高考报名人数达68万?今年湖南高考报名人数达68万!4月23日下午,省教育厅召开2023年全省教育考试招生工作会议,要求加强考试招生治
连日来,重庆72家A股上市公司陆续披露了2023年一季报。5月4日,记者梳理分析相关公开数据发现,今年一季度
每一年的AWE都是展示品牌实力、科技成果的重要平台。今年,全球领先的小家电供应链与产品品牌——斗禾科技
据初步测算,各省(区、市)共举办各类文化和旅游消费促进活动超2万场次,发放消费券等惠民补贴约4亿元,吸引
央视网消息(新闻联播):正在举行的第133届广交会第三期,乡村振兴特色产品展区吸引了众多企业参展,大家
连日来,山西晚报记者对太原车市进行调查发现,相对于传统燃油车主要通过4S店销售的模式,越来越多的新能源
甘肃一市多名干部被处分
甘肃一市多名干部被处分
在山东淄博,在超十万人“进淄赶烤”的同时,快递企业抓住机遇升级服务,通过设立便民服务点、流动揽收、改
王鹤棣虞书欣在一起了吗?1、王鹤棣虞书欣没有在一起。王鹤棣和虞书欣是合作伙伴也是朋友关系,两人不是情侣关系。在电视剧《苍兰诀》中,王
《卿卿日常》李薇真实身份是什么?1、《卿卿日常》李薇真实身份是霁川的普通女孩子,李薇的父亲是李文弼,母亲是诸葛小美,虽然父亲官职很小
中央气象台预计,未来三天(5日至7日),我国主雨带将分为两支,其中一支位于江南、华南中北部及西南地区东
山西省忻州市定襄县公安局5月4日发布警情通报称,5月1日15时许,定襄县宏道镇西社村发生一起重大刑事案件,
5月4日晚间,索菲亚(002572)披露简式权益变动报告书,披露了公司最新的股东持股变动情况。在本次权益变动前
其中,浙江一马当先,“五一”假期全省累计接待游客3125万人次,实现旅游收入369 7亿元,同比分别增长71%、
河南经济报记者杨磊通讯员史博文“五一”期间,沈丘农商银行为加强安全保卫管理,防范和消除各类事故隐患。
可是该来的总归要来昨夜开始,杭州多城区发布预警市气象台提醒:今天有雷雨伴短时暴雨出门注意强对流天气
强对流天气蓝色预警:江西湖南等地部分地区将有雷暴大风或冰雹中央气象台5月5日06时继续发布强对流天气蓝色
由此,研究人员提出,火星地轴大倾角时,低纬度地区的低温有助于降霜降雪,进而导致含盐沙丘表面结壳和团粒
开展执纪执法业务全国巡讲,是中央纪委国家监委案件审理室贯彻落实党的二十大精神和二十届中央纪委二次全会
火灾发生后,当地政府相关负责人率队赶往现场,并调集消防、应急等救援力量到现场扑救
对于冰清玉洁代表什么动物这个问题感兴趣的朋友应该很多,这个也是目前大家比较关注的问题,那么下面小好小
中央气象台5月5日06时继续发布强对流天气蓝色预警:预计5月5日08时至6日08时,湖北西部、湖南西部、江西西
凤凰网科技讯《AI哨所》北京时间5月5日消息,面对ChatGPT和其他聊天机器人的爆红,苹果公司CEO蒂姆·库克表
5月4日,工信部发布数据显示,2023年一季度,我国规模以上电子信息制造业增加值同比下降1 1%,降幅较1-2月
二、重庆贵州湖南江西等地将有强对流天气预计5月5日08时至6日08时,江苏南部、上海、湖北西部和南部、湖南
银保监会昨天(4日)公布的数据显示,2022年我国保险业原保险保费收入4 7万亿元,同比增长4 6%
中央气象台5月5日06时继续发布暴雨蓝色预警:预计,5月5日08时至6日08时,四川东部、重庆大部、湖北西南部
昨天(5月4日),甘孜1000千伏特高压变电站主体在四川正式开工建设,这也是目前我国在建海拔最高的特高
地球上最后一只雌斑鳖死了!4年前苏州人工授精,曾意外搞死一只,灭绝,地球,莫湖,动物,苏州,雌斑鳖,食物链顶端
直播吧5月4日讯皇马名宿古蒂接受采访时谈到了梅西的情况,他个人并不支持梅西回归巴塞罗那。古蒂说:“如果
中国地震台网正式测定:05月04日23时38分在台湾花莲县(北纬23 46度,东经121 33度)发生4 5级地震,震源深度10千米
1、出生于1982年的胡歌,在影视界还是有一定地位的,虽然主演的影视剧不多,但是他并不像其他人一样追求“
智通财经APP讯,GTSTEELGROUP及要约人万宝国际联合公布,于2023年5月4日下午4时正(即综合文件所载接纳要约
【来源:浦江县气象台】浦江县气象台2023年5月4日21时35分发布大风黄色预警信号:受强对流云团影响,预计未
云南网讯(记者 刘子语 通讯员 张释巍 付冬琴)记者5月4日从昆明海关获悉,“五一”假期期间,昆明海关
5月4日晚,第十三届北京国际电影节·第30届大学生电影节“青春之夜”荣誉盛典落幕。
顺络电子接待海通证券等多家机构调研
截至5月4日,清洁机器人企业均已交出2022年“答卷”,纵观这一赛道,企业增收不增利成为显著现象,虽然营收
今天夜间到明天阴到多云有分散性阵雨或雷雨,局部累积雨量可达大到暴雨程度,雨量分布不均。
蕾丝蝴蝶结制作教程,怎样制作蕾丝蝴蝶结很多人还不知道,现在让我们一起来看看吧!解答:1、准备14cm宽的
全国游泳冠军赛:张雨霏获女子100米蝶泳冠军
南京公墓贪腐案警示教育会,杨萍涉嫌侵占公款被判刑,葛荣士因受贿罪、贪污罪、失职罪被判刑,案件反映出公
中新经纬5月4日电近日,中国国家计算机病毒应急处理中心和360公司发布的最新报告全面深入分析美国中央情报
天津市气象台于2023年05月04日17时55分发布陆地大风蓝色预警信号:预计明天早晨到傍晚,天津大部分地区将有
今天是“五一”假期的最后一天重要提醒:本周末上班时间有变化!本周六是工作日根据《国务院办公厅关于2023
据介绍,2021年2月,广东紫金白溪省级自然保护区科研团队和中山大学凡强团队,在紫金县西部区域一悬崖峭壁
总结来说,这条消息的真正目的是什么,梅西刚和巴黎闹翻,就出现了这条消息,我们还是倾向于他们为了梅西可
王永志,航天技术专家,中国载人航天工程首任总设计师。
中国民生银行首席经济学家温彬:今年以来,国内宏观政策坚持了稳字当头、稳中求进的基调,稳健的货币政策精
新增减税降费约350亿山东推出多项政策措施促实体经济发展
五四青年节,青春不打烊。他是中国载人航天工程首任总设计师。青年时代的他,敢直接去找钱学森提出自己的方
今天,喜马拉雅“万千星辉”播客扶持计划升级,拟将从“新声力、观点团、分成激励”三大板块全面扶持播客创
开源证券05月04日发布研报称,给予东材科技(601208 SH,最新价:12 46元)买入评级。评级理由主要包括:1
提醒降雨落区的广大驾驶人,确有自驾出行需求的,一定要牢记“降速、控距、亮尾”!
2022年,国家药监局以疫苗NRA评估推动质量管理体系提升,以编制更新程序文件规范监管行为过程,以调查研究
降温10℃!暴雨+雷暴大风!市防办发布提醒!
气象部门表示,受低涡和高空槽共同影响,白天部分地区出现了弱降雨天气
景区回应:公安部门已经介入调查。
以奋斗姿态激扬青春,拼搏的故事精彩纷呈。
同花顺(300033)金融研究中心5月4日讯,有投资者向高鸿股份(000851)提问,请问公司和华为合作主要在哪些
五四青年节,聆听总书记的青春寄语
近日,随着全球元宇宙大会、2023数字中国创新大赛、元宇宙中国行等系列活动的火热举办,元宇宙的热度再次飙
飞利浦水健康厨下净水器U22Pro荣获了艾普兰优秀产品奖。随着净水器的逐渐普及,人们也逐渐从喝干净水的基本
预报显示,受温带气旋和冷空气共同影响,预计4日夜间至5日白天,渤海和黄海将出现2 5米到3 5米的大浪
公安部交通管理局第一时间启动交通应急管理机制,指导相关地区公安交管部门针对本轮强降雨天气联合研判会商
中央气象台发布暴雨、强对流蓝色预警,节后北方地区降雨、大风、冰雹、降温,需注意防范。
点击上方蓝字关注我们延安市人民医院官方微信公众号关注义诊通知延安市人民医院皮肤科将于5月10日开展银屑
老太带孙子8年,在儿媳手机里看到自己的备注后,气得买票回老家,保姆,婆婆,张芬,儿媳,手机,备注,美滋滋,钟点工
江西启动重大气象灾害(暴雨)四级应急响应
随着冷空气渗透南下,长三角地区自北向南气温下滑,预计降温幅度普遍可达10℃以上
“五一”假期海南离岛免税购物金额8 83亿元
国家林草局等三部门联合打击涉松材线虫病疫木违法犯罪行为,保障生态安全。
昨日全国交通部门发送旅客总量5690 42万人次
凤凰网科技讯5月4日消息,今日,针对“拼多多总部从中国迁至爱尔兰”这一网传消息,拼多多相关负责人回应称
从用户出行订单分布数据来看,出行订单量Top5城市分别为南京、杭州、深圳、青岛、成都,核心一二线城市仍然
据微信公众号“全国碳交易”,5月4日全国碳市场碳排放配额(CEA)挂牌协议交易成交量10吨,成交额555 00元
面对艰难险阻躺平不是态度豁达和坚持都是珍贵的礼物老手艺换新装开始跑酷一瞬间的灵感仿佛穿过某根神经通关
快科技5月4日消息,随着ChatGPT的大火,生成式AI已经被各行各业火速跟进,光国内发布的类似产品都有数十款
市场监管总局等十一部门联合印发《关于进一步加强医疗美容行业监管工作的指导意见》
时代青年,心存热爱,奋斗追梦吧!
1、孙过庭《书谱》经典字例解析是一本2020年出版的图书。2、由荣宝斋出版社出版。文章到此就分享结束,希望
西南区域未来一周,区域大部大气扩散和湿清除条件较好,无明显霾天气
五一期间天津外地车高峰限行措施有哪些?自2023年4月3日起,工作日(因法定节假日放假调休而调整为上班的星期六、星期日除外)每日7时至9时、1
外地人在天津怎么坐地铁?进站买票乘坐,目前买票是用自动售票机 , 投纸币,五元、十元,根据你乘坐地点和乘坐的距离,票价是不一样的,在
天津地铁首条线路何时开通运营?天津轨道交通,是指服务于中国天津市的城市轨道交通系统,包括地铁系统、轻轨系统;其首条线路于1984年12月28
车牌摇号和竞价两者的区别在于:摇号是免费的(有靠运气的成分),竞价是类似于拍卖的,需要花钱买。摇号和竞价不能同时参与,只能选择其一!
进行竞标成功后付款的账户。公司车牌竞价保证金账户指的是进行竞标成功后付款的账户。保证金是指用于核算存入银行等金融机构各种保证金性质