近日，在第二届多模态情感识别挑战赛(MER24)上，Soul App语音技术团队(Soul AI)在SEMI(半监督学习)赛道获得第一名。

国际人工智能联合会议(International Joint Conference on Artificial Intelligence,IJCAI)是人工智能领域顶级的国际学术会议之一，也是中国计算机学会(CCF)推荐的A类会议。为促进情感计算在人机交互领域的发展，深入探讨该领域最新研究进展、未来发展方向和技术在真实场景中的落地应用，来自清华大学、中国科学院自动化研究所、帝国理工学院、奥卢大学、南洋理工大学等高校的多位专家学者联合在IJCAI2024上举办多模态情感识别挑战赛MER24，并在ACM国际多媒体会议(ACM International Conference on Multimedia，ACM MM 2024)上组织多模态与可靠性情感计算研讨会MRAC24(Multimodal, Generative and Responsible Affective Computing 2024)。

此次多模态情感识别挑战赛(MER24)上，设置了SEMI(半监督学习)、NOISE(噪声鲁棒性)、OV(开放式词汇情绪识别)三个赛道，共吸引了来自知名高校、科技企业等近百支参赛队伍。

其中，SEMI赛道旨在探索和改进半监督学习策略，以便更好地利用未标记数据来提高情绪识别的性能。因当前在实际应用中，获取大量带有情绪标签的数据是困难且成本高昂的，半监督学习是一种减少对标记数据依赖的方法，因此SEMI为大赛中颇受关注、参赛队伍最多且难度高的赛道，Soul语音技术团队凭借平台扎实的技术能力积累和创新技术方案在此赛道中获得第一名。

一直以来，多模态情感识别在人工智能领域都是一个活跃的研究课题，它的主要目标是整合多种模态来识别人类的情绪状态。特别是在社交领域，多模态情感识别技术更是重要的一环。社交的本质是情感的流动，只有能够实现情感的识别，才能让AI更好的理解人性、情绪和情感，实现理想的人机互动。

Soul定位为新型开放式社交平台，致力于用底层技术和产品模式创新持续提升用户的社交体验。自2016年上线，Soul便不断思考AI在社交场景的具体落地应用。2020年，Soul启动对AIGC的技术研发工作，系统推进在智能对话、图像生成、语音&音乐生成等AIGC关键技术能力研发工作。为了让AI更能理解情绪，为用户带来更好的情绪反馈和陪伴感，情感识别是Soul技术团队关注的焦点之一。

目前，Soul具备多模态情感识别能力的语言大模型 Soul X、语音大模型均已上线，并推出了“AI苟蛋”“狼人魅影”“异世界回响”等功能/产品，相关技术已在AI辅助社交、AI陪伴、AI游戏等多个创新场景中得到应用。

在第二届多模态情感识别挑战赛(MER24)上，基于目前平台自研大模型部分模块，Soul语音技术团队重新调整了创新方案参赛，包括提出微调模型EmoVCLIP，用于适应视频的情感识别;使用Self-training策略，通过循环对无标签数据打伪标签与训练模型之间相互迭代从而提升模型的泛化性能;针对模型不同模态之间融合存在的竞争效应，首次在多模态情感识别领域使用Modality Dropout，有效提高模型情感识别准确率等，最终凭借极高的准确性和泛化性能在比赛中获胜。

现阶段，让AI“理解”人、实现有情感的人机交互已经成为学界、科技领域关注的焦点。在近日举办的ChinaJoy AIGC大会上，Soul 副总裁及产品负责人车斌表示，相比“智商”，社交领域更需要有“情商”的大模型，即需要多模态的、具备拟人化属性，确保实现情感化、个性化和生活化。

此次多模态情感识别挑战赛上取得成绩，在国际赛事舞台上展现了Soul的前沿洞察和技术能力。接下来，Soul在推进AIGC在社交场景落地的探索中，将进一步利用多模态情感识别技术能力，让AI辅助社交、提升关系建立的质量和效率的同时，构建人机交互新场景，让用户可以与AI进行更加有温度、沉浸、趣味的互动交流。

举报 0 收藏 0 打赏 0评论 0分享 0

更多>同类资讯

厚积薄发，破茧成蝶——创盈芯ACEMAGIC双屏笔记本全球首发，重塑便携PC新格局！

在这个追求效率与创新的时代，创盈芯携ACEMAGIC品牌再次站在科技前沿，推出全球首款横式翻屏双屏笔记本!不仅重新定义了笔记本电脑的使用方式，更为多任务办公、多屏编程、商务提案及多场景游戏带来了前所未有的高效体验。说起移动办公，轻薄或许是大多数人的选择，但在

07-31

体验全面越级 三星Galaxy C55 5G助你开启暑期全新出游体验

随着滚滚热浪来袭，又到了一年一度年轻人释放激情、探索世界的最佳时机——暑期。无论是海滩度假、山间徒步，还是城市漫游，一款集颜值与性能于一身的智能手机，将成为你旅途中最可靠的伙伴。而在众多选择中，三星Galaxy C55 5G依托轻薄时尚的外观设计、强大的影像能力

07-31

华为视频AiMax影视品鉴会，带你出发去《不可思议的旅行》！

近日，华为视频AiMax影视品鉴会带着大家启动了一场《不可思议的旅行》，在华为智能生活馆·长沙春天百货，华为视频AiMax影视品鉴会第3期邀请了《不可思议的旅行》的嘉宾刘璇、姜潮、林跃、孙滢皓，在华为视频推荐官现场带领下一起近距离感受AiMax影院的视听技术，同时完

07-31

2024年第22届深圳物联网展览会邀请函

JADAK ThingMagic® RFID即将亮相2024年第22届深圳物联网展会2024.08.28-30深圳国际会展中心（宝安新馆）JADAK ThingMagic® RFID will attend IOTE 2024 Expo China2024.08.28-30 Shenzhen World ExhibitionConvention Center (Bao'an District)我们很高兴能够参加

07-31

ChinaJoy 2024精彩回顾！耕升与你一起共创美好回忆！

从忙碌的工作日延伸至轻松的周末，ChinaJoy 2024在短短四天的时间里，以玩家们始终高涨的热情，圆满落下帷幕。在为期四天的狂欢中，耕升展位以其独树一帜的设计，一度成为玩家们的欢乐海洋。展位四周流光溢彩的灯光效果，与黑红色的主题色调相得益彰，使得整个展台洋溢

07-31

新日盐城骑趣嘉年华火热开启，旺季营销全“礼”以赴

这个2024年，如果行业内要提名创意营销，那新日一定榜上有名!从“苏式吃虾，骑新日喝加多宝”到“骑出好运，趣游中国”25城骑趣行活动，每一场活动都以前所未有的热度圈粉全国用户，全面掀起旺季营销的新浪潮。而新日的创意营销能精准拿捏市场的缘由，在于告别了行业传

07-31

极光高管访谈系列：CEO分享海外业务

五月下旬，极光首席执行官Chris Lo亮相新加坡最大的科技会议之一——2024 Asia Tech x Singapore。在为期三天的新加坡之行中，Chris Lo与众多行业领袖和来自全球各地的潜在客户进行了交流。极光CEO，Chris Lo (左一)，在2024 Asia Tech x Singapore展会和海外潜在客户讲

07-31

AMD公布2024年第二季度财报

加利福尼亚州圣克拉拉市—2024年7月30日―AMD(NASDAQ: AMD)今日公布2024年第二季度营业额达58亿美元，毛利率为49%，经营收入2.69亿美元，净收入2.65亿美元，摊薄后每股收益为0.16美元。基于非GAAP标准，毛利率为53%，经营收入13亿美元，净收入11亿美元，摊薄后每股收益

07-31

暑假学习好帮手推荐，Brother HL-L1808W

暑假，是学生们放松身心、充实自我的黄金时期。对于许多勤奋好学的学生来说，暑假也是他们查漏补缺、提前预习的重要阶段。在这个阶段，一款高效、稳定的打印机无疑会成为他们学习的得力助手。Brother品牌推出的新一代“悦享”系列激光打印机HL-L1808W，凭借其出色的打印

07-31

技术融合与创新引领，自然阳光直播开启新纪元

近年来，自然阳光在直播领域展现出了非凡的活力与前瞻性，自然阳光通过一系列扎实有效的努力，从指尖体验、逆龄派App、星选小程序、数字化八爪鱼策略和总裁直播间等数字化平台和策略的持续完善，开启了健康营养品行业的营销格局，更为自身发展注入了强劲动力。面对激烈

07-31

抖音提醒：警惕不法分子谎称“百万保障服务到期”实施诈骗

7月30日，抖音发布《关于防范不法分子谎称“百万保障服务到期”实施诈骗的提醒》，打电话自称“抖音客服”，以“百万保障即将到期扣费”“相关会员服务将扣费”为由，要用户下载第三方软件、添加社交账号、共享屏幕协助操作的行为，都是典型的诈骗套路。今年7月，市民A

07-31

星环科技上榜Gartner®中国数据基础设施代表厂商！

近日，Gartner 发布了《Innovation Insight: Data Infrastructure Evolves as the Foundation of DA Ecosystem in China》创新洞察研究报告，分析了当前中国企业使用数据基础设施的现状以及未来发展趋势。星环科技成为中国数据基础设施代表厂商(Representative Provider

07-31

惠普AI PC全场景AI解决方案重磅发布， AI一步到位，智能触手可及

北京，2024年7月30日 ——7月30日， “AI 用起来——惠普AI PC全场景AI生态大会”在北京成功举办。此次大会上，惠普正式推出了创新的AI PC全场景AI解决方案与升级的AI PC产品组合，并与本土软件合作伙伴携手，共同构建惠普专属的AI生态，力求满足用户在工作、生活、娱乐

07-30

国际橡塑展满载商机回归大湾区，年度盛事不容错过的10大理由

今年4月在上海圆满落幕的“CHINAPLAS 2024 国际橡塑展”，以无限的创新魔力书写了璀璨的篇章。如同一艘满载商机的巨轮，展会将乘风破浪，再度驶向充满活力的粤港澳大湾区。“CHINAPLAS 2025 国际橡塑展”定档2025年4月15 - 18日，在深圳国际会展中心(宝安)开启新程，规

07-30

中国工程院院士郑树森：“我是70后 还年轻着”

74岁的老院士，如今依然奋战在临床一线，即便一天连做4台手术，持续至深夜，第二天仍然准时出门诊、查房。日前，中国工程院院士、浙江省医师协会会长郑树森在采访中说，医生是自己最骄傲的身份，多年来，患者的需求永远在自己心里排在首位，只要自己还能动，就要一直陪