📝 About

  • 宋启亚,工学博士,硕士研究生导师,师从李树涛教授,2023年毕业于湖南大学电气与信息工程学院/机器人视觉感知与控制国家工程研究中心,2024年入职于湖南师范大学信息科学与工程学院。以第一/通讯作者在IEEE TNNLS、ACM Multimedia等高水平国际期刊/会议发表论文多篇,论文发表获得到国内外同行的关注,申请/授权发明专利五项(其中一项已经完成成果转换)。

  • 在国际顶级会议ACL、ACM以及全球最大竞赛平台kaggle上举办的国际竞赛获得冠军4项、亚军2项;获得国际“互联网+” 创新创业大赛全国银奖/铜奖等;作为研究骨干参与国家重点研发、JKW等国家级/省部级项目多项,与等国内外知名企业和技术企业保持良好合作关系。长期担任IEEE TNNLS、IEEE TALSP IEEE TMM等国内外期刊的审稿人以及多个专委会执行委员,先后获得湖南大学校长奖学金、湖南大学优秀研究生等荣誉称号。

  • 联系方式(微信号):QiyS_UNB (如有需求,请注明来意)

  • Email:sqyunb@hnu.edu.cn

🔥 Researches

长期从事多模态信息融合、音视频图像处理、人工智能、深度学习技术等研究;主要如下:

-(1)多模图像融合:多模图像融合能利用不同模态的优势,实现更全面、更清晰、更准确的感知,在军事侦察、遥感测绘、医疗诊断等领域发挥重要作用。


-(2)多模态融合的机器人自然交互:针对复杂场景下人机交互系统面临的智能化和情感化挑战,发展多模信息融合(语音、视觉、文本等)的理论方法,攻克智能人机交互技术。


📝 Academics

Publications (Last three years)

  • Multimodal Graph Neural Network for Recommendation with Dynamic De-redundancy and Modality-Guided Feature De-noisy,in IEEE TNNLS,under review
  • Intra- and Inter-modal Graph Contrastive Learning for Multimodal Recommendation,in IEEE TNSE,under review
  • SFMRec: A Specific Flow Modality Recovery Framework For Multimodal Recommendation,in AAAI2025,under review
  • CD4C: Change Detection for Remote Sensing Image Change Caption,in IEEE TGRS,Major revision
  • FGCM: A Modality-behavior Fusion Model Integrated with Graph Contrastive Learning for Multimodal Recommendation,IEEE TBD,Major revision (JCR Q1)
  • Multi-modal Joint Learning framework with Modality Interaction Network for robust speech recognition, in Information Fusion,2023(SCI中科院一区 TOP期刊 IF=18.60)
  • Multi-modal Sparse Transformer Network for Audio-Visual Speech Recognition, IEEE Transactions on Neural Networks and Learning Systems, 2023 (SCI中科院一区 TOP期刊 IF=14.25)
  • Multi-scale Conformer Fusion Network for Multi-participant Behavior Analysis. Proceedings of the 31st ACM International Conference on Multimedia. 2023.(国际多媒体顶级会议 CCF_A)
  • Continuing Pre-trained Model with Multiple Training Strategies for Emotional Classification,Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022(CCF_A workshop , EI )
  • Prompt-based Pre-trained Model for Personality and Interpersonal Reactivity Prediction,Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022 (CCF_A workshop , EI )
  • Artificial Text Detection with Multiple Training Strategies, Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference (EI)
  • Overview of the NLPCC 2024 Shared Task: Multi-Lingual Medical Instructional Video Question Answering,NLPCC2024(EI)
  • Domain-Invariant Feature Learning Memory Network for Cross-Scene Hyperspectral Image Classification ,ICSI2024(oral,EI)

Representative Patents

  • 李树涛,宋启亚,孙斌. 一种智能机器人的多模态融合自然交互方法、系统及介质,CN202210838251.1
  • 李树涛,宋启亚,孙斌. 一种跨模态多特征融合的音视频语音识别方法及系统,CN 202011001648.2
  • 李树涛,宋启亚,孙斌. 一种基于跨模态注意力增强的唇语识别方法及系统,CN202110986219.3
  • 李树涛,宋启亚,李宾,孙斌. 一种基于混合注意力的人机对话生成方法、系统及介质,CN202210916763.5

Academic competition

  • 国际顶级会议ACM Multimedia 多模态多人交互说话人预测:冠军
  • 国际顶级会议ACM Multimedia 多模态多人交互眼动交流检测:亚军
  • 国际顶级学术会议ACL WASSA Track2—情感分类Emotion Classification :冠军
  • 国际顶级学术会议ACL WASSA Track3—个人性格预测Personality Prediction :冠军
  • 国际顶级学术会议ACL WASSA Track4—人际反应指数预测Interpersonal Reactivity Index Prediction :冠军
  • 全球最大科学竞赛平台Kaggle 上人工文本检测Artificial Text Detection (multi task) :亚军
  • 第八届中国“互联网+”大学生创新创业大赛全国总决赛:铜奖
  • 第九届中国“互联网+”大学生创新创业大赛全国总决赛:银奖

💻 Projects

  • 国家自然科学基金青年项目(62401204),2025.01-2027.12,主持
  • 国家重点研发计划项目(2018YFB1305200),2019.06-2022.05,主研
  • 国防重点项目子课题,XXXXXXXXXX,2021.1-2023.12,主研
  • 国家自然科学基金面上项目(62171183),2022.01-2025.12,主研
  • 湖南省自然科学基金优秀青年项目(2022JJ20017),2022.01-2024.12,主研

🎖 Honors and Awards

  • 2022-2023 湖南大学优秀研究生
  • 2022-2023 湖南大学校长奖学金
  • 2018-2018 校优秀毕业生
  • 2015-2016 国家奖学金
  • 2014-2015 省三好学生

📝 Admission

课题组招收研究生/本科生(计算机科学/人工智能/软件工程等),欢迎对科研感兴趣、有志于读研/博深造以及进大厂的同学积极报名! 课题组团队氛围融洽,注重科研创新,为同学们提供了一个良好的学习与实践平台,研究生/本科生均将进行系统的科研训练,得到对应的编程、阅读论文等多方面能力的培养,并提供对应的计算资源和硬件平台,确保每个学生有所获/有所得。

  • 【招收要求:】
  • (1)对科研有浓厚兴趣,有志于深造的研究生/本科生优先考虑;
  • (2)计算机科学、人工智能、电子工程等相关专业优先考虑;
  • (3)具有清晰的读研目标,明确为何读研,而不仅仅是为了获得学位;
  • (4)科研需要付出大量努力,需要具备自律、耐心和独立工作的能力,耐得住寂寞,方能守得住繁华;
  • (5)具备良好的英文读写能力和良好的编程能力,熟练使用Python等编程语言。
  • 【培养方式:】
  • (1)“一对一,手把手”:从阅读论文、总结分析论文、编程实验、结果分析到具体撰写论文,各个环节一对一、手把手带;
  • (2)“多方位驱动”:采用问题驱动、方法驱动、任务驱动的方式进行培养管理,学生定期汇报进度,探讨并进行学术交流;
  • (3)科学研究并不需要很高的智商和惊人的天赋,但需要你有兴趣、有毅力、有耐性(本人会手把手指导);
  • (4)科学研究中涉及到大量的凝练思考:提高自身发现问题和解决问题的能力,对选择继续读研/博深造或进入国企、大厂的同学都有很重要的作用;
  • (5)科研生活劳逸结合:推崇健康快乐的学习方式和环境,定期组织健康有益的活动,比如羽毛球、篮球、爬山、跑步等活动(活动中产生的一切费用无需学生承担);
  • (6)对有意继续深造的同学,建议尽早进入实验室学习。良好的科研基础训练是升学的敲门砖,课题组长期与各个高校的老师保持联系,科研优异者可以推荐到C9高校或者NTU/NUS等高校继续深造;
  • (7)对于科研优秀的同学会进行对应的科研奖励。
  • 欢迎对科研充满热情、有志于探索人工智能领域的同学加入我们,共同开启科研之旅!

Visitor