南开大学计算机学院教授、博士生导师，国家级青年人才、天津杰青、南开百青（A计划），数据与智能系统安全教育部重点实验室副主任，2015-2016年以国家公派访问学者身份在美国加州大学默塞德分校视觉与学习实验室进行访问研究。中国计算机学会计算机视觉专委会副秘书长，中国图象图形学学会情感计算与理解专委会常务委员，中国中文信息学会情感计算专委会常务委员，国际情感计算汇刊（IEEE TAC）编委，中国计算机视觉大会（CCCV 2017）和可视媒体计算大会（CVM 2017）组织委员会主席，视觉与学习青年学者研讨会（VALSE 2022）Workshop主席，国际计算机视觉与模式识别大会（CVPR 2024）领域主席，国际人工智能大会（AAAI 2024/2025）资深程序委员。作为主要作者之一参与提出了2024年中国科协十大前沿科学问题第1位“情智兼备数字人与机器人的研究”。已发表PAMI/CVPR等CCF A类论文50余篇。更多信息请参阅我的主页 http://cv.nankai.edu.cn

我与许多优秀的学生一起工作过/正在一起工作，他们是：
王聪超（赴台湾清华大学联合培养并获得两校双硕士学位，美国弗吉尼亚理工大学博士学位，Google）
孙博（美国斯蒂文斯理工学院博士学位，Adobe）
刘帅朋（美团）
高冠华（渣打科营中心）
孙明（国家奖学金（2016），南开大学优秀毕业生（2017），南开大学优秀硕士论文（2017），快手）
沈辉（字节跳动）
孙晓晓（国家奖学金（2017），南开大学三好学生（2017），南开大学优秀毕业生（2018），南开大学优秀硕士论文（2018），目前在澳大利亚国立大学攻读博士学位） 
梁杰（国家奖学金（2018），CVPR杰出审稿人/紧急审稿人（2018），南开大学优秀毕业生（2019），南开大学优秀硕士论文（2019），天津市优秀硕士学位论文（2023），目前在香港理工大学攻读博士学位）
折栋宇（国家奖学金（2018），南开大学三好学生（2017），南开大学优秀毕业生（2019），南开大学优秀硕士论文（2019），曾赴英国卡迪夫大学访问交流，目前在清华大学攻读博士学位）
付佳美（访问学生[中国民航大学硕士生]，国家奖学金（2018），平安科技）
陈丽怡（国家奖学金（2019），南开大学三好学生（2019），南开大学优秀毕业生（2020），南开大学优秀硕士论文（2020），目前在南开大学攻读博士学位）
伍小平（国家奖学金（2019，2020），韩国SK集团人工智能奖学金（2020），南开大学三好学生（2019, 2020），南开大学优秀毕业生（2021），南开大学优秀硕士论文（2021），美团） 
姚星旭（国家奖学金（2020），韩国SK集团人工智能奖学金（2020），南开大学三好学生（2020），南开大学优秀毕业生（2021），滴滴）
翟英杰（南开大学优秀毕业生（2022），南开大学优秀硕士论文（2022），华为）
陈松（百度）
王丽娟（南开大学一等奖学金，腾讯）
冯停磊（韩国SK集团人工智能奖学金（2021），字节跳动）
刘胜哲（国家奖学金（2022），韩国SK集团人工智能奖学金（2021），南开大学优秀毕业生（2023），华为）
张知诚（获得首批国家自然科学基金青年学生基础研究项目（博士研究生）资助（30万元，2024），南开十杰（2024），天津市优秀学生（2024），国家奖学金（2023，2024），韩国SK集团人工智能奖学金（2023））
文长崧（国家奖学金（2023），上海交通大学）
贾国力（南开大学一等奖学金（2023），韩国SK集团人工智能奖学金（2023），研究成果亮相中国国际智能产业博览会，南开大学优秀硕士论文（2024），清华大学）
刘佳烜（南开大学创新创业专项奖学金（2023），互联网+产业赛道全国银奖/天津金奖（2022），“兴智杯”全国一等奖（2023），华为昇腾AI创新大赛初创赛道天津唯一金奖（2022），南开大学优秀硕士论文（2024），百度）
张鑫（互联网+产业赛道全国银奖/天津金奖（2022），“兴智杯”全国一等奖（2023），华为昇腾AI创新大赛初创赛道天津唯一金奖（2022））
赵攀诚（国家奖学金（2024））
夏无忧
陈铎晟（华为昇腾AI创新大赛应用赛道天津银奖（2023））
刘鑫（南开大学一等奖学金（2023））
周世豪（获得第二批国家自然科学基金青年学生基础研究项目（博士研究生）资助（30万元，2024），华为昇腾AI创新大赛应用赛道天津银奖（2023））
秦荣
汪炜澄（华为昇腾AI创新大赛应用赛道天津银奖（2023））
赵晨曦

南开大学计算机视觉实验室实习生招聘启示

因项目研究需要，南开大学计算机视觉实验室即日起招收实习生6-8名，实习期2025年1月1日至2025年 6月30日。

1. 招收条件。

（1）津南校区各学院大三/大二本科生，具备较强的编程、数学、英语基础；（2）具有一定计算机视觉实践经验，熟悉深度网络者优先；（3）态度端正，善于沟通，主动积极，能保证充足的科研时间。

2. 报名与考核方式。

（1）即日起，飞书联系计算机学院博士生周世豪报名；（2）组织面试（线上/线下），当天通知结果；通过考核的同学即开始实习。

3. 实习形式。

（1）由博士生指导，协助完成实验室的科研任务；（2）实验室提供GPU服务器资源，个人自备笔记本电脑；（3）实验室统一提供工位。

4、拟参与项目概况。

(1)项目名称：推理模型的评估指标设计

要求：

1、 了解矩阵论、概率论与博弈论

2、 熟悉torch与大模型常用框架Deepspeed/vLLM

3、 对大模型创新研究有浓厚兴趣

4、 成绩优异/动手能力强/有科研或大创等项目经历/有过大模型开发使用经历/能从数学角度说明清楚Self-Play博弈策略[1,2]者在同等条件下优先

[1] A Survey on Self-play Methods in Reinforcement Learning, ArXiv 2408.01072

[2] Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models, ICML 2024

产出：

1、 在博士生指导下参与顶会论文发表

2、 实验室科研项目实习经历

3、 表现优异者可获得推荐机会

(2)项目名称：对话中的人脸视频生成

要求：

1、 了解图像/视频生成

2、 熟悉torch与生成模型常用框架Diffusers

3、 对生成模型创新研究有浓厚兴趣

4、 成绩优异/动手能力强/有科研或大创等项目经历/有过生成模型开发使用经历者/熟悉任意2024年发布的视频生成模型者在同等条件下优先

产出：

1、 在博士生指导下参与顶会论文发表

2、 实验室科研项目实习经历

3、 表现优异者可获得推荐机会

(3)项目名称：文旅商品爆品挖掘

要求：

1、了解机器学习/深度学习基础算法

2、熟悉python与torch

3、成绩优异/动手能力强/有kaggle、实习、科研、大创等项目经历者在同等条件下优先

4、有自然语言处理、推荐系统、时间序列分析或商品挖掘相关经验者优先。

产出：

1、 在博士生指导下参与顶会论文发表

2、 实验室科研项目实习经历

3、 表现优异者可获得推荐机会

(4) 项目名称：运动场景拍摄的频闪条纹检测和修复

要求：

1、了解手机摄影原理（HDR成像、Camera Sensor）

2、熟悉python，PyTorch

3、对机器学习有浓厚兴趣

产出：

1、 根据任务特性和图像输入修改网络结构；

2、 参与Blender建模软件的学习和实践；

3、 能力突出者可参与顶会论文发表;

(5)项目名称：封闭园区港口场景下的危险行为识别

要求：

1、对人脸识别算法、危险行为算法具有一定兴趣（如Yolo系列算法）

2、熟悉python，PyTorch使用 

3、有一定的机器学习、深度学习项目部署经验，了解计算机视觉算法应用场景

产出：

1、 熟悉业务场景下（疲劳监测、危险行为监测、盲区警告、人脸识别）危险行为识别的技术路线和方法；

2、 驾驶员疲劳监测、危险行为监测、盲区警告、人脸识别任务相关深度学习网络的调整和训练实践；

(6)项目名称：零样本高分辨率深度图估计精细化网络

要求：

1、了解深度图估计相关基础知识（如相对深度估计，绝对深度估计）

2、熟悉python，PyTorch 

3、对机器学习有浓厚兴趣

产出：

1、 根据任务特性和图像输入修改网络结构和学习架构；

2、 参与深度图估计和高分辨率视觉处理的学习和实践；

3、能力突出者可参与顶会论文发表。

近年代表性论文

1. X. Liu, R. Qin, J. Yan, J. Yang, NCMNet: Neighbor consistency mining network for two-view correspondence pruning, TPAMI, 2024.
2. S. Zhou, D. Chen, J. Pan, J. Shi, J. Yang, Adapt or perish: Adaptive sparse transformer with attentive feature refinement for image restoration, CVPR, 2024.
3. P. Zhao, P. Xu, P. Qin, D.-P. Fan, Z. Zhang, G. Jia, B. Zhou, J. Yang, LAKE-RED: Camouflaged images generation by latent background knowledge retrieval-augmented diffusion, CVPR, 2024.
4. Z. Zhang, J. Hu, W. Cheng, D. Paudel, J. Yang, ExtDM: Dual distribution extrapolation diffusion model for video prediction, CVPR, 2024.
5. Z. Zhang, P. Zhao, E. Park, J. Yang, MART: Masked affective representation learning via masked temporal distribution distillation, CVPR, 2024.
6. S. Zhou, J. Pan, J. Shi, D. Chen, L. Qu, J. Yang, Seeing the unseen: A frequency prompt guided Transformer for image restoration, ECCV, 2024
7. Z. Zhang, S. Chen, Z. Wang, J. Yang, PlaneSeg: Building a plug-in for boosting planar region segmentation, TNNLS, 2024.
8. Y. Zhai, G. Jia, Y.-K. Lai, J. Zhang, J. Yang, D. Tao, Looking into gait for perceiving emotions via bilateral posture and movement graph convolutional networks, TAFFC, 2024.
9. T. Feng, Y. Zhai, J. Yang, J. Liang, D.-P. Fan, J. Zhang, L. Shao, D. Tao, IC9600: A benchmark dataset for automatic image complexity assessment, TPAMI, 2023.
10. S. Zhao, X. Hong, J. Yang, Y. Zhao, G. Ding, Towards label-efficient emotion and sentiment analysis, PIEEE, 2023.
11. C. Wen, G. Jia, J. Yang, DIP: Dual incongruity perceiving network for sarcasm detection, CVPR, 2023.
12. Z. Zhang, L. Wang, J. Yang, Weakly supervised video emotion detection and prediction via cross-modal temporal erasing network, CVPR, 2023.
13. T. Feng, J. Liu, J. Yang, Probing sentiment-oriented pre-training inspired by human sentiment perception mechanism, CVPR, 2023.
14. X. Liu, J. Yang, Progressive neighbor consistency mining for correspondence pruning, CVPR, 2023.
15. Z. Zhang, S. Liu, J. Yang, Multiple planar object tracking, ICCV, 2023.
16. C. Wen, X. Zhang, X. Yao, J. Yang, Ordinal label distribution learning, ICCV, 2023.
17. S. Zhao, X. Yao, J. Yang, G. Jia, G. Ding, T.-S. Chua, B. W. Schuller, K. Keutzer, Affective image content analysis: Two decades review and new perspectives, TPAMI, 2022.
18. S. Chen, J.-H. Xue, J. Chang, J. Zhang, J. Yang, Q. Tian, SSL++: Improving self-supervised learning by mitigating the proxy task-specificity problem, TIP, 2022.
19. S. Zhao, G. Jia, J. Yang, G. Ding, K. Keutzer, Emotion recognition from multiple modalities: Fundamentals and methodologies, IEEE Signal Processing Magazine, 2021.
20. Y. Zhai, D.-P. Fan, J. Yang, A. Borji, L. Shao, J. Han, L. Wang, Bifurcated backbone strategy for RGB-D salient object detection, TIP, 2021.
21. X. Wu, J. Chang, Y.-K. Lai, J. Yang, Q. Tian, BiSPL: Bidirectional self-paced learning for recognition from web data, TIP, 2021.
22. X. Yao, S. Zhao, P. Xu, J. Yang, Multi-source domain adaptation for object detection, ICCV, 2021.
23. J. Yang, J. Liang, K. Wang, P. L. Rosin, M.-H. Yang, Subspace clustering via good neighbors, TPAMI, 2020.
24. D.-P. Fan, Y. Zhai, A. Borji, J. Yang, L. Shao, BBS-net: RGB-D salient object detection with a bifurcated backbone strategy network, ECCV, 2020.
25. X. Wu, C. Zhan, Y.-K. Lai, M.-M Cheng, J. Yang, IP102: A large-scale benchmark dataset for insect pest recognition, CVPR oral, 2019.
26. X. Wu, N. Wen, J. Liang, Y.-K. Lai, D. She, M.-M. Cheng, J. Yang, Joint acne image grading and counting via label distribution learning, ICCV, 2019.
27. X. Yao, D. She, S. Zhao, J. Liang, Y.-K. Lai, J. Yang, Attention-aware polarity sensitive embedding for affective image retrieval, ICCV, 2019.
28. J. Zhao, J.-J. Liu, D.-P. Fan, Y. Cao, J. Yang, M.-M. Cheng, EGNet: Edge guidance network for salient object detection, ICCV, 2019.
29. J. Liang, J. Yang, M.-M. Cheng, P. L. Rosin, L. Wang, Simultaneous subspace clustering and cluster number estimating based on triplet relationship, TIP, 2019.
30. J. Yang, D. She, Y.-K. Lai, P. L. Rosin, M.-H. Yang, Weakly supervised coupled networks for visual sentiment analysis, CVPR spotlight, 2018.
31. J. Yang, X. Sun, J. Liang, P. L. Rosin, Clinical skin lesion diagnosis using representations inspired by dermatologist criteria, CVPR, 2018.
32. J. Yang, X. Sun, Y.-K. Lai, L. Zheng, M.-M. Cheng, Recognition from web data: A progressive filtering approach, TIP, 2018.
33. J. Yang, J. Liang, H. Shen, K. Wang, P. L. Rosin, M.-H. Yang, Dynamic match kernel with deep convolutional features for image retrieval, TIP, 2018.
34. J. Yang, M. Sun, X. Sun, Learning visual sentiment distributions via augmented conditional probability neural network, AAAI, 2017.
35. J. Yang, D. She, M. Sun, Joint image emotion classification and distribution learning via deep convolutional neural network, IJCAI, 2017.
36. X. Sun, J. Yang, M. Sun, K. Wang, A benchmark for automatic visual classification of clinical skin disease images, ECCV, 2016.