今年26岁的邵镇炜，体重仅有25公斤。他从小患有“进行性脊肌萎缩”，双手几乎只有大拇指和食指能动，终身与轮椅为伴。

邵镇炜

  ?

邵镇炜并没有就此向命运屈服。2021年9月，他以计算机技术与科学专业第一名的成绩获得推免资格，保送至杭州电子科技大学（以下简称杭电）攻读博士研究生，研究方向为多模态数据处理和人工智能技术；2023年6月，他的研究成果发表于计算机视觉领域国际顶级学术会议CVPR 2023，被认为是国内多模态大模型领域最早入局者之一。

“今年年初做了一个轻量级多模态大模型的系列，相关论文还在审稿阶段。”近日，邵镇炜在接受《中国科学报》采访时表示，“我最近在探索多模态大模型的高效计算相关的技术。如今大模型的技术迭代非常快，我得抓紧时间做出新的成果才可能收获新的成绩。”

曾“超越”谷歌旗下的多模态大模型Flamingo

2022年，邵镇炜开始研究多模态大模型。当时，大模型研究还没有现在这么火热，和多模态信息（文本、图片多种形式的组合数据）理解相关的大模型研究则更少。邵镇炜所在课题组当时就预见了多模态大模型技术的前景，并开展了相关探索。

邵镇炜说：“我们走的是模型轻量化路线。不仅可以降低计算成本，还能让大模型的应用场景更加丰富。但轻量化并不是一件容易的事。因为要缩小参数量，很可能会导致模型能力也就是智能水平的下降。”

为了解决技术上的难点，邵镇炜经常在电脑前一坐就是十多个小时，啃论文、查资料，尝试不同的技术方案。在常人看来简单的敲击键盘动作，对邵镇炜来说并不轻松。他只有大拇指和食指相对灵活，并且每打几十个字，就要停下来休息一会儿。尽管如此，他还是坚持每天工作十个小时以上。

“当时，我已经觉得这个课题可能要做不下去了，但邵镇炜说再给他一两周的时间，他想尝试一个新的方法。结果成功了。”邵镇炜的导师、杭电计算机学院教授余宙告诉《中国科学报》，“我们这项研究成果最终在CVPR 2023上发表，受到了全球同行的关注。”

邵镇炜是这篇论文的第一作者，他提出的Prophet方法为GPT等大规模语言模型装上“眼睛”。

论文中的方法框架图

  ?

他解释道：“我们的研究提出了名为Prophet的多模态大模型框架。通过在大型语言模型上游引入一个可学习的、任务相关的视觉问答小模型，来更好地激发大模型的潜力。比如可以发给系统一张杯子的图片，然后问系统这个图片里的杯子是什么材质、什么品牌，系统都会作出符合常识的回答。”

当时，在基于知识的视觉问答任务的评测数据集上，邵镇炜提出的Prophet方法的准确率超越了谷歌Deepmind旗下的大模型Flamingo，同时该方法所需的计算资源也大大减少。

公开的视觉问答数据集的评测榜单

  ?

如今，邵镇炜继续在多模态大模型研究领域深耕，希望有新的收获。

1998年，邵镇炜出生在杭州市滨江区。

在邵镇炜1岁时，父母发现原本可以踮脚抓东西的儿子竟然站不稳了。他们带着孩子四处求医，但情况并没有好转。邵镇炜被确诊为“进行性脊肌萎缩症”，肌肉萎缩四肢无力，肢体一级残疾，没有生活自理能力。

父母没有就此放弃对儿子的培养。他们相信，上天在关上一扇门的同时，必定会打开一扇窗。年幼的邵镇炜虽然不能像同龄孩子那样四处跑跳，但是他坚持和同龄的孩子一起上学接受教育。他发现学习可以让自己忘记身体的缺陷。

因学习成绩优异，邵镇炜被保送进入杭州市长河高级中学读高中，并在高一前的那个暑假自学了微积分的相关知识。上中学以来，邵镇炜发现自己很喜欢物理。2017年高考，邵镇炜考了644分，以第一名的成绩被杭电计算机专业录取。

这里还有一个小插曲。因高考几分之差，邵镇炜与浙江大学失之交臂。但在杭电的求学过程中，他发现杭电计算机学院也许是最好的安排。学校不仅给他一间单独的寝室，还安排在一楼，方便妈妈陪读，并安装了斜坡一直通到他寝室门口。

邵镇炜告诉《中国科学报》：“在辅导员老师的号召下，杭电的同学们自发地为我组建了一支志愿者团队。他们每学期都会提前统计好我的课表，接力协助我上下楼梯，提供力所能及的帮助。这让我非常感动。”

一路走来，导师余宙是邵镇炜科研路上的重要领路人。

“本科期间，我参观了余老师的实验室，并跟着余老师连续上了3年的课程。后来在申请保研的时候，余老师还推荐我去浙江大学试试，并给了我一颗定心丸——‘如果浙江大学进不了，我们实验室永远欢迎你’。”邵镇炜说，“如果去浙江大学读研，因为科研方向不同，可能我就没有机会接触前沿的人工智能，也不可能投入大模型的研究。实际在我第一次见到余老师的时候，命运就已经作出了安排。”

本科期间，邵镇炜连续6次获得学校一等奖学金、两次浙江省政府奖学金、一次国家奖学金，并在各项比赛中多次取得成绩，争取到保送的机会。2023年，邵镇炜还担任了杭州第四届亚残运会火炬手。

邵镇炜担任火炬手

  ?

在杭电计算机学院，邵镇炜是很多同学口中的“大神”。在进入杭电前，邵镇炜就获得了很多来自社会的关注和赞许，甚至被冠以“中国版霍金”“少年版霍金”等称号。对此，邵镇炜明确说：“我不是中国版霍金，我只想努力做好自己。”

在采访中，邵镇炜向《中国科学报》介绍了很多跟计算机、大模型相关的知识，并耐心给记者做了相关的知识科普。他和所有计算机技术的研究人员一样，希望自己的研究可以做出更多领先的技术和成果，希望这些技术和成果可以帮助更多人。

2023年12月，邵镇炜负责的“望问医聊——基于医疗大模型的数字家庭医生”项目，获中国国际大学生创新大赛（2023）金奖。他从自身提出的Prophet方法出发，希望能够利用好大模型技术，助力智慧医疗和健康生活走进千家万户。

邵镇炜（前排中间）与老师同学们

  ?

再过两年，邵镇炜将迎来博士毕业找工作。他希望可以继续留校做喜欢的科研，但他也坦言自己距离留校的要求还有差距。他需要继续努力，才更有能力和实力去讲述一个完整的科研故事。

*本文图片均由受访者提供