大约两年前,印度马哈拉施特拉邦借助政府支持的人工智能(AI)平台Bhashini,为农民推出了一款应用FarmerChat,旨在用该邦主流的马拉地语,提供政府关于农业计划、天气、病虫害和作物价格等方面的信息。然而,对该邦南杜尔巴尔地区一些使用比利语的居民来说,这款应用完全无法理解。
这正是Bhashini面临的挑战。据《科学》报道,Bhashini是印度一项雄心勃勃的计划。这个耗资4878万美元的平台,旨在在全印度实现信息与政务服务的普惠化,让教育与经济差距悬殊、语言种类繁多的印度人都能用上AI。
“印度100多种语言、数千种方言,但到目前为止,只有25至30种语言被纳入AI领域。”印度EkStep基金会的Santosh Kevlani说。
印度农民使用一款名为FarmerChat的AI应用,用母语咨询农业建议。图片来源:DigitalGreen via Bhashini
Bhashini由印度电子和信息技术部于2022年推出,目前仍在不断扩展。例如,上个月在印度新德里举行的全球人工智能峰会上,它发布了VoicERA软件,可让该平台的AI模型通过电话网络使用。
“我相信Bhashini会快速发展,但它需要提高不同方言的识别准确率,这是所有处理印度语言的模型面临的普遍性问题。”印度人民元音协会首席技术官Luv Singh说。
Bhashini首席执行官Amitabh Nag表示,大多数大型AI只服务于少数几种全球主流语言,而Bhashini代表了另一种思路——将处理语言多样性的能力作为核心设计目标。
Bhashini核心组件是开源的,设计上允许任何人——从学术研究机构、邦政府,到初创企业和当地社区组织,添加新的训练数据集并开发新应用。该平台目前可翻译35种国际语言和36种印度语言。其中22种语言还支持自动语音识别,用户只需用母语口头提问,不必打字。
Nag称,该平台最初面临的挑战是用于AI训练和基准测试的计算能力有限。更大的障碍是收集和处理训练数据。许多印度语言没有标准化文本,包含语音和文本的数据集分散在各个机构和部门。
Bhashini团队表示,3年来的用户反馈起到了重要作用。目前团队正专注于提升翻译质量,而不只是扩展更多语言和领域。研究人员也在参与模型优化。
如今,在马哈拉施特拉邦,FarmerChat已支持比利语翻译。基于Bhashini开发的模型Wadhwani利用自动语音识别评估古吉拉特语儿童的阅读流利度。一款名为Jugalbandi的应用将允许用户用多种语言向ChatGPT提问,获取法律和司法救助方面的基础信息。
“我们取得了有意义的进展,但还有很多工作要做。”Nag承认Bhashini仍有很长的路要走,“语言不仅仅是交流的媒介,它是身份、尊严和机会。”
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。