面向小语种社区的大型语言模型至关重要

【伦敦】关于人工智能的安全和军事风险已有诸多讨论。然而，由少数跨国公司拥有、仅用有限几种语言训练的大型语言模型（LLM）所带来的文化和经济威胁，却在很大程度上被忽视了。

这些LLM的市场主导地位，使使用小众语言的发展中国家处于明显劣势。

自2022年11月OpenAI发布ChatGPT以来，行业领袖和政策制定者一直在宣扬人工智能通过彻底改变医疗保健和教育，以及推动生产力增长和收入增加来改善社会的潜力。但这些好处并非被平等分享。

由于语言偏见，许多发展中经济体无法使用这些人工智能系统。全球有超过7000种语言，但大多数LLM仅用其中约100种语言进行训练，而英语和其他五大“高资源”语言——中文、西班牙语、法语和德语——几乎占了所用数据的全部。

然而，全球以英语为母语的人仅有4亿，而以五大语言之一为第一语言的人口也只占全球总人口的25%。这种不平衡短期内可能导致文化和经济上的隔离，长期来看则会扼杀增长并削弱语言多样性。

同样具有讽刺意味的是，富裕国家在大量建设配备更强大计算基础设施的数据中心的支持下，迅速采用人工智能，这反而让发展中国家的用户更难接入互联网并从数字工具中受益。

人工智能驱动的芯片需求推高了智能手机的成本，使数百万人无力购买。

LLM必须更好地反映本土语言和文化。否则，社群将面临失去其独特词汇的风险，而这些词汇是长期由历史事件、大规模迁徙和政治遗产塑造而成的。

此外，当前人工智能系统中语言多样性的缺乏将减缓其普及应用。

秘鲁的数字金融服务必须使用通俗的语言进行交流，才能与消费者产生共鸣。为了提供有效的治疗，越南的在线医疗保健服务需要本土语言模型才能提供的清晰度。

移动网络运营商（MNO）拥有庞大的开发者团队和数据处理能力，在创建“本土”语言模型方面具有得天独厚的优势。它们同时也是获得许可且值得信赖的政府合作伙伴。

这一点至关重要，因为为小众语言创建LLM的一大障碍是缺乏训练数据。解决方案在于政府持有的大量数据，而这些数据往往是敏感和机密的。

例如，乌克兰最大的MNO——Kyivstar，与该国数字转型部建立了一项合伙业务，开发了该国首个国家级LLM。该模型不仅针对乌克兰语，还针对该国使用的其他语言，包括俄语、保加利亚语和克里米亚鞑靼语。

这项任务的复杂之处在于，乌克兰的许多文献是在俄罗斯统治时期撰写的，因此在文化上被认为不适宜。为此，四个对模型的技术、法律、文化、历史和语言方面具有约束力的咨询委员会，指导了训练文本的筛选工作。

我担任总干事的全球移动通信系统协会（GSMA），正在通过“非洲人工智能语言模型”项目，在撒哈拉以南非洲大部分地区推行类似战略，其中包括尼日利亚、马达加斯加、多哥和刚果民主共和国。

该倡议汇集了非洲大陆的六大MNO集团——Airtel、Axian Telecom、Ethio Telecom、MTN、Orange和Vodacom——以及其他电信公司、公共和私营部门参与者、学术界和民间社会团体，旨在为非洲语言构建可扩展且具包容性的LLM。

为了扩大那些为服务不足人群带来积极社会经济成果的人工智能初创企业的规模，GSMA在英国外交、联邦和发展事务部的资助下，启动了“新兴技术”（EmergingTech）项目。

其首批项目包括ToumAI和Wiseyak。ToumAI在摩洛哥创建了使用地方方言的语音界面，帮助文化水平较低的农村用户通过简单的口头指令获得数字和金融服务；Wiseyak则正在开发一种多语言混合代码的对话式人工智能解决方案，以帮助缩小尼泊尔的数字鸿沟。

随着世界从提示驱动型人工智能向代理式人工智能发展，这些举措变得至关重要。银行、医疗保健和教育等数字服务正越来越多地嵌入人工智能来辅助用户，并将成为支持人们生活和生计的关键。企业也正从开源模型中受益。

投资本土人工智能为发展中经济体创造了一个良性循环，培养了对实现数字独立至关重要的技术人才库。

随着对数据和数据处理主权的担忧日益加剧，这些经济体必须加强对代理式人工智能部署的运营控制和治理。这意味着需要与开发者和MNO合作，构建满足其社会需求的少数族裔语言模型。PROJECT SYNDICATE

作者是全球移动通信系统协会总干事