杭州市民使用智能AI手语翻译官“小莫” 。 本报记者 马赛洁 摄
在杭州,有3万多名持证的听障人士,他们生活在一个无声的世界。无论工作还是生活,他们都因“听不见、无法说”,碰到各种困难。如何让更多听障人士便利生活?智能AI手语翻译官“小莫”,在杭州亚残运会期间登场。
近日,记者跟随杭州市民戴先生来到上城区凯旋路一家咖啡馆。戴先生把手机摆在桌面上,在一个应用里输入“现声”,智能AI手语翻译官“小莫”就出现在眼前。冲着屏幕打了一段手语后,戴先生按下“开启翻译”按钮。“我想要一个咖啡软面包。”一段声音从手机中传来。
“还需要一杯咖啡吗?”工作人员的回答一出口,屏幕上的“小莫”应声而动,再将声音转换为手语,整个沟通过程几乎没有卡顿。
动动手指,就能实现手语与语音的实时双向转换。杭州市无障碍办规划统筹组组长方适明介绍,这是杭州市联合阿里云及阿里公益共同打造的“小莫”数字人——人工智能双向手语翻译系统。它具备手语识别和手语播报的双重能力,既可以将自然语言翻译成手语,也可以识别手语并翻译成自然语言。
目前,“小莫”已在应用端上线,纳入“无障碍服务在线”平台,做到24小时全天候免费服务。其手语能力已覆盖旅游服务、新闻传播、日常对话等应用场景。
“特别是亚残运会期间,听障人士可以通过‘小莫’更好地获取信息,享受无障碍的赛事服务。”方适明介绍。在杭州亚残运会竞赛场馆中,“小莫”可为听障人士提供手语指引和观赛信息介绍。同时,在“亚残智能一站通”上,它还会成为健全人与听障人士无障碍沟通的贴心桥梁。
去年,“小莫”正式上线。这款AI系统的背后,是三维虚拟人技术、计算机视觉、机器翻译、语音技术等多种技术的综合运用。“‘小莫’可识别手语打法2万多个,合成手语覆盖中文词语1万余条,采集手语文本及视频训练数据200余万条。”阿里云数字人手语翻译项目运营负责人林淼说,目前,“小莫”已努力构建国内不同地域的手语手势数据库,尽可能解决手语的“方言”问题。
让普通人“看懂”手语,也让听障人士“看见”更多声音。除了在日常生活的应用外,“小莫”手语讲解还覆盖了西湖43处景区、657个景点,并在南宋德寿宫遗址、中国茶叶博物馆、中国伞博物馆等场所提供展品手语翻译服务,让听障人士“一部手机畅游西湖”。