近日，山东海事局会同中国海事服务中心研发的海船船员英语听力与会话智能评判系统已在山东辖区试点取得良好成效，由部海事局向全国推广应用。
英语听力与会话评估是考核船员英语沟通交流能力的关键指标，传统评估形式为通过计算机评估系统将船员答题内容录音，海事机构组织评估员对答题录音进行人工评判，存在主观性较强、效率低、成本高等问题。
山东海事局、中国海事服务中心积极探索人工智能、大数据模型等新技术在海事监管与服务保障中的应用，开发船员适任英语听力与会话智能评判(AI评判)系统。该评判系统一是基于人工智能技术Transformer架构建立音频智能分析处理模型，对考生音频数据进行频谱分析、环境降噪和关键声学特征提取等预处理，将考生原始音频文件转化成机器自动可识别的发音序列;二是建立发音序列匹配和定量分析模型，将考生的实际发音与经微调的航海专业英语标准发音进行准确匹配和定量分析，自动输出考生发音与标准发音的匹配度指标;三是建立评分权重指标模型，结合历史人工评判的分数结果进行大数据训练和验证，从而生成经验证并符合专家评判评分标准的评判模型，最后自动输出考生分数。
2024年10月起，AI评判试点在济南海事局辖区值班水手和值班机工英语听力与会话评估项目中开展，优化完善后在山东各分支局辖区全面推广试点。试点阶段以“AI全量评判+人工定向抽检”方式进行，即对于AI评判得出的高分段和低分段成绩，以AI评判为准，对于中间分段和特定题型(如必对题)，以人工评判成绩为准，人工评判数据列为AI评判升级训练的可信数据。试运行以来，已开展AI评判27期，考试人数1163人，分析处理音频文件37880个，在试点阶段AI替代策略配置相对保守的情况下，AI评判综合替代率79.5%，单次评判最高替代率95.4%。
经测算，AI评判可节省80%的人力物力成本，推广后全国年均可节省评估费用约200万元，工作效率平均提升五倍，考生评估成绩发布时限大幅缩减，并有效规避负向人为因素影响。
下一步，山东海事局将按照部局海事监管与服务保障一体化要求，结合全国推广应用情况，继续优化完善智能评判算法，研究探索其他职务船员英语评估项目应用;复用英语AI评判经验，探索研发其他船员适任评估项目智能评判系统。
