揭秘预训练语言模型pred-179：深度学习技术驱动的智能分析与应用探索，科大讯飞董事长刘庆峰司庆讲话透露：7月将升级讯飞星火X1港科大已向两名美国哈佛大学研究生发出录取通知内推手柄椅子固定，外拉手柄一秒开启放松模式。
从2017年1月，BERT（Bidirectional Encoder Representations from Transformers）在ImageNet超级视觉挑战中展示了强大的预训练语言模型性能，引起了全球范围内的广泛关注。这项基于Transformer架构的语言模型被设计为跨领域、多模态的预训练解决方案，它以深度学习技术为核心，实现了对自然语言处理任务的强大理解和推理能力。
BERT的显著特点是其巨大的参数量和超大规模的数据集，这些数据集涵盖了互联网文本、社交媒体内容、学术论文等各种类型的文本，使得模型能够捕捉到语言中的深层次语义信息。在BERT的构建过程中，深度神经网络（DNN）框架被广泛用于提取和编码文本特征，其中transformer架构是其中的核心部分。transformer结合了自注意力机制、双向编码器和门控机制等创新技术，使得模型能够在输入序列中同时考虑上下文信息和语义含义，从而实现更加精确的语义理解。
BERT不仅在语言理解上表现出色，还在其他领域的智能分析和应用探索方面发挥了重要作用。例如，在问答系统中，BERT可以快速准确地回答问题，通过提取和理解文本中蕴含的答案信息，实现智能化的文本生成和问答交互。在机器翻译和文本摘要等领域，BERT也实现了卓越的表现，通过将不同语言之间的源代码转换成目标语言，以及抽取关键主题和实体信息，完成精准的文本理解和生成任务。
BERT还具有较强的泛化能力和适应性，能够在不同的文本环境中进行迁移学习，即利用训练好的BERT模型，在新的文本领域中自动调整模型参数和结构，实现跨域迁移和应用。例如，通过对大规模文本数据进行预训练，然后在特定的任务场景下进行微调，BERT可以在图像分类、语音识别、文本分类等多个领域取得优异的成绩。
BERT也存在一些局限性和挑战。随着模型参数量的不断增大，模型训练和推理的时间和计算资源的需求也在不断增加。由于预训练模型的数据往往过于集中于某一类型或领域，模型在跨领域迁移时可能会出现偏差和不准确性。BERT的预测结果往往依赖于上下文信息，因此在一些复杂的语境下，模型的解释性可能相对较弱。
为了进一步提高BERT的性能和可信度，研究人员和工程师正在积极探索新的研究方向和方法。其中包括引入更高效的模型架构，如Transformer-XL、BERT-AutoML等，来减少模型的参数数量和提高训练效率；优化预训练模型的数据选择和结构设计，以适应更多的应用场景和任务需求；开发更加灵活和可扩展的迁移学习框架，支持跨域和跨领域的文本理解与应用；强化模型的可解释性和鲁棒性，通过使用各种监督和无监督的方法，提升模型在复杂语境下的预测准确性和可解释性。
BERT作为深度学习技术驱动的预训练语言模型，以其强大的性能和广泛的应用前景，已经在人工智能领域引起了广泛关注。在未来的研究和发展中，我们期待看到BERT在更多领域和应用场景中的突破和应用，推动深度学习技术和自然语言处理技术的深度融合，共同创造更加智慧、高效、人性化的未来世界。
6月9日，科大讯飞26周年司庆这天，董事长刘庆峰在内部讲话中直接“剧透”了一个重磅消息：讯飞星火X1升级版将于7月推出。
面对现在AI圈这场白热化的“军备竞赛”，刘庆峰的态度很明确——要坚定不移地走那条“难而正确的路”。什么意思？就是坚持自主可控、通专结合、软硬一体、行业深耕。用他的话说，要在AI时代抢占“根红利”。
高考“实测”，讯飞星火X1（420版）成绩亮眼
今年高考期间，AI大模型圈也格外热闹。各家主流AI大模型都被拉来“被动应试”，场面堪称激烈。
这场较量中，讯飞星火X1的表现格外亮眼，印证了讯飞星火X1（420版）的强大实力。
拿高考语文作文来说，许多权威媒体用高考试题测了多家大模型实力，测评条件堪称“硬核”——断网、开启深度推理、真人教师盲评，完全模拟真实考场环境。结果显示，讯飞星火X1在语文作文的综合得分超越多家主流大模型，排名第一。这波表现确实让人刮目相看。
面对老舍、艾青、穆旦三位文学大师的“抽象”材料，星火X1交出的《以歌为刃破长夜 且将热血铸山河》被专家评为“兼具思辨性与感染力的考场佳作”。从“沉默与表达的辩证关系”到家国叙事的升华，能力让人眼前一亮。
讯飞星火的优势，不仅体现在语文中。在三方权威媒体的英语作文盲评中，讯飞星火X1（420版）也获得第一，超越DeepSeek R1（528版）等模型；
而高考数学测评中，讯飞星火和DeepSeek成为仅有的两个整卷得分突破140分的大模型，但不可忽略的是，两个模型之间，有着一个月的时间差。
透过这些评测结果，可以窥见科大讯飞在教育AI领域的技术积淀。刘庆峰说，教育是一个门槛很高的领域，要想给别人一碗水，自己得至少有一桶水。在他看来，AI不仅要能答题、会批改，还要能辅助孩子的学习，再到助力孩子的创造力提升，进一步帮助孩子的心理健康，让孩子的学业提升、五育并举、并且身心健康地发展。
“全中国只有讯飞在干”，走“难而正确的路”
在算力军备竞赛愈演愈烈的当下，选择全国产算力训练大模型，无疑是一条充满艰辛的道路。刘庆峰毫不讳言其中的挑战：“基于国产算力的所有新算法研发会慢三个月。”在这个技术快速迭代的时代，三个月意味着什么不言而喻。但他的回应坚定且有力：“流水不争先，争的是滔滔不绝，基于国产算力的训练会慢一些，但不会矮！”
“全国产化这件事，全中国只有讯飞在干。”刘庆峰说。说实话，在这个人人都想抢风口的时代，还有企业愿意踏踏实实走长线，确实不易。刘庆峰的逻辑很清楚：做全栈自主可控，一是因为有这个实力，能做，二是为了不被卡脖子，必须做。在当前的国际形势下，这种技术路线选择显得格外有战略眼光。虽然短期内可能会付出一些代价，但长远来看，核心技术握在自己手里才是王道。
2025全民AI开启之年，讯飞要抢“根红利”
2025年，是全民AI的开启之年。刘庆峰强调，科大讯飞要在使命愿景驱动下抢占AI时代的根红利，并提出了四大方向：
首先是要自主可控，只有坚持自主可控，才能不受限制地探索大模型以及未来具身智能的天花板；其次是要通专结合，要坚持通用底座大模型对标全球最高水平，行业专业模型要做到无可比拟；再次是要软硬一体，通过软件、芯片、C端硬件等形成系统性创新优势；最后是行业深耕，要在每个行业找到根红利，服务社会进步、民生需要以及产业科研需要，引领行业发展。
中新社香港6月6日电 (记者 韩星童)香港科技大学(简称“港科大”)6日回复中新社记者问询时表示，港科大已向两位美国哈佛大学研究生发出录取通知。
图为2024年6月拍摄的香港科技大学。(资料图)中新社记者 李志华 摄
当地时间5月22日，美国政府宣布取消哈佛大学获得的学生和交流学者项目资质，禁止该校招收国际学生。香港特区政府及各高校迅速回应，推出多项举措吸引受影响学生来港深造。
其中，港科大向哈佛大学在读国际本科生、研究生以及持有哈佛大学录取通知的学生发出邀请，承诺优先处理入学申请与学分转移，并成立专责团队协助解决住宿、签证等问题。
港科大表示，自5月公布有关支援措施以来，陆续收到数十宗准备前往哈佛大学升学或正在当地攻读的学生查询。目前正处理数宗转学申请，两名获录取的研究生，分别涉及“科学与科技”及“跨学科”领域研究。