人工智能作为新一轮科技革命和产业变革的核心驱动力之一，正迅速改变经济、社会等各领域。我国具有人工智能高质量发展的优越条件，为人工智能高水平安全奠定坚实基础，同时也对高水平安全治理提出更高要求。未来，需要持续跟踪人工智能技术、应用和安全的发展趋势，不断完善安全治理框架与路径，站在落实国家战略、维护国家利益、保障国家安全角度，积极促进人工智能高水平安全与高质量发展的良性互动，加快人工智能的高质量发展。

　　近年来，我国在人工智能领域迎来多重发展机遇，涵盖政策、产业、技术以及国际合作等多个关键维度，展现高质量发展的强劲势头。例如，战略布局与政策支持。国家高度重视人工智能发展，将其作为经济转型升级重要引擎。2017年，国务院发布《新一代人工智能发展规划》明确战略目标和重点任务。2021年起，国家网信办牵头出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等法规，规范人工智能重点应用。2023年，七部委发布全球首部生成式人工智能法规《生成式人工智能服务管理暂行办法》，为创新发展提供法治保障。2024年和2025年的《政府工作报告》均对“人工智能+”作出部署和安排。

　　地方层面，北京、上海、深圳等地纷纷出台政策推动人工智能产业发展。如北京发布《北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-2025年）》。上海出台《上海市推动人工智能大模型创新发展若干措施（2023-2025年）》，打造徐汇、浦东产业生态集聚区，构建全产业链；出台《关于人工智能“模塑申城”的实施方案》，推动大模型在“5+6”重点行业、领域落地应用。各地相继出台了推动“人工智能+”行动的实施方案。

　　目前，我国已形成完整的人工智能产业链，涵盖算法、芯片、语料、智能软硬件开发及行业应用等环节。北京、上海、深圳等地积极建设人工智能产业高地，涌现出一批领军企业和独角兽企业。我国还拥有多个国家级实验室、研发平台等科研机构，以及清华、复旦等顶尖高校，汇聚高端人才，开展前沿研究，为产业发展提供技术支持。

　　与此同时，人工智能发展也面临着不容忽视的风险与挑战，可以从微观、中观、宏观三个层面进行分析。

　　微观层面：存在技术、伦理等风险。在技术层面上，大模型面临的数据与模型问题突出，包括但不限于训练数据不足或代表性不佳，可能导致模型生成内容出现偏差。模型可能因过拟合、缺乏上下文理解或偏离目标，生成错误、不合理的内容，即“机器幻觉”。这些技术缺陷，影响生成内容的真实性（谣言）、可靠性（业务准确性）和适当性（违法和不良信息）。同时，人工智能系统的供应链中各环节存在潜在风险，可能被恶意利用，引发网络安全问题或造成个人信息泄露；大模型降低了情报分析成本，可能带来涉及国家安全、商业机密泄露等数据安全风险。从伦理角度看，随着人工智能技术发展和应用，未来可能会模糊人机界限，挑战人的主体性和自主性。数据或算法偏见通过模型训练被放大，可能导致生成内容存在偏见、侵犯用户隐私，或因算法损害用户权益，可能降低公众对技术的信任度。

　　中观层面：产业发展和生态培育存在突破难点。创业型基模企业训练投入大、行业落地慢、商业化路径不明晰、融资不稳定。垂域模型企业核心竞争力不足、行业竞争激烈。大模型在重点行业落地中面临一些挑战，如行业落地应用尚需深入（如数据治理成效不佳影响模型落地），医疗、金融等重点行业有较高的业务专业性和安全要求，产业链协同需进一步加强，供需双方认知有误解等，需推动解决。人工智能企业、重点行业对大模型安全评估、数据治理、运行安全等合规指导仍有较大需求。人才和产业聚集度方面，基础研究、核心突破人才储备需进一步加强；产学研合作需进一步提升深度和广度。能否在大模型领域实现从0到100的全链创新、孵化、规模性产业化，需要持续培育生态。

　　宏观层面：复杂国际环境和国内接受度的压力。复杂国际大环境下，技术封锁与贸易摩擦使高性能算力芯片和关键技术获取受阻，国际竞争加剧增加应用与市场的拓展难度。从国内应用现状来看，社会信任和接受度方面，公众对人工智能技术的可靠性与安全性尚存疑，尤其对医疗、金融等领域应用持审慎态度。

　　无论是微观层面的风险，中观层面的难点，还是宏观层面的压力，都亟待各方协同应对，以实现人工智能安全、稳健且可持续发展。应坚持问题导向，在治理模式上积极探索并实践“六个转变”，逐步实现高水平安全与高质量发展的良性互动。

　　一是从“政府主导”迈向“多元共治”，转变主体，凝聚合力。要积极构建政府、企业、科研机构、行业组织和公众多方参与的协同治理格局。网信部门发挥引领作用，制定政策与规则，搭建平台，牵头建立人工智能安全治理体系。主管部门在管行业的同时管安全，促进行业高质量应用和业务合规管理并举；企业履行主体责任，强化自律和能力建设，加强技术和应用创新，赋能千行百业；重点科研机构、高校、测评机构等贡献技术智慧，建设人工智能安全测评体系，提供公共安全供给；人工智能行业协会、互联网业联合会等行业组织发挥纽带监督功能，促进行业规范，加强交流与合作；鼓励公众积极参与监督与建言，举报不良情况，形成全民治理氛围。此外，主动投身国际人工智能治理进程，用好世界人工智能大会等平台，提升中国在全球人工智能治理中的影响力，携手共建国际安全治理网络。

　　二是从“单一管理”到“系统治理”，转变体系，统筹全局。人工智能安全涉及内容安全、网络安全、数据安全各层面和技术、法律、伦理多维度，与经济、文化、社会、公共卫生等各领域相关，需加强顶层设计，强化系统治理。支持企业在合法合规轨道上，突破新的技术路径，探索新商业模式；优化政策环境，提供产业和生态基金扶持，助力创业企业跨越发展“沟壑”；推动加强科研成果转化落地。强化各类人才引育和汇聚，提升行业整体技术与创新水平，为可持续发展注入“源动力”。针对党政机关、重点行业及企事业单位的高层、业务和技术人员，开展多层面针对性培训，正确理解人工智能的“能”与“不能”，为使用和管理夯实基础。通过媒体、网络、社区等渠道加强科普宣传和培训，增强公众理解、提高应用能力。加强安全教育，防范潜在风险，营造健康安全的社会环境。

　　三是从“技术至上”到“负责任创新”，转变导向，以人为本。加强算法备案和算法机理机制公示公开，督导各类算法服务平台保障所有用户的知情权、选择权、关闭权、个人信息删除权；推动个性化推荐算法增加信息提供的多样性、提升正能量内容精准有效的触达率；促进调度决策类算法尽可能公平公正地保障劳动者和消费者的权益；根据未成年人、老年人的特点，促进算法保护特殊群体的权益，推动算法向上向善。推动相关主体在技术创新过程中充分考虑伦理、社会影响和可持续性等问题。指导组建人工智能伦理委员会和行业伦理委员会，制定发布契合时代、技术发展和行业特点的伦理指南，防范滥用恶用，引领技术以人为本、智能向善，造福人民、保障公民权益。

　　四是从“事后应对”转向“事前预防”，转变理念，关口前移。在法律法规的大框架下，网信等部门牵头制定人工智能安全监管制度，推动安全关口前移。对具有舆论属性或社会动员能力的模型或服务，明确安全评估、算法备案等合规流程，提升模型安全性、算法透明度，提升公众的信任度。指导企业深化安全自评估，监管部门组织专业机构开展安全测试，确保模型在向公众提供服务前风险基本可控。当好安全治理知识的学习者、汇聚者、传播者，点面结合，持续深化人工智能安全框架、技术方法、实践经验的交流和专业供给，逐步提升行业的安全意识与能力。指导企业强化“三同步”，建立健全符合人工智能系统研发和应用特点的网络安全和数据安全管理制度，加强个人信息保护，保障数据全生命周期安全。各层面探索智能化的风险预警，提升实时监测与精准评估能力，及时发现潜在安全风险。指导企业建立可实操、应对各类风险的应急预案，定期演练，提升快速响应与处置突发事件能力，将风险影响控制在最小范围。

　　五是从“静态安全”进阶“动态安全”，转变策略，契合创新。依托持续监测与评估机制，定期复盘、动态调整安全措施，使其契合现实需求。例如，在重大活动保障期间，服务主体需提高安全阈值、加大安全投入，守牢安全底线；监管部门加强专项监测与监督管理。同时，动态安全需要具备一定的预见性和灵活性，能应对未来可能出现的新风险。指导模型企业强化内容安全能力，结合企业、模型、应用特点，在语料、模型、输入输出各层面，严防违法、虚假信息生成传播。防范排序精选、个性化推送算法操纵舆论和纯流量导向，守护网络空间风清气正。针对未依法开展安全评估、出现较大风险的，依法予以处置处罚，坚决守牢安全底线。在严守安全底线的前提下，为技术创新预留一些“弹性空间”，激发创新活力、驱动产业升级；借助科学管理手段和技术创新，深化敏捷治理，保障安全与社会稳定。

　　六是从“传统治理”升级“智能治理”，转变方法，赋能安全。支持科研机构、高校、有能力的企业，持续加大对算法、架构创新、安全对齐、芯片等核心技术研发投入，突破技术瓶颈，筑牢安全基础。推进人工智能安全技术标准化进程，构建自主可控技术体系。坚持极限思维，加快技术自主创新、供应链安全可控，提升人工智能的宏观安全。汇聚专业力量，搭建集成安全测评、技术咨询、安全能力等多元功能的安全公共服务平台，为行业整体安全能力提升赋能。激励企业、科研机构等开展安全技术研发应用，形成创新“生态群”，为安全治理注入持久动力。（施敏 杨海军 作者单位：上海市互联网信息办公室）