Gartner公司预测,未来生成式AI(AGI)将逐渐走向全民化应用。然而,AGI面临着巨大的风险和挑战,如何解决这些挑战是至关重要的。 目前,AI应用的发展正面临着越来越多的限制和风险。例如,AI模型可能存在偏差和歧视,用于自动化武器系统的AI算法可能威胁到人类安全。此外,AI系统的透明度和可解释性也仍然是人们关注的焦点。 为了解决这些挑战,需要采取一系列措施。应该加强AI系统的透明度和可解释性,使其更加符合人类价值观和道德标准。还需要制定更加严格的安全性和隐私保护措施,确保AI技术的安全和稳定性。此外,需要更加注重用户教育,让用户更好地了解AI系统的局限性和风险,并避免滥用AI技术。 虽然AGI的应用前景广阔,但同时也面临着巨大的挑战和风险。只有在解决这些挑战和问题上取得积极的进展,AGI才能真正实现其全民化应用的目标,并为人类社会带来更多的福利。

2023-10-18 18:46:17 奇安信科技集团股份有限公司

• Gartner发布2024年十大战略技术趋势,其中生成式AI和大型模型占据第一名的位置。Gartner预测,到2026年,80%的企业将使用生成式AI的API或模型或在生产环境中部署支持生成式AI的应用。尽管如此,Gartner仍谨慎认为,AI的全民化需要采取严谨的方法广泛采用AI并注意风险。 奇安信大模型卫士产品负责人刘岩表示,大模型应用除了训练数据、输出数据时可能引发隐私数据泄漏外,还可能面临法律合规、内容违规、知识产权、非法使用等风险。为此,Gartner将“AI信任、风险和安全管理”摆在了第二的位置。Gartner解释说,AI的全民化使得对AI信任、风险和安全管理的需求变得更加迫切和明确。在没有护栏的情况下,AI模型可能会迅速产生脱离控制的多重负面效应,抵消AI所带来的一切正面绩效和社会收益。 根据Gartner的解释,AI TRiSM提供用于模型运维、主动数据保护、AI特定安全、模型监控以及第三方模型和应用输入与输出风险控制的工具。除此之外,AI TRiSM还有助于满足全球范围内激增的人工智能法规。奇安信大模型卫士产品GPT-Guard是一款帮助企业客户有效监控和防护大模型在使用过程中可能引发的数据泄露、法律合规、知识产权等一系列安全风险的产品。GPT-Guard能够完美适配并识别海量主流大模型应用,让企业全面掌控大模型的使用情况;具备领先的大模型风险发现能力及风险检测库,可以检测大模型应用自身安全风险、服务商风险以及大模型使用过程产生的数据泄露风险、数据跨境风险、服务风险、用户及设备风险、业务安全风险等多维度安全风险,帮助企业及时感知大模型的风险情况。

  

• 招聘范围主要集中在北京、上海、武汉，主要招聘经验要求为3-5年，学历要求为本科的岗位。

• 公司参与招标171次，招标金额为36196.84（万元），公司参与中标215次，中标金额为8475.26（万元），最近项目为：天地融合互联网的试验验证平台采购项目招标公告、面向某某保障的边缘计算安全技术和产品采购项目、面向工业互联网的高性能可靠多方安全计算产品项目-中标候选人公示。