智能系统，脆弱的思想：人工智能时代激进化暴力的框架

学术摘要：人工智能的发展需要重新审视促使人们走向极端主义的心理和社会技术因素。本文综述了激进化过程模型、社会与人格风险因素、人工智能机制以及心理机制，提出了一个四阶段框架来描述人工智能在激进化过程中的作用：(1) 暴露阶段，推荐系统和病毒式传播特性使得用户最初接触到极端内容；(2) 强化阶段，过滤泡沫和群体推荐利用偏见强化极端主义信念，形成“回音室”效应；(3) 群体整合阶段，意识形态上同质化的群体、人工智能机器人以及智能助手共同促进成员的归属感，为采取行动做好准备；(4) 暴力极端行为阶段。我们探讨了现有的社会、认知、人格和情境风险因素如何增加人工智能驱动激进化过程的心理风险，同时分析了生成式人工智能的作用。最后，我们提出了基于阶段的治理框架，以指导未来的研究。公开摘要：旨在最大化社交媒体上用户参与度的算法，再加上生成式人工智能，可能会无意中促成激进化过程。这一过程始于暴露阶段，算法通过吸引用户的注意力来推送极端内容；接着在强化阶段，算法为用户提供个性化内容，而人工智能机器人则能形成虚假的共识，强化现有偏见，使极端观点变得普遍化，并让用户远离其他观点。最后，在群体整合阶段，个体被纳入极端主义网络，受到人类同伴、人工智能助手以及机器人的强化，从而进一步巩固激进思想。这些信念会加深人们之间的身份认同。通过利用人们对于归属感与确定性的心理需求，这一阶段的行为可能会变得非常危险，甚至可能引发暴力行为。我们建议采取一些政策措施，以在各个阶段都减少极端化的发生。