研究人员提出新方法，可用于低资源文化的大模型内容审查

当前，以ChatGPT为代表的大模型，拥有来自各个文化的用户，而这些文化之间存在很大的差异。

为了使来自各个文化的用户能够获得更好的使用体验，同时也推动AI的民主化，各个文化的特点都应在大模型中表达出来。

然而，当前大多数西方国家的大模型都存在文化偏见的问题，它们所反映的观点更倾向于美国的观点，而忽略了其他文化。

造成大模型文化偏见现象的根本原因是它的训练数据主要来源于英语语料，大模型会从这些语料中学习其隐含的文化观点。

而其他文化的数据尤其是低资源文化的数据，相较而言更加难以获取。

中国科学院软件所硕士生李澄和所在团队认为：解决文化偏见的核心，在于通过设计算法来对现有文化数据进行增强，从而提高其他文化数据在训练数据中的比例。

除此之外，不同文化之间还存在着文化冲突。即便面对一个问题，不同文化的人的想法和观点是不同的。

因此如果用一个大模型来代表的各种不同文化，可能会造成大模型内部的混乱，从而影响大模型的性能。

基于以上思考，他们研发出一款名为CultureLLM的大模型，旨在解决大模型的文化偏见。

其表示：“我们的方法致力于促进AI民主化，希望其他的文化（也包括低资源文化）能在大模型时代得到关注和重视。”

后来，很多来自低资源文化的人士，在看到本次论文之后开始联系该团队。

这让他们得到了很大的鼓舞，于是他们再接再厉又提出一款名为CulturePark的新方法，旨在解决大模型中的文化偏见问题。

（来源：arXiv）研究中，他们设计了一个多代理人模拟的跨文化交流平台，以此来针对文化数据进行增强。

并微调出8个文化专有大模型，比如阿拉伯大模型、孟加拉大模型、中国大模型、以及韩国大模型等。

这些大模型可以反映出不同文化的特性，比如反映人们的观点、行为规范以及传统习俗等。

在CulturePark中，他们基于多智能体模拟了一个跨文化交流平台，来自不同文化的Agent可以相互交流，并能通过彼此的差异性激发出更多新奇、有意思的观点。

在模拟过程中，他们也设计了一些prompt来帮助大模型更好地模拟不同文化的观点。

为了验证大模型的效果，他们设计了三种文化相关的下游任务：内容审查、文化对齐、文化教育。

内容审查，包括检测仇恨言论、色情言论以及垃圾信息等。对于不同文化来说，在宗教信仰、男女平等等话题上，来自不同文化的人有着不一样的观点，所以内容审查的标准也不一样。

文化对齐，则是验证CulturePark准确性的一种直接手段，研究中他们使用Hofstede的VSM13问卷来验证模型在文化对齐的效果。

“而AI辅助教育是一个新兴的研究方向，我们觉得大模型也可以模拟和外国人对话的场景，于是也验证了其在文化教育方向上的应用。”研究人员表示。

预计本次方法能够用于不同文化的内容审查，比如审查仇恨言论、色情言论以及垃圾信息。

当前，大多数内容审查的方法主要关注高资源文化，而针对低资源文化的内容审查，依然需要得到发展。

而本次提出的CulturePark方法可被用于低资源文化的内容审查，研究人员提出新方法，可用于低资源文化的大模型内容审查同时也能用于高资源文化的内容审查。

另外，CulturePark还可以用于文化教育中。研究人员表示，SimulatedLearning是一种有效的学习策略，它通过模仿真实的应用场景来提高学习效果。

而由于课题组本次研发的大模型，可以很好地对齐不同的文化，因此可以用来仿真成一个外国人从而和用户交流，进而用于文化教育领域。

此外，该团队研发的大模型有着很好的文化理解能力和文化对齐能力，所以能够为不同文化的人，定制不同的文化大模型。

下一步，他们将解决大模型的文化偏见问题。事实上，视觉大模型、甚至语音大模型也会存在文化偏见问题。因此如何解决这些模型的文化偏见，将是他们下一个要探索的问题。

参考资料：

1.https://arxiv.org/pdf/2405.15145