如果换成更大规模的4B参数的领域模型，如果用虚假信息替换100亿训练token中的100万个（虚假信息比例为0.001%），即通过注入仅花费5美元生成的2000篇恶意文章，就会导致有害内容增加4.8%。

最近，纽约大学研究者在Nature Medicine上发表了一项最新研究，为大模型在医疗中的使用敲响了警钟。在一次模拟的数据攻击中，研究者仅将0.001%的训练token替换为错误信息，就训练出了更有可能传播错误医学的模型。

研究表明，即使训练数据中仅含有 0.001% 的错误信息，也可能导致模型输出不准确的医学答案。 数据“投毒”是一个相对简单的概念。LLM 通常通过 ...