王选所网络信息处理部门师生参加ICLR 2024
ICLR 2024(The Twelfth International Conference on Learning Representations)于2024年5月7日至11日在奥地利维也纳举行。王选所网络信息处理部门张辉帅老师,以及研究生黄曲哲、陶铭绪、张晨、胡雨桐、陈智斌等参加了此次会议。
ICLR是人工智能领域的国际顶尖会议,致力于推动深度学习理论和技术的发展。ICLR旨在发表和展示人工智能、统计学和数据科学等领域的尖端研究,同时关注机器视觉、文本理解、计算生物学、语音识别、游戏和机器人等重要应用领域的进展。
王选所网络信息处理部门在本次会议上进行了4篇论文的展示。论文信息如下:
Chao Zhou, Huishuai Zhang, Jiang Bian, Weiming Zhang, Nenghai Yu. “©Plug-in Authorization for Human Content Copyright Protection in Text-to-Image Model” ICLR 2024 Workshop on Reliable and Responsible Foundation Models (R2FM)
本文探讨了文本生成图像模型中的版权侵权问题,创造性地提出©Plug-in授权框架,即把版权内容做成大模型可插拔的组件,并实现添加、提取、组合等基本操作。实验表明©Plug-in在艺术家风格复制和卡通IP再创造中的有效性,为保护生成式AI时代的人类版权提供了关键解决方案。
Chulin Xie, Zinan Lin, Arturs Backurs, Sivakanth Gopi, Da Yu, Huseyin A Inan, Harsha Nori, Haotian Jiang, Huishuai Zhang, Yin Tat Lee, Bo Li, Sergey Yekhanin. “Differentially Private Synthetic Data via Foundation Model APIs 2: Text” ICLR 2024 Workshop on Secure and Trustworthy Large Language Models (SET LLM).
本文探讨了利用大模型解决数据隐私问题的方法。本文提出的Aug-PE算法,可以在保证差分隐私的前提下,生成与敏感数据分布相似的合成数据。特别地,该算法仅通过访问大型语言模型(LLM)的API生成差分隐私(DP)高质量合成文本,为隐私保护的大模型应用提供了更便捷的解决方案。
Chen Zhang, Mingxu Tao, Quzhe Huang, Zhibin Chen, Yansong Feng. “Can LLMs Learn a New Language on the Fly? A Case Study on Zhuang” ICLR 2024 Tiny Papers Track
现有的大型语言模型(LLM)仍然无法支持众多的低资源语言,特别是对于极低资源语言,缺少足够的训练数据来有效更新模型参数。本文研究LLM是否可以通过上下文学习提示即时学习一门新的低资源语言。 为了研究这个问题,本文收集了一个小型的壮语平行语料库,并测试了不同LLM在壮汉翻译任务上的表现,展示了即时学习这一新范式的巨大潜力。
Yutong Hu, Quzhe Huang, Mingxu Tao, Chen Zhang, Yansong Feng. “Can Perplexity Reflect Large Language Model's Ability in Long Text.” ICLR 2024 Tiny Papers Track
近期研究表明,大型语言模型(LLM)具有处理极长文本的潜力。 许多工作仅评估LLM在语言建模任务上的长文本处理能力,以困惑度(PPL)作为评估指标。 然而,本文发现PPL和LLM的长文本理解能力之间没有相关性。 此外,PPL可能只反映模型对本地信息建模的能力,而非捕捉远程依赖关系。 因此,仅仅用PPL来证明模型可以处理长文本是不合适的。在评估模型的长文本中能力时,研究者应更多地关注 PPL 的局限性,并避免对其过度依赖。
张辉帅老师进行海报展示
王选所网络信息处理部门参会同学合影
上一篇 下一篇