Open Information Extraction: A Review of Baseline Techniques, Approaches, and Applications
开放域抽取综述
TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise
Use “{Question} {Answer} {Fundamentals} {Chain of Thought} {Common Mistakes}” five-element training object for each sample. These sample to train a small model called TeacherLM to re-construct others training data to train or fine-tuning larger LLM
Improving Prompt Tuning with Learned Prompting Layers
选择性prefix-tuning learning 由原来全部加个prefix 到 现在的选择性添加 prefix
Woodpecker: Hallucination Correction for Multimodal Large Language Models
Woodpecker的架构如下,它包括五个主要步骤: 关键概念提取、问题构造、视觉知识检验、视觉断言生成 以及幻觉修正。
微调大模型+知识图谱 code link
Controllable Text Generation via Probability Density Estimation in the Latent Space
这篇论文是想干啥的
想要更好的进行基于给定属性的可控文本生成,想要实现更好的可控文本生成效果
为什么之前的方法效果不好原因在哪里?
之前的方法 无法有效地建模具有多样属性、高维度和非对称结构的复杂空间, 隐空间是一个属性空间,需要在该空间中找到多属性最优点,但是这个空间是高纬度且非对称的,无法简单通过在两个单属性点之间找到多属性点,当我们在数学上尝试混合不同的属性时,有可能会超出这些属性原本存在的范围,从而导致生成的句子无法体现我们想要的特质
这篇文章提出了什么方法 使得效果更好了呢?
之前的方法之所以效果不好,是因为要建模的属性隐空间是极其复杂的,导致建模效果很差,而本文提出一种解决思路就是将原本极其复杂的隐空间先转化为简单的可逆标准空间,然后便可以用很简单的方法在简洁的空间中找到要找的属性点,之后通过可逆操作将其映射到复杂的属性隐空间中便可以了
多属性隐空间 到 简单空间 ,简单空间再到多属性隐空间 这两个过程是怎么变换的?
loss是怎么得到的?