瓶颈 T5 文本自动编码器

Linus Lee 的迷人 Colab 笔记本演示了他的 Contra Bottleneck T5 嵌入模型，该模型最多可以处理 512 个文本标记，将其转换为 1024 个浮点数嵌入向量……然后重建原始文本（或近似模仿）再次从嵌入中。

这允许一些有趣的技巧，你可以做一些事情，比如为两个完全不同的句子生成嵌入，然后重建一个结合了两个句子权重的新句子。