建议使用以下浏览器，以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉，您需设置社区昵称后才能参与社区互动！

前往修改
我再想想
✖

华为云大赛技术圈

话题 : 467 成员 : 405

加入HCSD

DALL-E官方论文代码终于放出，OpenAI是如何实现图像版GPT-3的？

火星木拉提... 2021/2/26 840
今年年初，OpenAI 图像版 GPT-3、120 亿参数的 DALL-E 刷屏社区，这个大型模型可以将以自然语言形式表达的大量概念转换为合适的图像，效果十分惊艳。


如输入「牛油果形状的椅子」，就可以获得绿油油、形态各异的牛油果椅子图像。

image.png

如果 GPT-3 一样，大家都在期待 OpenAI 放出 DALL-E 的官方论文与实现代码。

经过近两个月的等待，DALL-E 的论文和代码终于新鲜出炉！

image.png

不过此项目正在更新，截止发稿时 DALL-E 只开放了使用图像重建部分 d-VAE 训练的 CNN 编码器和解码器部分，而 Transformer 代码部分还没有公开。除此以外数据集也不能使用。而论文也是公布了 d-VAE 的论文。

image.png

  • 项目地址：https://github.com/openai/DALL-E

  • 论文地址：https://arxiv.org/abs/2102.12092

只能期待后续 OpenAI 公开更多的技术细节。

DALL-E 部分代码已开源

image.png

这是为 DALL·E 所使用的 d-VAE 的官方 PyTorch 包。在运行 DALL-E/notebooks/usage.ipynb 程序之前，需要先安装软件包，代码如下：

pip install git+https://github.com/openai/DALL-E.git

image.png

解码器、编码器代码

d-VAE 论文

年初在论文还没有公开的情况下，就有人开始复现，他们复现的依据来自某博主制作的油管视频，在视频中，对 DALL·E 的原理结构进行了猜测。那么，现在论文已公开，是否颠覆了他的预想。

image.png

传统上，文本到图像的生成主要集中在在固定的训练数据集上找到更好的建模假设。这些假设可能涉及复杂的体系架构、辅助损失或辅助信息，例如在训练期间提供的对象部件标签或分割掩码。该研究提出了一种基于 transformer 的简单方法，将文本和图像 token 作为单个数据流进行自回归建模。在足够的数据和扩展的情况下，当以 zero-shot 方式评估时， 该研究提出的方法与以前的领域特定模型具有相当的竞争力。


机器学习
上一篇>华为云细粒度文本情感分析及应用-华为云 NLP算法专家分享
下一篇>百余篇经典论文算法上线华为云AI Gallery，学AI就用ModelArts

回复 (0)

没有评论
上划加载中
说点什么...
联盟首页 发表话题
返回列表 上一篇 下一篇
回复话题 发表话题
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

火星木拉提2号

角色：导师

话题：43

发消息
发表于2021年02月26日 18:16:50 8400
直达本楼层的链接
楼主 正序浏览 只看该作者
[技术干货] DALL-E官方论文代码终于放出，OpenAI是如何实现图像版GPT-3的？

今年年初，OpenAI 图像版 GPT-3、120 亿参数的 DALL-E 刷屏社区，这个大型模型可以将以自然语言形式表达的大量概念转换为合适的图像，效果十分惊艳。


如输入「牛油果形状的椅子」，就可以获得绿油油、形态各异的牛油果椅子图像。

image.png

如果 GPT-3 一样，大家都在期待 OpenAI 放出 DALL-E 的官方论文与实现代码。

经过近两个月的等待，DALL-E 的论文和代码终于新鲜出炉！

image.png

不过此项目正在更新，截止发稿时 DALL-E 只开放了使用图像重建部分 d-VAE 训练的 CNN 编码器和解码器部分，而 Transformer 代码部分还没有公开。除此以外数据集也不能使用。而论文也是公布了 d-VAE 的论文。

image.png

  • 项目地址：https://github.com/openai/DALL-E

  • 论文地址：https://arxiv.org/abs/2102.12092

只能期待后续 OpenAI 公开更多的技术细节。

DALL-E 部分代码已开源

image.png

这是为 DALL·E 所使用的 d-VAE 的官方 PyTorch 包。在运行 DALL-E/notebooks/usage.ipynb 程序之前，需要先安装软件包，代码如下：

pip install git+https://github.com/openai/DALL-E.git

image.png

解码器、编码器代码

d-VAE 论文

年初在论文还没有公开的情况下，就有人开始复现，他们复现的依据来自某博主制作的油管视频，在视频中，对 DALL·E 的原理结构进行了猜测。那么，现在论文已公开，是否颠覆了他的预想。

image.png

传统上，文本到图像的生成主要集中在在固定的训练数据集上找到更好的建模假设。这些假设可能涉及复杂的体系架构、辅助损失或辅助信息，例如在训练期间提供的对象部件标签或分割掩码。该研究提出了一种基于 transformer 的简单方法，将文本和图像 token 作为单个数据流进行自回归建模。在足够的数据和扩展的情况下，当以 zero-shot 方式评估时， 该研究提出的方法与以前的领域特定模型具有相当的竞争力。
点赞 举报
分享

分享文章到朋友圈

分享文章到微博
复制链接到剪贴板
返回列表 上一篇 下一篇

游客

您需要登录后才可以回帖 登录 | 立即注册

手机扫码分享给好友