Negentropy Capital：为什么我们要投资MetaGPT

ChatGPT虽然火爆，但并非完美

近一年以来，加密市场一直处于熊市的阴霾之中，似乎一切都不足以燃起市场的激情。但就在近期，AI文本生成器ChatGPT横空出世，其用户量在短短五天内就超过了100万大关，数以千万计的用户争相体验，瞬间引爆了全球市场对于AI技术的热情。

但即便盛况空前，以ChatGPT为代表的专注自然语言处理的通用型AI仍面临训练数据集严重不足的问题。

据悉，ChatGPT的原型GPT-3主要用到了五个数据集，它们分别是：

1、Common Crawl：一个包含了超过45 TB的网页文本的数据集，占GPT-3训练数据的60%。

2、WebText2：一个由Reddit上的链接提取的文本数据集，占GPT-3训练数据的22%。

3、Books1：一个由Project Gutenberg和其他来源收集的书籍数据集，占GPT-3训练数据的12%。

4、Books2：一个由互联网上的书籍数据集，占GPT-3训练数据的3%。

5、Wikipedia：一个包含了所有英文维基百科文章的数据集，占GPT-3训练数据的3%。

即便这五个数据集已经包含了较为丰富的内容，但其中仍涵盖着过多的噪声、错误、重复、无关或不合适的内容（尤其是其中提供60%内容的Common Crawl质量较低）。这些内容也因为不利于GPT的学习和提升而被严重降低权重。

不过目前却并没有相同规模的优质数据集可以供大语言模型使用。这就导致ChatGPT的实际发展受到了极大的掣肘。

而MetaGPT的愿景就是采用Web3激励模式成为AI训练0-1部分的基础设施，以解决上述问题。

MetaGPT：连接AI创作者和AI使用者的桥梁

上面我们提到了AI训练缺乏优质数据集的问题。

而MetaGPT则允许任何人参与对无监督大语言模型的反馈调整部分并获得激励（Train to Earn），以建立更易用的通用型AI。其具体流程如下：

1、利用OpenAI团队提供的有大量提示文本的prompt dataset。

这些文本介绍了任务是什么，例如“写一首诗”或“给我一个笑话”等。

然后，人工标注者给出了每个提示文本的期望输出，以及一个0到5的评分，表示输出的质量。

这样，就得到了一个有监督的数据集，用于训练GPT-3生成更符合用户期望的输出。

2、进一步微调GPT-3，需要人工反馈。

设计一个feedback dataset，里面有大量的用户输入，例如“给我一个笑话”或“给我一个饼图”等。

然后，人工反馈者给出了每个用户输入的最佳输出，以及一个0到1的评分，表示输出的合理性。

这样，就得到了一个强化学习的数据集，用于训练GPT-3根据用户输入生成更合理的输出。

众包式用户的参与可以助力大语言模型的人工反馈调整，因为它可以提供多样化、高质量和实时的数据，从而帮助模型更好地理解和满足用户的意图。例如，我们可以通过MetaGPT，让用户对模型的回答或建议进行评分或评论，然后根据用户的反馈来调整模型的参数或策略，使模型更加准确、友好和有用。

这样，我们就可以让模型在各种任务上更加与用户对齐，以提高用户的满意度和信任度。

同时，MetaGPT利用GPT-3开放接口允许任何人在其上训练开源fine tuning模型的Web3+AI项目，任何人训练出适宜某个特定领域的微调模型后可以选择收费开放或免费开放，收费将全部归于模型训练者。免费模型也将根据使用量基于MetaGPT的股权代币奖励。

MetaGPT的目标是成为一个连接AI创作者和AI使用者的桥梁，以促进AI的创新和普及。而这个目标，通过其创建的Train to Earn或许将存在实现的可能性。

关于Negentropy Capital

Negentropy Capital成立于2020年初，是一家专注于数字资产、加密货币和区块链技术产业的全球多元化风险投资公司。其主要包括战略并购、战略投资、资产管理和对外合作四个职能部门，拥有Metavers生态基金、NFT专项基金、DeFi专项基金三个专项基金。Negentropy Capital关注区块链行业的上下游投资，专注于区块链行业的前沿布局，旨在通过资本手段赋能有远见的加密信仰者和团队。