Hugging Face: 铁震：前Google工程师，之前TensorFlow团队的。去年十一月加入hugging face，见证了LLM AIGC的变化，今天有幸受到CFG的邀请，想给大家看一下我在hugging face上看到有趣好玩的模型，希望给大家启发。我不是做模型研究的，我会用通俗易懂的语言，用实战的思路帮助大家理解。 第一章： Hugging Face的历史Hugging Face最早是做Chatbot的，做的比较，当时大模型还没有出现，和ChatGPT没法比。后来Google 发布了Bird, Google当时做了TensorFlow, 不过社区已经逐步转向Pytorch. 所以我们就做了Pytorch版的Bird 副线，把weights 经过一些办法转化Pytorch这种方式，并不是我们重新去训练, 结合这个就慢慢形成了Transformers。Transformer是一个模型结构，transformers是我们这个库，涵盖了所有常用的用到transformer结构的这些模型。我们说开发者，researcher可以很容易把新的模型加上来，用户也可以用同样一个接口...

Hugging Face: 铁震：前Google工程师，之前TensorFlow团队的。去年十一月加入hugging face，见证了LLM AIGC的变化，今天有幸受到CFG的邀请，想给大家看一下我在hugging face上看到有趣好玩的模型，希望给大家启发。我不是做模型研究的，我会用通俗易懂的语言，用实战的思路帮助大家理解。 第一章： Hugging Face的历史Hugging Face最早是做Chatbot的，做的比较，当时大模型还没有出现，和ChatGPT没法比。后来Google 发布了Bird, Google当时做了TensorFlow, 不过社区已经逐步转向Pytorch. 所以我们就做了Pytorch版的Bird 副线，把weights 经过一些办法转化Pytorch这种方式，并不是我们重新去训练, 结合这个就慢慢形成了Transformers。Transformer是一个模型结构，transformers是我们这个库，涵盖了所有常用的用到transformer结构的这些模型。我们说开发者，researcher可以很容易把新的模型加上来，用户也可以用同样一个接口...

以下文章部分内容来自于Jim O’Shaughnessy 以及Emad CEO of Stability AI在infinite loops访谈中关于AI未来发展公开对话。同时也感谢Hugging Face 铁震童鞋提供的相关行业信息。 伟大的人类从400万年前的南方古猿物种一步一步演变而来，经历了史前革命，古文明时期，中世纪，文艺复兴时代，工业革命时代等，启蒙时代的物理学家丹尼斯构想出了蒸汽机的雏形，为之后的水泵、驱动轮船和火车奠定了基础。工业革命时代，人们意识到科技进步能够提升质量，带来全人类的幸福。这段时间内，潜艇，火车，摄影术，电灯，电话，电影等技术相继问世，这也是严格意义上的第二次工业革命。第三次工业革命则是继蒸汽机以及电力革命后的，以原子能、电子计算机等的主要应用为标志的时代。而过去两年人工智能惊人的发展速度，以社区主导的大规模信息聚合有潜力推动下一个世纪的主导。当然人工智能在之前并不缺乏故事和市场运作，以自动驾驶、安防、监控等应用为特征的企业服务/政府服务题材公司，比如商汤科技，旷世科技等，都是领域的龙头。前几年AI主要以inference推理的统计模型为主导，而非...

以下文章部分内容来自于Jim O’Shaughnessy 以及Emad CEO of Stability AI在infinite loops访谈中关于AI未来发展公开对话。同时也感谢Hugging Face 铁震童鞋提供的相关行业信息。 伟大的人类从400万年前的南方古猿物种一步一步演变而来，经历了史前革命，古文明时期，中世纪，文艺复兴时代，工业革命时代等，启蒙时代的物理学家丹尼斯构想出了蒸汽机的雏形，为之后的水泵、驱动轮船和火车奠定了基础。工业革命时代，人们意识到科技进步能够提升质量，带来全人类的幸福。这段时间内，潜艇，火车，摄影术，电灯，电话，电影等技术相继问世，这也是严格意义上的第二次工业革命。第三次工业革命则是继蒸汽机以及电力革命后的，以原子能、电子计算机等的主要应用为标志的时代。而过去两年人工智能惊人的发展速度，以社区主导的大规模信息聚合有潜力推动下一个世纪的主导。当然人工智能在之前并不缺乏故事和市场运作，以自动驾驶、安防、监控等应用为特征的企业服务/政府服务题材公司，比如商汤科技，旷世科技等，都是领域的龙头。前几年AI主要以inference推理的统计模型为主导，而非...

本文部分内容来自于Delphi Digital 的The Complete Guide of Rollups。文章晦涩难懂的同时，也帮助我思考更多的技术的底层逻辑。代码，经济理论只是不同用来调控市场，改变机制，设置规则，让人性出发的手段和媒介，最终的结果能否形成，还是要有一套代码和社会的组合拳。最近确实有些忙，不过忙里偷闲,写篇文章吧。其实写作就和写代码，画画等其他创作行为一样，很多东西并不是在创作前你能够全部braimstorm好的，很多灵感来源于这个过程，就像此时此刻，我在一个密闭的房间，没人打扰，心情大好。简介：现在市面上各种乱七八糟的rollups,啥名字都有，为了分类的同时，也赋予不同的rollups的场景以及在下一个cycle中的叙事背景，当然你可也以理解为是可扩展，高性能的核心工具和媒介。以太坊社区目前分为几大派系。智能合约Rollups 更为安全，但是在治理/中心化和smart contract 风险方面岌岌可危。Enshrined Rollups 本质就是以太坊Sharding之路梦断以后的又一个产物。好吧，既然共识，DA，执行分片效果不理想，那么就用模块化的理...

本文部分内容来自于Delphi Digital 的The Complete Guide of Rollups。文章晦涩难懂的同时，也帮助我思考更多的技术的底层逻辑。代码，经济理论只是不同用来调控市场，改变机制，设置规则，让人性出发的手段和媒介，最终的结果能否形成，还是要有一套代码和社会的组合拳。最近确实有些忙，不过忙里偷闲,写篇文章吧。其实写作就和写代码，画画等其他创作行为一样，很多东西并不是在创作前你能够全部braimstorm好的，很多灵感来源于这个过程，就像此时此刻，我在一个密闭的房间，没人打扰，心情大好。简介：现在市面上各种乱七八糟的rollups,啥名字都有，为了分类的同时，也赋予不同的rollups的场景以及在下一个cycle中的叙事背景，当然你可也以理解为是可扩展，高性能的核心工具和媒介。以太坊社区目前分为几大派系。智能合约Rollups 更为安全，但是在治理/中心化和smart contract 风险方面岌岌可危。Enshrined Rollups 本质就是以太坊Sharding之路梦断以后的又一个产物。好吧，既然共识，DA，执行分片效果不理想，那么就用模块化的理...

OverviewAuthor introduction: W3 Hitchhiker, core contributor for CFG Labs. An independent crypto research team that aims to discover cutting-edge tech and innovative projects by first principles thinking and on-chain data support. We previously focused on the secondary market and used a subjective, non-hedging strategy. We gained lots of experience from Defi and now focus more on the primary market. We built the investment thesis through communicating directly with top founders in the space a...

OverviewAuthor introduction: W3 Hitchhiker, core contributor for CFG Labs. An independent crypto research team that aims to discover cutting-edge tech and innovative projects by first principles thinking and on-chain data support. We previously focused on the secondary market and used a subjective, non-hedging strategy. We gained lots of experience from Defi and now focus more on the primary market. We built the investment thesis through communicating directly with top founders in the space a...

总览架构设计，和其他设计一样，比如建筑设计，美术设计，艺术设计，讲究极高的审美，独特创新，以及可实用性。聪明的人很多，但是不是谁都能设计出world class 的工程作品。那么如果没有这种天赋，一条可行的路就是学习优美的设计，临摹大师的画，学习不同作家的写作风格，最后变成自己独树一帜的风格。就像从写的第一篇文章开始，并不是为了吸引流量，搞粉丝，更多是帮助自己梳理逻辑，养成定期输出的好习惯，顺便吸引志同道合的小伙伴。 以太坊的执行层创新完全没有止步，从最新Optimism发布的（OP stack）就可以看出端倪（具体我们会再下一篇介绍），当然还有包括zkSync, StarkNet, Scroll等，如果开发者能够设计一个开发平台，实现聚合功能，也是一个不错的方向，这意味着用户无需再在不同的执行层做选择，提供一个真正意义上的开发者基础设施服务，提供更契合应用端（比如交易，游戏，社交）的API,合约开发工具，链的可定制化，甚至实现链和链之间的轻松通信，让以太坊的应用开发者也可以享有Cosmos 的App chain Thesis的功能和主权，那么何乐而不为呢。不过想要拉拢以太坊上应...

总览架构设计，和其他设计一样，比如建筑设计，美术设计，艺术设计，讲究极高的审美，独特创新，以及可实用性。聪明的人很多，但是不是谁都能设计出world class 的工程作品。那么如果没有这种天赋，一条可行的路就是学习优美的设计，临摹大师的画，学习不同作家的写作风格，最后变成自己独树一帜的风格。就像从写的第一篇文章开始，并不是为了吸引流量，搞粉丝，更多是帮助自己梳理逻辑，养成定期输出的好习惯，顺便吸引志同道合的小伙伴。 以太坊的执行层创新完全没有止步，从最新Optimism发布的（OP stack）就可以看出端倪（具体我们会再下一篇介绍），当然还有包括zkSync, StarkNet, Scroll等，如果开发者能够设计一个开发平台，实现聚合功能，也是一个不错的方向，这意味着用户无需再在不同的执行层做选择，提供一个真正意义上的开发者基础设施服务，提供更契合应用端（比如交易，游戏，社交）的API,合约开发工具，链的可定制化，甚至实现链和链之间的轻松通信，让以太坊的应用开发者也可以享有Cosmos 的App chain Thesis的功能和主权，那么何乐而不为呢。不过想要拉拢以太坊上应...

This is Chloe, founder of CFG Labs. We are building the best builder community for the modular world. Myself developers, content creator, but most of the time, I have been an angel investor since 2016 after leaving hsbc investment banking team. Mathematics economics degree from UCL and Cambrdige. Today, we are honored to invite Neel Somani, CEO of Eclipse, one of the most innovative protocols bringing solana vm to the modular space, just secured the big money from top investors like Polychain...

This is Chloe, founder of CFG Labs. We are building the best builder community for the modular world. Myself developers, content creator, but most of the time, I have been an angel investor since 2016 after leaving hsbc investment banking team. Mathematics economics degree from UCL and Cambrdige. Today, we are honored to invite Neel Somani, CEO of Eclipse, one of the most innovative protocols bringing solana vm to the modular space, just secured the big money from top investors like Polychain...

CFG Labs: 我们正在为模块化世界建立最好的构建者社区。今天，我们很荣幸地邀请到 Eclipse 的首席执行官 Neel Somani，Eclipse 将 Solana vm 带入模块化空间的最具创新性的协议之一，刚刚从 Polychain、solana 基金会等顶级投资者那里获得了资金。我认为我们在 2016 年以来看到了基础设施方面的许多创新。各个层试图通过吞吐量、确认、延迟、牺牲去中心化和安全性的可扩展性等来改善用户体验。所以我们相信我们现在正在过渡到下一个巨大的机会。 1）在我们深入研究之前。你能快速介绍一下你自己吗，什么是Eclipse，进展如何？ Neel: 我是 Neel Somani，我的背景是传统金融，我在 Citadel 商品集团工作。在电力和天然气集团 工作。这完全是非加密业务。通过查看不同的市场结构，模拟出什么是电力、天然气价格。但这与加密货币非常相关。人们经常进行批量拍卖，各种不同的市场结构。我在 3 月份离职了，我之前在 Terra 生态做过。我当时正在构建一个 EVM，这是在 Terra上运行 evm 代码的方式。我 与 Celestia 进行...

CFG Labs: 我们正在为模块化世界建立最好的构建者社区。今天，我们很荣幸地邀请到 Eclipse 的首席执行官 Neel Somani，Eclipse 将 Solana vm 带入模块化空间的最具创新性的协议之一，刚刚从 Polychain、solana 基金会等顶级投资者那里获得了资金。我认为我们在 2016 年以来看到了基础设施方面的许多创新。各个层试图通过吞吐量、确认、延迟、牺牲去中心化和安全性的可扩展性等来改善用户体验。所以我们相信我们现在正在过渡到下一个巨大的机会。 1）在我们深入研究之前。你能快速介绍一下你自己吗，什么是Eclipse，进展如何？ Neel: 我是 Neel Somani，我的背景是传统金融，我在 Citadel 商品集团工作。在电力和天然气集团 工作。这完全是非加密业务。通过查看不同的市场结构，模拟出什么是电力、天然气价格。但这与加密货币非常相关。人们经常进行批量拍卖，各种不同的市场结构。我在 3 月份离职了，我之前在 Terra 生态做过。我当时正在构建一个 EVM，这是在 Terra上运行 evm 代码的方式。我 与 Celestia 进行...

本周我们将继续介绍我们的Portfolio公司，挖掘Stable Diffusion的所有信息。在正式解析前，我们先为大家做一个初步介绍。 Stable Diffusion 是Stability AI 公司开发的一款文本到图像的产品模型，它将使数十亿人能够在几秒钟内创作出令人惊叹的艺术作品。它是速度和质量方面的突破，意味着它可以在消费类 GPU 上运行。模型权重由托管合作方Hugging Face处理。 这是由 Runway 的 Patrick Esser 和慕尼黑大学机器视觉与学习研究小组的 Robin Rombach（以前是海德堡大学的CompVis实验室）领导的，基于他们之前在CVPR'22上的潜在Diffusion模型工作，并结合了社区的支持在 Eleuther AI、LAION 和Stability 生成 AI 团队。 该模型本身建立在 CompVis 和 Runway 团队在其广泛使用的潜在扩散模型中的工作基础上，结合我们的首席生成 AI 开发人员 Katherine Crowson、Open AI 的 Dall-E 2、Google Brain 的 Ima...

本周我们将继续介绍我们的Portfolio公司，挖掘Stable Diffusion的所有信息。在正式解析前，我们先为大家做一个初步介绍。 Stable Diffusion 是Stability AI 公司开发的一款文本到图像的产品模型，它将使数十亿人能够在几秒钟内创作出令人惊叹的艺术作品。它是速度和质量方面的突破，意味着它可以在消费类 GPU 上运行。模型权重由托管合作方Hugging Face处理。 这是由 Runway 的 Patrick Esser 和慕尼黑大学机器视觉与学习研究小组的 Robin Rombach（以前是海德堡大学的CompVis实验室）领导的，基于他们之前在CVPR'22上的潜在Diffusion模型工作，并结合了社区的支持在 Eleuther AI、LAION 和Stability 生成 AI 团队。 该模型本身建立在 CompVis 和 Runway 团队在其广泛使用的潜在扩散模型中的工作基础上，结合我们的首席生成 AI 开发人员 Katherine Crowson、Open AI 的 Dall-E 2、Google Brain 的 Ima...

在过去十年中，机器学习软件开发的格局经历了重大变化。许多框架层出不穷，但大多数框架都严重依赖利用Nvidia的CUDA，并在Nvidia GPU上表现最佳。然而，随着PyTorch 2.0和OpenAI的Triton的到来，Nvidia在该领域的主导地位（主要是由于其软件护城河）正在被打破。 本报告将触及的主题包括：为什么谷歌的TensorFlow输给了PyTorch，为什么谷歌未能公开利用其在人工智能领域的早期领先地位，机器学习模型训练时间的主要组成部分，内存容量/带宽/成本墙，模型优化。为什么其他人工智能硬件公司到目前为止还不能在Nvidia的主导地位上有所作为，为什么硬件将开始变得更加重要，Nvidia在CUDA上的竞争优势是如何被抹去的，以及Nvidia的一个竞争对手在训练芯片的大型云上的重大胜利。 1,000英尺的总结是，机器学习模型的默认软件栈将不再是Nvidia的闭源CUDA。游戏比赛在Nvidia的法庭上，他们让OpenAI和Meta控制了软件栈。由于Nvidia专有工具的失败，该生态系统建立了自己的工具，现在Nvidia的护城河将被永久地削弱了。TensorFl...

在过去十年中，机器学习软件开发的格局经历了重大变化。许多框架层出不穷，但大多数框架都严重依赖利用Nvidia的CUDA，并在Nvidia GPU上表现最佳。然而，随着PyTorch 2.0和OpenAI的Triton的到来，Nvidia在该领域的主导地位（主要是由于其软件护城河）正在被打破。 本报告将触及的主题包括：为什么谷歌的TensorFlow输给了PyTorch，为什么谷歌未能公开利用其在人工智能领域的早期领先地位，机器学习模型训练时间的主要组成部分，内存容量/带宽/成本墙，模型优化。为什么其他人工智能硬件公司到目前为止还不能在Nvidia的主导地位上有所作为，为什么硬件将开始变得更加重要，Nvidia在CUDA上的竞争优势是如何被抹去的，以及Nvidia的一个竞争对手在训练芯片的大型云上的重大胜利。 1,000英尺的总结是，机器学习模型的默认软件栈将不再是Nvidia的闭源CUDA。游戏比赛在Nvidia的法庭上，他们让OpenAI和Meta控制了软件栈。由于Nvidia专有工具的失败，该生态系统建立了自己的工具，现在Nvidia的护城河将被永久地削弱了。TensorFl...

如果你还没有听说，人工智能是热门的新事物。最近，从硅谷到达沃斯，生成性人工智能似乎是每个风险资本家、企业家、财富500强的首席执行官和记者都在谈论的话题。 对于那些在2022年开始真正关注人工智能的人来说，像ChatGPT和Stable Diffusion这样的技术似乎是凭空出现的，在世界范围内掀起了风暴。他们没有。 早在2020年，我们就在本专栏中写了一篇文章，预测生成性人工智能将成为下一代人工智能的支柱之一。 至少从2019年发布GPT-2以来，在该领域工作的人都清楚，生成性语言模型已经准备好释放巨大的经济和社会变革。同样，虽然文本-图像模型在去年夏天才引起公众的注意，但自从OpenAI在2021年1月发布原始的DALL-E以来，该技术的上升似乎是不可避免的。(我们在原始DALL-E发布几天后写了一篇文章提出了这个论点）。 出于同样的原因，重要的是要记住，目前的人工智能技术水平远远不是人工智能能力的最终状态。相反，人工智能的前沿领域从未像现在这样迅速发展。尽管ChatGPT目前在我们看来很神奇，但它只是通往下一步的垫脚石。下一代大型语言模型（LLMs）会是什么样子？这个问题的...

如果你还没有听说，人工智能是热门的新事物。最近，从硅谷到达沃斯，生成性人工智能似乎是每个风险资本家、企业家、财富500强的首席执行官和记者都在谈论的话题。 对于那些在2022年开始真正关注人工智能的人来说，像ChatGPT和Stable Diffusion这样的技术似乎是凭空出现的，在世界范围内掀起了风暴。他们没有。 早在2020年，我们就在本专栏中写了一篇文章，预测生成性人工智能将成为下一代人工智能的支柱之一。 至少从2019年发布GPT-2以来，在该领域工作的人都清楚，生成性语言模型已经准备好释放巨大的经济和社会变革。同样，虽然文本-图像模型在去年夏天才引起公众的注意，但自从OpenAI在2021年1月发布原始的DALL-E以来，该技术的上升似乎是不可避免的。(我们在原始DALL-E发布几天后写了一篇文章提出了这个论点）。 出于同样的原因，重要的是要记住，目前的人工智能技术水平远远不是人工智能能力的最终状态。相反，人工智能的前沿领域从未像现在这样迅速发展。尽管ChatGPT目前在我们看来很神奇，但它只是通往下一步的垫脚石。下一代大型语言模型（LLMs）会是什么样子？这个问题的...

哪种显卡能提供最快的人工智能？人工智能和深度学习最近不断成为头条新闻，无论是ChatGPT产生的不良建议，自动驾驶汽车，艺术家被指控使用人工智能，人工智能的医疗建议，等等。这些工具大多依靠复杂的服务器和大量的硬件进行训练，但通过推理使用训练过的网络可以在你的PC上，使用其显卡来完成。但是，消费类GPU做人工智能推理的速度如何？ 我们在最新的Nvidia、AMD、甚至英特尔的GPU上对Stable Diffusion进行了基准测试，看看它们的表现如何。如果你碰巧尝试过在自己的电脑上启动和运行Stable Diffusion，你可能会对这一过程的复杂性--或简单性--有一些印象。- 这可能是多么复杂或简单。简而言之，Nvidia的GPU占主导地位，大多数软件都使用CUDA和其他Nvidia工具集设计。但这并不意味着你不能在其他GPU上运行Stable Diffusion。 我们最终使用了三个不同的Stable Diffusion项目进行测试，主要是因为没有一个软件包可以在每个GPU上运行。对于Nvidia，我们选择了Automatic 1111的webui版本；它表现最好，有更多的选...

哪种显卡能提供最快的人工智能？人工智能和深度学习最近不断成为头条新闻，无论是ChatGPT产生的不良建议，自动驾驶汽车，艺术家被指控使用人工智能，人工智能的医疗建议，等等。这些工具大多依靠复杂的服务器和大量的硬件进行训练，但通过推理使用训练过的网络可以在你的PC上，使用其显卡来完成。但是，消费类GPU做人工智能推理的速度如何？ 我们在最新的Nvidia、AMD、甚至英特尔的GPU上对Stable Diffusion进行了基准测试，看看它们的表现如何。如果你碰巧尝试过在自己的电脑上启动和运行Stable Diffusion，你可能会对这一过程的复杂性--或简单性--有一些印象。- 这可能是多么复杂或简单。简而言之，Nvidia的GPU占主导地位，大多数软件都使用CUDA和其他Nvidia工具集设计。但这并不意味着你不能在其他GPU上运行Stable Diffusion。 我们最终使用了三个不同的Stable Diffusion项目进行测试，主要是因为没有一个软件包可以在每个GPU上运行。对于Nvidia，我们选择了Automatic 1111的webui版本；它表现最好，有更多的选...

本次对话采访对象为Stability AI有关负责人，CFGLabs为StabilityAI种子前投资人，此次分享只限于前沿技术分享，因此涉及到相关信息/项目讨论，不应该作为投资建议客服wechat客服james_cook_captain Yizhou 00:00 Yizhou围绕 a generative AI去学习去尝试，然后也贡献了一些方法出来。然后这些方法有一部分可能stable diffusion里面用到的方法，然后有一部分现在的Stability AI我们整个服务里面有用到，然后也往社区里也贡献了一些东西。就在这个过程里面我还要做我的本职工作，但是我的本职工作是一个Strategic designer那种的工作。就一边做的工作，一边周末周六周日给开源社区做贡献，然后同时也就相当于自己在玩，然后边玩的同时也给开源社区作贡献。 然后今年的时候就相当于被开放，因为之前给社区做了不少贡献，然后就进到了stability，这也是我们很多同事的一个加入Stability AI的路径，从我们的CTO到我现在的 Teammate，很多都是以路径进到Stability AI的，这大概就...

本次对话采访对象为Stability AI有关负责人，CFGLabs为StabilityAI种子前投资人，此次分享只限于前沿技术分享，因此涉及到相关信息/项目讨论，不应该作为投资建议客服wechat客服james_cook_captain Yizhou 00:00 Yizhou围绕 a generative AI去学习去尝试，然后也贡献了一些方法出来。然后这些方法有一部分可能stable diffusion里面用到的方法，然后有一部分现在的Stability AI我们整个服务里面有用到，然后也往社区里也贡献了一些东西。就在这个过程里面我还要做我的本职工作，但是我的本职工作是一个Strategic designer那种的工作。就一边做的工作，一边周末周六周日给开源社区做贡献，然后同时也就相当于自己在玩，然后边玩的同时也给开源社区作贡献。 然后今年的时候就相当于被开放，因为之前给社区做了不少贡献，然后就进到了stability，这也是我们很多同事的一个加入Stability AI的路径，从我们的CTO到我现在的 Teammate，很多都是以路径进到Stability AI的，这大概就...