Tie Zhen: former Google engineer, from TensorFlow team. I joined hugging face last November and witnessed the changes of LLM AIGC. Today, I am honored to be invited by CFG and would like to show some interesting and models I saw on hugging face, hoping to inspire you. I am not a researcher, I will use easy-to-understand language and practical ideas to go through and help you understand.

Chapter 1: The History of Hugging Face

Hugging Face is established to build Chatbot long time ago, when the LLM has not yet appeared, and it’s hard to compete with ChatGPT. Then Google released Bird, and did TensorFlow, but the community has gradually shifted to Pytorch. So we did a Pytorch version of the Bird, transferred weights to Pytorch through some way rather than re-trained, combined with which we slowly formed the Transformers. Transformer is a model structure, transformers is our library, covering all the commonly used models with this transformer structure. Developers and researchers can easily add new models, and users can also use the same interface with different kinds of models.Not only NLP (natural language processing), CV (computer vision) many fields are using this architecture based on Transformer. After the rise Text2image, we build a similar library for diffusion models, called diffusers, to include diffusion models. These are the two main products of our library; another product is Hugging Face Hub, Hugging face.co. I'll share the screen.

 It's similar to Github, covering several sections. 1) Models: there are all kinds of models, we have 150,000 models now. If you want to learn NLP models, or want to play something, you can find it in the left filter. Here is the classification according to the task. My personal understanding is that NLP is not very useful now, GPT is too powerful now and has taken the whole NLP market share, but others such as audio, computer vision, multimodels, you could see some good models. For models, any models you have trained can be uploaded. The biggest difference between us and Github, is that once uploading, we can help you save large files. For example,  GPT-2, a very early model of OpenAI, has more than 400 megabytes (MB) for a random file called tflite, and more than 500 megabytes for a file Pytorch. The Github can’t host such large files. Our services include storage of large file and CDN. There is a hosted inference API on the right side of the page, once you upload the model, he will guess what the model is doing. When you see GPT-2, he knows it's probably a text generation model and will help you set up the weject... You could interact with your model here. Here's an example of what my name is, followed by the blue font that is generated out.

2. Datasets: training model with datasets, or prepare some data. The interesting filter here is the size. What’s the largest model here? The largest is poloclub/diffusiondb, the size is several T (size categories greater than 1T), each files are a few hundred megabytes, and we offer a free hosting service. The last and I think the most interesting part is Spaces, which is actually a Github application. Once Github open sourced the code, it is not particularly sure how to run it and what dependency to install to run it. Instead Spaces could provide easy to use instance with Amazon's virtual machine where you can run directly on it. Of course you can also hook up some GPUs and run the big models to try. This OpenChatKit is the most recent popular one, but IMO a bit silly, I will introduce you more powerful robots later on. The main purpose of this bot is to provide feedbacks, you can give him feedback score, good or bad. This data will be aggregated and later recorded by the Open Kit System once training again. It's a bit like reinforcement learning from human feedback(RLHF), which takes this score and lowers priority next time, and so on. This is the Space.

Chloe: If you keep feeding bad data, will it affect the model? How to solve it?

Tie Zhen: Definitely. When Microsoft launched Ice, it was played by everyone. Feeding some strange things that impacted the Ice not in positive way. We could do some counter measures to make sure this is balanced and works best for the future such as data-level auditing, including feedback, which can be recorded to long-term memory, which is not.

Then if you are planning to use hugging face, please pay attention to the Trending Page which show you the most popular ones.This is the spirit of open source since many models will be hosted on Hugging Face directly. If we look at the models, Tsinghua's chatglm-6b is hot, with more than 10,000 downloads and  200 likes. Note that the downloads here are two weeks' downloads, not all the downloads on Github. In addition, ControlNet, Stable Diffusion, OrangeMixs, anything which I will introduce soon, are hot text2images ones. Spaces is very interesting, once models is released, many people will write the UI interface. We just go through the OpenChatKit.

This Spaces you see here is one with front end and back end, and I may also have some interaction with him. For example, I can use it to generate images. Will this be hard to work on? I type A high tech solarpunk utopia in the Amazon rainforest (low quality). For example, if we look at the code Stable Diffusion, gitattributes, README, you don't need to look at these. Look at app.py only, read his code, it's actually very simple. The core code is from the  “infer function” (15 lines). Once the user clicked the bottom, then we could generate the image out. This is done with gradio (gradio.app). The core idea is that you could build the UI app through only a few lines code, which greatly improves the productivity of AI apps. This is a brief introduction for Hugging Face.

Chapter 2 Hugging Face on the interesting Space

Previously I have some awesome Spaces list, now I believe is not enough awesome, ChatGPT4 is really strong while others spaces is far away from commercialization. But there still exist some interesting ones. For example, YOLO is very commonly used detection model for CV. The core idea is to find out what is inside this, for example, let the city camera to count the number of cars on the street. You can run a YOLO model to help you find the Bounding Box, to help you find all the cars. For the case I show here, this author has written a Space, and it is very intuitive to see how YOLOv8 is different from v7 or other versions. This is probably even more true for the text2image models. In the past, it may be enough to look at the accuracy rate to decide whether the model is good or bad, but now for many models, you need to try it out to see if it works better, or if it can meet your needs in some specific scenarios. This result is running out, because the CPU is used, so it runs slower, but the effect is still good.

Wang Yi: Do we use the browser's computing resources to run?

Tiezhen: No, this is a complete background run. If you create a space, we will give you an instance on the background for free, we give you a 2-core CPU and 16GB of memory for free, and then other versions will be upgraded for a fee.

This is the Large Language Model API, you can call different LLMs, I'll show you a few demos that I think are the most impressive. We know that ChatGPT has a UI interface and also provides an API, so you can use the API to interact with him. How about people said, "I am not very satisfied with the default UI interface, can't I write a UI interface that is fully functional with the API. I can write a flatter app, which can run on my phone and computer.川虎ChatGPT is such an implementation, completely using the Public API to achieve the function of a UI interface. For example, when you run the program, you will see Queue:1/1 13.5/14.0s followed by the estimated time. Queue means how many people are in front of you, 1/1 means that there is one person in front of you, and your turn will come when the person in front is finished. Because there is a queue, so it shows the timeout. At this point you can duplicate this space, which is equivalent to you creating a copy of this space and running it entirely with your own resources. What does that mean. Let's say this is a 2-core, 16GB VM, after you Duplicate it, you have your own VM for your own use, or you can change it to public to share it with others. I have already created it here, I can find it now. I can chat with him now.

I think the biggest value of this thing, if you are not satisfied with the UI interface, and want to design some better UI interface, for example including some better prompt, tips as templates, we can use this interface. For example, you can go look at his code. If you need to create a Template function, you could change the code which I think this is the biggest charm for open source software. You can customize the interaction interface and ways. For example, word doesn’t have the function which you would like to use, very difficult for you to use, but in the open source world, especially this relatively lightweight app, please feel free to go to play creativity, do a lot of things.

WangYi: Can I understand this very much like wordpress, the domain name and server thing. So basically hugging face.co helps you manage it, and you can do incremental customization.

Tie Zhen: You can understand it that way, but he is much more powerful than wordpresses. The customization one is still very strong. You can use the Gradio I just mentioned, and you can even upload a Docker profile on it and execute it directly on the virtual machine, so the scalability is so good.

Chapter 3: AIGC and Demos

I think AIGC is very similar to empty ears, so let me give you an example. When you go to listen to a Korean or Indian song, the first time you listen to it, you may think it is noise, you can't understand what it says, you may know that he has some rhymes, you don't know what he says. Once you read the subtitles, the subtitles are actually someone hearing him out, using Chinese, pronounced very similar words to describe it. Then you listen to it, you may feel that this is about the lyrics, although the lyrics are very nonsensical, such as the I said “you do not mind not to shower”. Once you accept the sorts of lyrics, when you go to listen to the song again, you will find that he seems to be singing about this very thing, no longer a noise, but a subtitle is saying something. So I believe AIGC speaks the same thing.

What's going on here with the diffusion model is actually a process of noise reduction. We imagine what the process of adding noise is like. The original is a graph, a little bit add noise, a little bit add noise, slowly the graph is what we can not see. The Diffuison model does the reverse process, and the information inside the noise needs to be extracted, how to extract it, if you do not give any direction at all. If you do not give him the direction, Korean songs you let him listen to 100 times, or do not understand what is, always in this state. So the only way is to give him the prompt, control, imbedding, the additional information. Let him go through the process for “empty ear”, let him feel as if I see the second picture on the right, then there will be a little move from the rightmost picture to the left. Here I seem to see a cat. In fact, I looked at the second picture on the right, and then look at the first picture on the right, I can vaguely see a cat out. After taking the first step, you can take the second part and finally restore the cat completely. Think the cluttered picture is a cat, then it’s believed to see the cat.The truth as for what the original pic is not important, what is song in Korean is not important.

License: In fact, people focus on text2image rarely concern about license,so does open source software.It’s still in the gray area. But we have seen some lawsuits, in some areas such as the United States, which has some influence. Once the first case law is out there, there might bring huge impact. The license for Stable Diffusion is still relatively general. For example, if you draw a portrait of someone without their consent, hand painting should not be a problem in our opinion. But if you use the AIGC tool, Stable Diffusion to create a portrait without anyone's consent, according to my understanding, it may be a violation of the license. The reason why I think it is more lenient is that it can be used for commercial use. In contrast, MJ has a restriction that free users can only use the generated images for personal use, not for commercial use. The company MJ has the right to use the images you generate. There is a big difference between this and Stable Diffusion. Why do we say that this thing is still in the gray area? Because although there is license, the U.S. copyright law, according to his current law, only applies to works created by people rather than the AI works created without the owner, without the copyright. I can’t predict the future, but will have influential impact.

Not only the artists will encounter such a problem, code generation, Chatgpt will also do.Whether I can use arbitrary things to train, or the one without the copyright license is still a question. The trained model, the generated content is owned by whom. This is a relatively large problem, I do not have the answer, I just give you FBI warning before using any model.

Wang Yi: My understanding is that the training data is certainly copyrighted, As long as the training data copyright solution is solved, it’s fine.There are two available solutions. The first is buyout, if the the training data belongs to you, then anything through the training data re-creation, regeneration still belongs to you. The second is that you only have the right to use, you could only use the metadata for training, that you do not have actual ownership. Then if you generate this thing, you also only have the right to use, you do not have unlimited commercial rights. Instead it should belong to the owner of the metadata. It only needs to confirm be confirmed, because this is indirect relationship. If you find a way, for example, such as the image comparison, that you and his picture have some very similarities that, he believes that this belongs to the training, rather than inference, you are likely to be sued.

Tie Zhen: It's possible. I'm not a lawyer, but I personally think it's a little bit more complicated, because different people have different interests. The first is the original creator, the human artist, and then the creator of the dataset, such as Laion, the Pile (eleuther.ai), the person who collected the data into a dataset, and Stable Diffusion, the person who trained the model, took the dataset with the copyrighted data, and then trained the model out. For example, if I use Stable Diffusion to make an inference, it is actually related to my copyright and Stable Diffusion’s. Even after I generated the image with AIGC, I made some changes, or someone else did something with my image. So there is a long chain in between.

As you know, Stable Diffusion has its own model, for example, Stable Diffusion v1-5, we use the original model to generate something. We can also take a fine-tuned model such as anything v4 (Fantasy.ai) to compare. Different models, training sets, training methods, training weights, are different, the style is also different.

WangYi: Can you do animation through prompt now? Fix a character, GPTCHAT, generate different actions and scenes for this character, generate animation, and some short movies.

Tie Zhen: I think this involves two problems, whether I can generate a character and give him different pictures. You see this anything v4 model, is the same portrait, for different forms of generation. After overlaying ControlNet, you can pose for her. The second question, can I make this figure move, which basically you need to insert countless pictures in between, resulting in this series of movement,I to be honest this technology is not yet mature yet. Stable Diffusion has been around for half a year, so maybe there will be another model in another half year.So let’s be patient.

Frank: For 3D's Netflix is doing it. Runway, a German company, is also doing that.

Tie Zhen: I'm in some AIGC groups and it's totally indistinguishable whether it's AI generated or real people. Professional can really mix up the ones, which is still very impressive. We have AIGC models and diagrams in Diffusers Gallery. Some models with LoRA, which you can use this as a tool.  LoRA model is a concept or several concepts equivalent, and is being used in the AIGC generated pictures.

For example, the standard model has the form of a dog, but you say draw a picture of a dog. But this dog is still different from your dog. Each dog has a unique place, through DreamBooth technology, we can let the model learn what this dog looks like, and after learning, I can generate a picture of this dog in different scenes, and we can observe that the training set has different angles of the dog. 

DreamBooth is a fine-tuning technique that speaks to the effect that can be achieved with a handful of photos. If you have more photos to tune the parameters, you may have better results. If 3-5 photos, if you can achieve a good result, it is actually a very good result. This technology was first invented by Google. But this is not the only one, there are also texing patterns and so on. We have hosted the relevant hackathon. Here is the DreamBooth models that people uploaded, the winner is the national tide style, what he trained is not something specific, rather the national dynasty style.

The problem with DreamBooth is that the model is too big, 4-5 G post training. So there is a new technology behind it, where two superimposed together can make the fine-tuned model very small, for example LoRA+DreamBooth.

Wang Yi: Diffusion model, one 11G GPU are able to host, if then training, probably the  24G A30 could work to handle it, right?

 Tiezhen: Yes. I think the reason why Stable Diffusion is so popular is 1) open source and 2) huge, it could run on home graphics cards to (rather than A100). dreamBooth + LoRA stacked up, the model can do 3.3 MB. What's the benefit? You can put your LoRA model together and customize the effect.

 We did a contest with Flying Paddle, and Baidu Flying Paddle provided the computing power and the code. All you have to do is prepare a few photos, go to the contest, choose a GPU, drag the photos to the computing center of Flying Paddle, run them, and build the model.

This is a planetary engine, WonderingEarth. let's look at this contestant, a man looking at the WonderingEarth. Because it's LoRA, you can string different concepts together. Imagine a person made concept called moon orbiter, prompt a man looking at the WonderingEarth + moon orbiter, here will appear the moon orbiter, you can combine different concepts together to achieve the effect, even you can say, the country dynasty style planetary engine. Of course there are many technical details inside, the general idea is this.

The next technology that I am optimistic about, Elite, is that I need to have a training process to make the model learn a new concept. For traditional machine learning, it’s the concept of fewshot, now I have the possibility to do zeroshot. I give you a few photos, you do not need to re- fine-tune, fine-tuning takes ten minutes to twenty minutes. Can you see me this photo and will know what I want to do,and directly draw out. For example, I chose the photo of the kitten, gave him a mask, told him that this position of the kitten is what I want him to be generated here again in the new picture. This example defaults to the concept called S, which was previously called Kokusai, or Wonderingearth, and here is called S. My command (S in jar). We see that the effect is still good. If we use DreamBooth, and LoRA, the results will be even better. After all, it takes so long to train and there are so many photos. For this case, one photo is enough to achieve such an effect.

Another one is called ControlNet, just now we said that when the empty ear gives you the lyrics, and then you imagine what the song is singing according to the lyrics. Now I do not give you the lyrics, I give you the painting, give you other Control. In the image above, you can give him an edge, tell him, you see an edge from this nothingness, you can see what, and then give an additional prompt, and then generate the effect. The Prompt I gave him was a boy, and there are a couple of photos that still show it, and although it's a girl on the left, the right photo morphologically satisfies my requirements. He also met the requirements of a black and white edge. If I can draw a sketch and tell him what the sketch is about, he can fill in the color, modify it, light and shadow, and handle it all, and use new techniques like LoRA to include some concepts.

This is another kind of Control, just now we apply the edge, here is pose estimation, we just call another AI model to identify, identify the bone key point, where the head is, where the hand is. After recognition, and then give on the prompt. We see the generally the effect is good. The hand is not handled well, the head, the location of the feet are good. Also it generated four pieces altogether. This is ControlNet, where you give him more Control, and let him follow your ideas to help generate.

Extending this idea forward, we can do more things, such as whether we can list all possibilities, and I can choose what I need. For example, Tencent recently made T2-Adapter, which can use Style & Color, Structure, sketch, pose, depth, and edge all together. This example is that I take the shouting figure as Style, I want to use my Pose, I want to draw a monk. Again the hand is a bit weird. If I give a full body shot, including the hands, the effect should be better. This interesting thing is that you can put these all kinds of combination altogether. ControlNet can also do via multicontrolNet, but the UI is not so good.

Ali has a new work called Composer, which you could get Sketch, color scale, mask, etc. from a picture. According to different combinations, you can generate different pictures. Not yet open sourced.

Next, we introduce non-model, cutting-edge productivity tools. The first is the Robust Face Restoration and upscale models. The scene is where Stable diffusion generates 512*512 maps by default, and with upscale you can generate 2048*2048 maps. This is one of the upscaler. You can go through this way, see how the effect, if good, you can then choose a slower upscale, to effect the picture better.

Introduced above are all single tools, if you make a living or develop an deep interest in the area, you need to learn to use Webui UI,  the open source tool, which many people use for deployment in Hugging Face. It provides a lot of features, this is only a compressed version where some plug-ins are not installed. But you can do text 2 image. Give him prompt, or even negative prompt, many parameters can be selected, and subsequently generated a landscape painting. Local editing, instruct him to draw an airplane in a certain position, he can draw an airplane, there is an airplane in the clouds and mountains. It feels like it is going to fly out of the painting. There is also image2image, which you can learn.

Finally, I will show you some examples of sound generation. Here you can use the style of the original God character to generate the words being said. For singing, we can generate songs for you. You could customize to change the pitch, duration, like I was doing the change of the lyrics. The style of the song, or the character's voice, are required a lot of data to train, the future may also appear the technology similar to LoRA, where we can compose different styles such as for example, let Deng Ziqi sing Jay Chou's song, plus our own lyrics. Or in the future emergence of zeroshot, similar to Elite style, I gave him a song, the scene learned this style, break down, customize and create the new songs again.

Chloe: A lot of papers I read before talked about training parameters, training methods, datasets, hardware requirements, etc. But what you shared made me feel that this wave of AI is really going to reach all of us, and everyone should learn how to use these modeling tools. The CEO of Microsoft also said at one point that if you won't use these AI tools in the future, it's like you won't use your smartphone now. You've made some of the more complex, academic stuff very insightful. For us investors, especially important is how to take these obscure things, to translate for people who don’t have enough obsession or ideas for AI.Previously, the AI industry's threshold is relatively high, I remember around all learning AI are PhD, PhD in mathematics. Now in fact, generative AI has greatly reduced the threshold of the industry, through mastery of these core skills and functions, all people can train their own models, their own data, I think the future target is to reach a billion, if not tens of billions of users. The British government has also announced its plans to spend billions of pounds to establish a supercomputing center, whether it is for an individual, a country, a religion, or a culture that needs its own idiosyncratic model. As a front-line entrepreneur, Tie Zhen has talkd a large number of startups, technology companies, running different AI models. We also found that the iteration rate is very fast, and the development of AI in the past few months has exceeded the growth rate of the past few years. 15 years ago, when AlphaGo Progamme appeared, many people in the industry had already predicted that AI (2024, 2025) would usher in a huge development opportunity in ten years. This is the reason why we are laying out in advance.

Wang Yi: I am now in charge of algorithms at GraphCore, and we are making chips to support the training of various models. This research of yours help me understand of Stable Diffusion as well as ecosystems. We also ran the Stable Diffusion model before.I think the tool chain of Hugging face is interesting, we need to learn how to control the generated content, in line with our expectations. I believe the future e will have more natural of control, through prompt and interactive tools.

铁震：前Google工程师，之前TensorFlow团队的。去年十一月加入hugging face，见证了LLM AIGC的变化，今天有幸受到CFG的邀请，想给大家看一下我在hugging face上看到有趣好玩的模型，希望给大家启发。我不是做模型研究的，我会用通俗易懂的语言，用实战的思路帮助大家理解。

第一章： Hugging Face的历史

Hugging Face最早是做Chatbot的，做的比较，当时大模型还没有出现，和ChatGPT没法比。后来Google 发布了Bird, Google当时做了TensorFlow, 不过社区已经逐步转向Pytorch. 所以我们就做了Pytorch版的Bird 副线，把weights 经过一些办法转化Pytorch这种方式，并不是我们重新去训练, 结合这个就慢慢形成了Transformers。Transformer是一个模型结构，transformers是我们这个库，涵盖了所有常用的用到transformer结构的这些模型。我们说开发者，researcher可以很容易把新的模型加上来，用户也可以用同样一个接口，用起来有不同种模型，不仅仅是NLP（自然语言处理）,  CV （计算机视觉）很多领域都在用基于Transformer 这种架构模型。文生图起来之后呢，我们又对扩散模型做了一个类似的库，叫做diffusers，把扩散模型都收录进来。这是我们库的主要两个产品；另外做的一个产品就是Hugging Face Hub。Hugging face.co。我分享下屏幕。

和Github 比较像，有几个板块。1）模型：有models, 有各种各样的模型，我们现在已经有15万的模型了。大家如果想学习NLP模型，或者想玩什么，就可以在左边filter找一下。这里是按照task分类的。我个人的理解，NLP现在用不太上，现在GPT太强大了，把整个NLP领域都吃掉了。但是audio （音频）, computer vision （计算机视觉）, multimodal （多模型）这块，还是有些不错的模型。Models, 自己训练了什么模型都可以上传，他和Github最大的不同，上传模型后，我们可以帮你存大文件。举个例子，这个模型GPT-2, OpenAI 一个很早的模型，随便一个文件tflite，有400多兆（MB）。Pytorch 这个文件是500多兆，Github无法储存这么大的文件，我们提供的服务包括大文件的存储和大文件的CDN服务。模型界面右边有hosted inference API。你这个模型传上来之后，他会去猜这个模型正在干嘛。看到GPT-2, 他会知道可能是一个文本生成模型，text generation，会帮你设置weject...你可以在这与你的模型进行交互。这里的例子就是我的名字是什么，后面的蓝色字体就是生成出来。

2）Datasets: 训练模型的时候用了datasets, 或者准备了一些，这里比较有意思的filter就是size。我们这里存储最大的模型是什么样的，最大的是poloclub/diffusiondb，大小是几个T（size categories 大于1T)，每个文件都是几百兆，我们提供免费服务。最后一个有意思的模型是Spaces。最后一个也是我觉得最有意思的是Spaces，其实就是可以跑的Github应用。Github把代码开放出来之后，具体怎么跑，装什么dependency 才可以跑，不是特别确定。Spaces可免费提供easy to use instance。 亚马逊的虚拟机，你在上面可以直接跑起来。你也可以挂一些GPU，把大的模型跑起来试下功能。这个OpenChatKit是最近比较火的，不过这个机器人有点傻，我之后会给大家介绍更多更强大的机器人。这个机器人主要目的是提供feedback，你可以给他打分，回复好，不好。这个数据会被汇总，以后再训练openchatkit的时候，Open Kit System就会记录下来。有点像reinforcement learning from human feedback，把这个评分，下次降低他的有限级别，等等。这个就是Space的介绍。 

Chloe: 如果不停喂不好数据，会不会影响模型？怎么解决？

铁震：肯定的。微软推出小冰的时候就被大家玩坏了。喂了一些奇奇怪怪的东西，把小冰心智扰乱了，都会遇到这样的问题。可以做一些数据级的审核，包括feedback，哪些是可以记录到长期记忆中，哪些是食用下就结束了，都需要进行仔细的判断。

铁震：另外给大家介绍一个比较有意思的，如果大家想来hugging face玩，注意下Trending这个page。目前很多开源模型都会直接放在hugging face 上面，可以看到哪些模型比较火，比如我们看模型类别，清华的chatglm-6b就比较火，1万多的下载，200多的点赞，这里下载量为两周下载量，而不是Github上所有的下载量，所以看上去数值比较小。另外ControlNet, Stable Diffusion, OrangeMixs, anything我之后会介绍, 非常火的文生图模型。Spaces是非常有意思的，发布模型后，有很多人会写UI界面，我们刚才也看了OpenChatKit。 

这个Spaces大家会看到有前端，有后端，我和他可能还会有一些交互。比如我可以让他生成图片。这个写起来会不会很费力？我输入 A high tech solarpunk utopia in the Amazon rainforest (low quality) 在亚马逊热带雨林高科技太阳朋克乌多邦（不会）。比如我们看Stable Diffusion这个代码, gitattributes，README这些都不用看。看app.py，读一下他的代码，其实非常简单。下面是一堆html，去render这个page。核心的代码就是infer函数（15行）。一旦用户点了bottom之后，然后我们就做点事情，就把image生成出来。Return image， 然后就在UI上展示。这个就是用gradio来做 （gradio.app)，如果大家感兴趣可以了解下。核心思想就是说用不了几行代码，就可以写几行前后端分离的页面出来，大大提高了AI app的生产力。这就是Hugging Face的简单介绍。

第二章Hugging Face 上有趣的Space

Spaces我自己有awesome Hugging Face Spaces的list, 现在已经不够awesome了，chatGPT真的是太牛了。4出来之后，很多spaces距离商业化的产品还差很多，但是还是有些大家会感兴趣。比如说YOLO, 如果是上一波做CV的话，YOLO是非常常见的做detection的模型。核心的思想就是可以把这个里面的东西找出来，比如说让城市摄像头去数一数街道上有多少辆车。可以跑一个YOLO模型，帮你找Bounding Box（候选框）, 帮你把所有的车找出来。这个作者写了一个Space, 很直观的看出来YOLOv8和v7或者其他版本有什么不一样的地方。对于文生图领域，可能更是这样。以前可能看下准确率就够了，就能知道这个模型是好是坏，现在对于很多模型来讲，你需要去试一下，看看和你的手感是否比较配合，或者说在一些使用场景上是否能够满足你的需求。这个结果就跑出来了，因为用了CPU，所以跑起来比较慢，不过效果还是不错的。

王翼：咱们用浏览器的计算资源跑吗？

铁震：不是，这个是完全后台跑的。如果你创建了一个space 我们就在后台免费给你instance。我们免费给你一个2核的CPU， 16GB内存，然后其他的版本要升级收费。这个是Large Language Model 的API，你可以调用不同的LLMs，我就给大家展示几个我认为最impressive 的demo。川虎ChatGPT非常有意思。我们知道ChatGPT有个UI界面，同时也提供API，可以用API与他进行交互。很多人说，我对他这个默认的UI界面不是很满意，是不是可以自己写一个完全用API实现的UI界面的功能。我可以写一个flatter 的app, 能够在我手机，电脑上跑。川虎ChatGPT就是这样一个实现，完全用Public API实现了一个UI界面的功能。比如说跑程序的时候大家会看到Queue:1/1 13.5/14.0s 后面的是预估的时间。Queue表示你前面还有几个人，1/1表示你前面还有1个人，等前面的人跑完了就轮到你。因为有人排队，所以读取超时。这时候可以duplicate this space，相当于你为这个Space创建一个副本，完全用你自己的资源去跑。什么意思呢。比如说这个是2核，16GB的虚拟机，你Duplicate之后呢, 有了自己的虚拟机，你自己用，当然你也可以改为public 去和别人分享。我这里已经创建好了，可以给大家找一下。上面写Duplicate from。我就可以和他聊天了。我觉得这个东西最大的价值，如果对于UI界面不满，想设计一些比较好的UI界面，包括把一些比较好的prompt.提示当作template，用这个界面就可以达到这个效果。比如说你可以去看他的代码。这个Key我今天可能流量报表，我是18美金，免费送的Key。代码部分，你可以看这个代码做修改，比如说你需要一个创建Template功能，你改下代码就可以实现这个功能，这就是开源软件最大的魅力所在。你可以根据需求定制化交互界面和交互方式。比如word有个需求，word没有满足你，你希望做个改动，非常困难的，但是在开源世界，尤其是这种比较轻量级的app，你可以随意去发挥创造力，做很多很多事情。

王翼：我能不能理解你的这个事情很像wordpress, 域名和服务器这个事情。Hugging face.co帮助你管好，你可以做增量定制。

铁震：可以这么理解，不过他比word presss功能强大很多。定制化能力还是很强的。你可以用我刚才说的Gradio，甚至可以直接上传一个Docker profile 上来，直接在虚拟机上执行，所以扩展性还是蛮好的。

第三章：AIGC和Demos

AIGC和空耳这种现象非常相近，给大家举个例子。当你去听韩语或者印度歌， 第一次听的时候你可能觉得他是噪音，讲什么听不懂，你可能知道他有点韵律，他说什么你不清楚。一旦你看了字幕，这个字幕实际上是有人把他听出来，用中文的，发音非常像的词语描述一下，再去听的时候，你可能觉得这个就是讲的这个歌词，虽然歌词非常无厘头，比如说的我说你别介意不洗澡。一旦你接受了歌词的设定，再去听这首歌的时候，你就会发现他好像唱的就是这个东西，再也不是一个噪声了，而是一个字幕在说的事情。对于AIGC讲的是同样的事情。

扩散模型是怎么回事呢，实际上一个降噪的过程。我们想象加噪声是什么样的过程。原来是一张图，一点点加噪声，一点点加噪声，慢慢的图是什么我们就看不清了。和我们刚才听歌一样，一开始是非常清晰的声音，经过麦克风录制一次声音就变差一次，经过我把喇叭放出来，经过我电脑麦克风收进去，再到喇叭放出的时候，可能就是噪音了。Diffuison model做的是反向的过程，需要把噪音里面的信息提取出来，如何提取呢，如果你完全不给他方向，韩语歌你让他听100遍，还是听不懂是什么，永远都是在这个状态，让他往左边走的模式就是我给他一个prompt, control, imbedding，给他额外的信息，让他去空耳，让他感觉我好像看到的是右数第二张图，就会一点点从最右边的图片往左边移动。这里我好像看到一只猫。其实我看了右数第二张图，再看右数第一张图，我是依稀能看到有个猫出来的。走完第一步，就可以走第二部，最后完全还原出猫。认为杂乱无章的图片是一只猫，他就会一点点看出一只猫。至于原来是什么不重要，韩语唱的是什么不重要，我满脑子就是不洗澡。

License：其实做文生图很少关注license, 做开源软件也很少关注license，这个领域处于灰色地带，但是在某些地区比如美国，已经有些lawsuit，已经有些影响。一旦第一个判例法出来，对后面可能有比较大的影响。没有人知道这个东西是什么，发布软件的还是想一下license。Stable Diffusion这个license 还是比较general。我的这个模型，或者任何我模型的变体（用我模型任何一点东西的变体，微调出来的模型也好，修改过的模型也好，你都不能做illegal, harmful或者discrimination的事情。举个例子，你没有经过任何人的同意，画了一幅他的肖像画，手画的在我们看来应该不是一个问题。但是如果你未经过任何人同意，用AIGC的工具，用Stable Diffusion去创作了人像，根据我对license的理解，可能就是违反license的行为。为什么我觉得比较宽容，因为可以用作commercial use。 和她做对比，MJ有个限制，免费的用户只能把生成的图片做个人使用，不能把他做commercial use。只有成为付费的用户，才能在商业场合用MJ给你生成的图片，并且MJ这个公司是有权使用你生成的这些图片的。这个和Stable Diffusion有比较大的区别。为什么说这个东西还是在灰色地带呢，因为虽然有这个license，美国的版权法按照他现在这个这个法律，只适用于人创作的作品，AI创作的作品没有owner, 没有这个copyright，后面如何发展我不清楚。这个事情影响越来越大，不仅仅是艺术家会遇到这样的问题，代码生成，chatgpt都会遇到这样的问题，我能不能用任意的东西去训练，没有版权许可的东西去做训练。训练出的模型，生成的内容究竟归谁所有。这是一个比较大的问题，我没有答案，我只是给大家FBI warning。用任何一个模型之前，要看一下license是怎么样的。

王翼：这个版权 我的理解是训练数据肯定是有版权的，只要把训练数据的版权解决了，有两种解决方式，第一种买断，竟然训练数据归你，那么通过训练数据再创作，再生成仍然归你。第二个就是你只有使用权，你只使用元数据进行训练，那你没有所有权，那你生成的这个东西，你也只有使用权，你没有无限权力商业制作，商业权应该归元数据所有人所有，只不过需要确认，因为这个是间接的。如果找到了途径，比如通过图片对比发现你和他图片某些很相近，他认为这个是属于training, 而不是inference，就可以起诉。

铁震：有可能。我不是律师，但是我个人觉得会稍微复杂，不同利益相关的人不一样。首先是最原始的创作者，人类艺术家，然后是数据集创作者，比如Laion, the Pile (eleuther.ai)，把数据收集起来，成为一个数据集的人，还有Stable Diffusion这种训练模型的人，拿这些数据集是用有版权的数据，然后把这些模型训练出来的人。训练出来的人，还有做推理的人，比如说我用Stable Diffusion做一个推理，实际上借由我版权的相关，也有Stable Diffusion相关。甚至说用AIGC生成图片之后，我又做了一些改动，或者说别人拿我的图片做些什么。所以这中间蛮长的链条，不是说我只要训练，推理就好。最近有几个官司可以关注下。简单做下展示。

大家知道Stable Diffusion有自己的模型，比如说Stable Diffusion v1-5, 我们用原始模型去生成一些东西，大家可以去对比下效果。再拿比anything v4 (Fantasy.ai) 微调过的模型去看下效果。Anything v4有点动漫风格。不同模型，训练集，训练方法，训练权重，都不一样，风格也不一样。

王翼：现在可以通过prompt做animation吗？固定一个角色，GPTCHAT, 生成这个角色不同的动作，场景，生成animation 动画，还有一些短电影。

铁震：我觉得这涉及到两个问题，我是否能够生成一个角色，给他照不同的照片。你看这个anything v4这个模型，就是同一个人像，进行不同形式的生成。叠加ControlNet之后，你就可以给她摆姿势。第二个问题，我是否能让这个图动起来，这三张图中间插无数张图，导致这个系列动起来，这个技术目前还不成熟。针与针之间就会发生不一样的变化。比如说，第一针有手表，第二针没有，第三针背景亮度会有变化。这是目前比较有挑战的。但是也有很多技术攻克这个东西。Stable Diffusion到目前也就半年时间，说不定再过半年就有另外模型出来。

Frank: To 3D的Netflix也在做。德国的一家公司Runway也是。 

铁震：我在一些AIGC群里，完全分不清是AI生成还是真人，专业认识可以用AIGC做一些以假乱真的图片，还是非常厉害的。我们Diffusers Gallery就有AIGC的模型和图。有些模型用LoRA，过会儿会提到，可以把这个当成工具，相当于一个LoRA模型就是一个concept或者几个concept，在自己AIGC生成的时候，把这个东西用在AIGC生成的图片里。

刚才提到，如何让我的模型学到concept。比如说标准模型有狗的形态，但是你说画一个狗的图片。但是这个狗和你家的狗还是不一样。每条狗都有独特的地方，通过DreamBooth技术, 可以让模型学会这一条狗是什么样子，学会之后，我可以在不同场景生成这个狗的照片，我们可以观察到训练集有不同的狗的角度。

DreamBooth是一个微调技术，讲究用少数几张照片就可以达到这样的效果。如果你有更多的照片去调参数，可能有更好的效果。如果3-5张照片，如果能实现不错的效果，其实就是很好的结果了。这个技术最早是Google发明的。但是这不是唯一植入芯的concept技术，还有texing模式等。我们之前围绕这个技术做了比赛。这里是大家上传的DreamBooth模型，获奖的是国潮风，他训练的不是具体的东西，训练的是国朝的风格。

模型训练出来就认识这个咒语：尖括号guo-chao尖括号，只要你输入，就意识到你要这个风格。DreamBooth的问题在于这个模型太大了，训练出来4-5G。所以后面有个新的技术，两个叠加在一起，就可以把微调的模型变得非常小，比如说LoRA+DreamBooth。

王翼：Diffusion模型1个11G的GPU都能够放下，如果再训练的话可能就是A30，24G的A30就能搞定了吧。

铁震：是的。我觉得Stable Diffusion之所以这么火，1）开源 2）巨大的原因，它可以让家用显卡可以跑起来（rather than A100)。DreamBooth+LoRA叠加起来，模型可以做到3.3兆。好处是什么？你可以把你个LoRA模型拼在一起，做你想做的效果。时间关系，就不多讲了，欢迎大家参加我们的黑客松。

我们和飞桨做了一个比赛，百度飞桨提供算力，提供代码。大家只需要准备几张照片，去参加，选一个GPU。把照片拖到飞桨的计算中心，跑一下，就可以做出这个模型。

这是一个行星发动机, WonderingEarth。我们看一下这个参赛选手，a man looking at the WonderingEarth。 因为是LoRA, 可以把不同的concept串到一起。假象有个人做了concept叫做月球轨道车，prompt a man looking at the WonderingEarth+月球轨道车，这里就会出现月球轨道车，你可以把不同的concept组合到一起，达到效果，甚至你可以说，国朝风格的行星发动机。当然里面有很多技术细节，大体的思路是这样的。

接下来我讲下我个人比较看好的技术，Elite。刚才我们说我让模型学会一个新的概念，我需要有一个训练的过程。对于传统机器学习，fewshot这个概念，我有没有可能做到zeroshot。我给你几张照片，你不需要重新微调，微调需要十分钟二十分钟。你能否看到我这张照片就知道我要做什么，直接画出来。举个例子，我选了小猫这张照片，给了他一个mask，告诉他小猫的这个位置是我想让他在新图片中生成的。这个示例就默认这个概念叫S, 之前的概念叫做国潮，或者Wonderingearth,这里叫做S。我的指令S在一个杯子中的（S in jar）照片。我们看到效果还是不错的。如果用DreamBooth，和LoRA, 效果会更好。毕竟训练这么久，又有那么多张照片。这个一张照片就可以生成这样的效果。

 另外一个是ControlNet, 刚才我们说空耳的时候给你歌词，然后你根据这个歌词去想象歌曲在唱什么。现在我不给你歌词，我给你画，给你其他的Control, 是不是可以呢，实际上在模型，其实在模型种都是不同的control，给你算proseattention。在图像里，你可以给他一个边缘，告诉他，你从这个虚无中看到一个边缘，你能看到什么，然后再额外给你一个prompt， 然后生成效果。我给他的Prompt是一个男孩，有几张照片还是能看出来的，虽然左边是个女孩，但是右边的照片形态上满足了我的要求。他在边缘上也满足了黑白边缘照片的要求。我如果可以画张素描，和他说这个素描画的是什么，他就可以把这个素描填色，修改，光影，都处理好，还可以叠加像LoRA这种新技术。把一些concept也加进来。

 这是另外一种Control, 刚才我们运用的是边缘，这里是pose estimation，调用的是另一个AI模型去识别，识别骨头关键点，头在哪，手在哪。识别完，再给上prompt，比如男孩，手没有处理好，头，脚的位置都是不错的。同时给我们生成了四张。这就是ControlNet, 给他更多Control, 让他按照你的思路去生成。

把这个思路往下扩展，可以做更多事情，比如说是否可以把所有possibilities 全部列出来，我自己去选需要什么。比如说腾讯最近做的T2-Adapter, 它可以把Style & Color, Structure, sketch, pose, 深度，边缘全部都用起来。这个例子就是我拿呐喊的图作为Style, 我要用我的Pose, 我要画一个和尚。同样手有点诡异。如果我给的全身照，包括手，效果应该会更好。这个有趣的地方你可以把这些东西各种combination。ControlNet也可以做，multicontrolNet, 不过UI没有这么好，腾讯这个你可以直接选择。

阿里有个新的工作就是Composer。可以从一张图片中拿到Sketch，色阶,mask等等。根据不同组合方式，可以生成不同的图片。目前还没有开源。

接下来介绍一下非模型的，前沿生产力工具。第一个是Robust Face Restoration和upscale的模式。场景是Stable diffusion 默认生成512*512的图，用upscale可以生成2048*2048的图。这是upscaler的其中一种。可以通过这种方式，看效果如何，如果不错，可以再选择慢一点的upscale，把图片效果做到更好。

刚才上述介绍的都是单一工具，如果大家以这个谋生或者发展兴趣，需要做Webui UI这个开源工具，很多人在Hugging Face上去部署。提供了很多功能，这只是阉割版本，有些插件没有安装，但是可以做text 2 image. 给他prompt，甚至negative prompt，很多参数可以选择，随后生成了山水画。局部编辑，指示他在某个位置画飞机，他就可以画飞机，云山雾罩中有个飞机。感觉要从画中飞出来一样。还有image2image, 大家可以研究。

最后给大家看些声音生成的例子。这里可以用原神人物的风格，生成说的话。唱歌的，帮你生成歌曲。改音高，duration，像我只会改歌词，你有不同的歌曲风格可以去换。现在歌曲的风格，或者说人物的声音，都是需要很多数据去训练，未来或许也会出现类似LoRA这种技术，我们可以去选，把不同的风格叠加起来，比如说让邓紫棋唱周杰伦的歌，加上我们自己的歌词。或者未来或出现zeroshot, 类似于Elite风格，我给他一首歌，现场就学了这种风格，分解出不同的维度，根据我的需求选择性拼贴，变成新的歌曲。

Chloe: 之前看的很多paper聊了很多训练参数，训练方法，数据集，硬件要求等等。但是你的分享让我感觉AI这一波真的是将触达到我们所有的人，每个人都应该学习如何使用这些模型工具。微软CEO在一次也说过，如果未来你不会使用这些AI工具，就像你现在不会使用智能手机。你把一些比较复杂，学术的东西讲的很深入浅出。对于我们投资人来说，尤其重要的是如何把这些晦涩难懂的东西，去让一些原来对于AI没有太多了解，毕竟AI行业的门槛比较高，我记得身边所有学习AI的都是博士，数学系博士毕业的。现在其实生成式AI大大降低了行业门槛，未来掌握了这些核心技巧和功能，所有的人都可以训练自己的模型，自己的数据，我觉得未来的target就是触达十亿级别，甚至上百亿用户的新机会。包括现在英国政府也打算斥资数十亿英镑建立超级算力中心，不管是个人，国家，宗教，文化都是需要自己的特质化的模型。铁震作为一线的创业者，解除了大量的创业公司，科技公司，AI模型，我们发现迭代速度非常快，这几个月AI的发展速度超过了过去几年的发展速度。15年的时候，当时AllphaGo Progamme出现的时候，很多业界的人已经有人判定十年后AI（2024，2025）会迎来巨大的发展机会，这也是我们为会提前布局的原因。

王翼：我现在在GraphCore负责算法，我们在做芯片，支撑各种模型的训练。你的这个研究让我了解Stable Diffusion以及应用层面的了解。我们之前也跑过Stable Diffusion model。Hugging face的工具链，如何控制生成的内容，符合我们的预期，我相信未来会有更多control，更加自然，通过prompt，交互式工具。

注明：背景图为Stable Diffusion生成的Cyber Punk

伟大的人类从400万年前的南方古猿物种一步一步演变而来，经历了史前革命，古文明时期，中世纪，文艺复兴时代，工业革命时代等，启蒙时代的物理学家丹尼斯构想出了蒸汽机的雏形，为之后的水泵、驱动轮船和火车奠定了基础。工业革命时代，人们意识到科技进步能够提升质量，带来全人类的幸福。这段时间内，潜艇，火车，摄影术，电灯，电话，电影等技术相继问世，这也是严格意义上的第二次工业革命。第三次工业革命则是继蒸汽机以及电力革命后的，以原子能、电子计算机等的主要应用为标志的时代。而过去两年人工智能惊人的发展速度，以社区主导的大规模信息聚合有潜力推动下一个世纪的主导。当然人工智能在之前并不缺乏故事和市场运作，以自动驾驶、安防、监控等应用为特征的企业服务/政府服务题材公司，比如商汤科技，旷世科技等，都是领域的龙头。前几年AI主要以inference推理的统计模型为主导，而非现在的原理基础模型。公司通过大数据的方式获取用户数据并进行推断。不过资本的助力似乎并没有为行业带来大规模的应用以及消费级别的爆发式增长，AI企业的盈利能力堪忧。而这次生成式人工智能带来的更为巨大机会似乎让头部玩家更为兴奋。

对我们现代人来说，已经长期生活在垄断互联网企业的环境中，已经离不开这些公司。上个课得通过某些第三方直播平台，超市买吃的还要通过某些应用才能有优惠，小商贩抱怨说平台还要抽成。每天不断的接受不断推送的定制化新闻（大部分还是负面的）。当然从生意的角度上来讲，这也无毋庸置疑。在这个广告驱动的模型下，什么新闻可以获得最高收入，那么一定是流量为王，一定是点击量最多的新闻。那么是什么样的新闻呢？一定是那些让人产生负面情绪，悲伤，害怕，不确定，愤怒等情绪的信息。人本身就是七情六欲的情感动物，只不过大部分人没有/很少经历过极端情绪，比如说喜极而泣，或者悲痛欲绝。但是这种特质却有巨大的商业价值。作为父亲母亲，什么样的东西你希望带给下一代？那我希望我的孩子不会再像我们一样，大脑充斥着/接受着这些被资本家，利益集团控制下，推送的不可信/过度渲染的信息，相较于传统的广告模型，推送模型，大模型时代下，主权和选择性意味着每个独立的个体享有绝对的信息掌控权，根据自己的需要去选择和决策，比如买什么书籍，比如去什么国家，而不是不停的去互联网上搜索答案。你要记住，网络上的信息不会有搜完的一天。想想我们现在的人接收到的信息数量/质量和古代人相比，一天接收到的信息可能比古人一辈子接触到的信息还要多。信息量越大，质量越低，心越混乱。当然你可以反驳，信息量越大，越有知识储备，那么更有利于生存。那么对于信息质量的筛选就是一门学问了，更何况真正有多少人当面对的大喜大悲的时候，内心能够做到如如不动呢？所以我思考下一代AI引领的革命一定是开放性，一定是我们可以基于一套标准的技术设施（软硬件等）自我创造，并且可以定制的技术，无论对于个人，对于社区，对于机构，还是公司来说，都有自己的数据，并且有大量的开放式的讨论，这里面包含的问题，讨论，甚至是批判。都应该被共享出来。同时，这些垄断企业主打的广告模型下的智能推送将会逐步被边缘化，被所谓的“生成式搜索引擎”所取代。

开年才两个月，我们看到AGI的发展比过去几年的发展都要快，不管从VC融资，硬件厂商推动的神经网络的发展，以及各大语言模型的上线，等等。在大模型时代，我们更强调在开源社区的力量下，人的主权的重要性和对于技术的可操作性/可迭代性。而技术本身也从统计模型逐步过渡到用理论推导，基本面支持的大语言模型时代。模型更为合理和可理解，同时可以吸引到有IP，有内容，有故事的真正的创作者，比如美术设计师，比如程序员，比如内容创作者等等。在这个背景下，全球化的视野对于行业领袖尤为主要，生成创作的背后实际上是妥协各方，各种信息大规模协作的能力。

当然，高门槛才能催生出顶级人才的竞争，不管是高成本的算力（千万美金,亿美金，目前三大云服务商，AWS, GCP 和Microsoft Azure每年共计花费1000亿美金在资本性支出），结构化数据，还是计算领域最顶尖的人才。而对于模型公司，像Stability, OpenAI等公司则仍然在比拼算力的阶段，大部分公司也是怀着开源社区的初心，设立成非营利组织企业，大规模商业变现之路还刚刚起步，或者说这帮人根本不想所谓的商业变现。这不是说大话，真的有团队过来谈融资，纯开源，非功利性的，不想赚钱，他们这帮极客认为钱会腐蚀初心，我觉得完全可以理解。而且我认为这种方式可以过滤掉很多短期炒作的投资人和创业者，对于行业是件好事。

Linux操作系统的安全性，强大，适应能力，让我们了解了开源的力量。那么如果我们能够吸取其开源理念的精华，吸取任何事物好的一面，并且赋予新的技术，那么人类社会一定会跟着大部队（大部分精英人才的）方向去发展，造福子孙。Stable Diffusion的模型核心在于压缩，据CEO Emad介绍，Diffusion 模型可以将100，000GB的图片压缩为2GB的文档。其实压缩技术并不为其，我们之前也在介绍项目Celestia （区块链数据可见DA层）中讲过Reed- Solomon 本质也是一种压缩技术，或者称为还原技术，有兴趣的朋友可以看我们之前关于Celestia的系列。当然这只是文生图模型，据说Stability之后会开源其大语言模型（测试结果也更优于Facebook最近发布的LLaMA), 当然同期，我们看到了技术的快速进化，ControlNet的问世，阿里参考了Diffusion模型上线了Composer，或许和SD有一定程度的竞争等等）。

Celestia的数据可用性

Celestia2-技术实践

Celestia的模块化架构

试想下大数据模型下的运作形式，作为消费者似乎只有知情权而非选择权，而对于技术的理解，掌握，甚至如何运用，根本是一窍不通，大公司更不会傻傻的把核心技术放出来，教你怎么使用。借助他们的核心技术，做了颠覆他们的产品，对于行业发展无疑是正面的，对于他们来说，则失去了核心竞争力。这无非是一场心理博弈和是否有商业巨头的足够大气和远见。更别提把自己的模型上传给像Hugging Face Hub这样的平台，供后人使用迭代了，技术的发展本身也不是一蹴而就的，只有不停的分享，迭代，大规模的协作，才有可能实现颠覆性创新，这或许才是我理解的开源精神的精髓。那么试问在现有的模式下，何来的大规模协作，毕竟口号不等于实践和行动，而真正推动人类社会发展的是action! 模型的单一，以及偏见，而非动态迭代的事实，使得AI始终无法落地。所以对于今年各大Web2.0科技公司加班加点搞模型的事儿我并不太关注，竞争 vs 协作，那么公司理念侧重于合作的公司我认为才会可能走得更远。在我看来理念，愿景，使命这东西还真不是虚的，本质上还是大于技术专业性，毕竟现在都是机器人时代了，机器人脑有望超过人脑。Web3的组织形式，似乎很契合AI的发展趋势，相较于你在大企业从分析师，研究院，熬熬熬，到工程师，科学家，然后在一个所谓的专业委员会中，被迫做出一个不太好的决策，DAO更多的强调提供人们专业技能的相应工具，比如Facebook最近的发布的AI end to end Toolformer 让工具学习，并且为人类工作。不可否认，就连人类本身也是一种被人类操作系统编好的程序，这几年脑科学，生物科学的发展，让我们不仅设想，AI是否能够帮助我们了解，并且挖掘没有被人类的造物主发觉的可编程的功能，比如人类是否一定需要氧气才可以存活？是否能够在某些特定条件触发后，能够实现永生呢？

同时模型的自定义和兼容性也很重要。目前Open AI的GPT3是最获得社区支持的语言模型，可以生成句子，诗歌。但未来或许不仅仅是语言本身，我们认识，故事，内容都可以进行比对和创造，那这就需要模型的迭代，创新以及适应性。什么是适应性，理解下，一个国家，用当地的语言级去训练，一个宗教也理应有自己的训练集合。通过交叉比对，我们可以深度理解不同的文化，宗教，种族，国家的差异和共性，这是以前的技术无法大规模实现的，所以这本质是信息的集群和规模化。大学主修数学时，Shannon的信息论是必修课，他在20世纪中期提出的理论也的确为后世几次大的技术变革奠定了理论基础。据Emad介绍，Carper是EleutherAI分支下的一个研究组织，主要负责架构分析，正在通过表征学习+RL的方法进行大规模的人类偏好学习，可以建立大规模、自然文本的个性化偏好模型，并且将模型参数降低100倍，比如GPT-3的1750亿参数可以被压缩到13亿。

至于工业界的应用，我觉得教育和医疗应该是大部分人关心的。特别是在线教育被冲击后，行业迫切需要新的技术去推动发展。传统的教育模式，说过时也不完全为过，一天十几个小时坐在那里，听着老师敦敦教诲，做着不一定完全自愿的事情。如果这真的是唯一出路，那么那些所谓的神童，辍学来创业的案例怎么解释呢。所以小朋友其实是艺术品，竟然如此，建立一个适用于大众化的教育体系难免就会失去吸引个人的个性化特色。而完全满足每个人需求的东西，那么搭建起来一定不便宜。我认为好的教育，应该是足够开放，怎么理解呢？没有做过父母，教育孩子的我觉得很难深有体会。教育不是支配，也不是满足自己的欲望，更不是一系列条条框框。而是给他们实现理想的工具，这过程中的开心和喜悦来自于他们可以支配的力量，这过程的心酸与进步，以及对未来，对理想的期待。所以技术本身可以带来的智能，适应性，最重要的我认为是共情，从别人的角度思考问题，这个很重要。

AI特色教育领域，Speak、Quazel和Lingostar这样的平台已经在尝试，还有针对某些特色学科，比如说数学，历史这种。除了学习具体科目外，学生们还在作业中利用人工智能辅助工具。像Grammarly、Orchard和Lex这样的工具帮助学生克服写作障碍，"提高 "他们的写作水平。处理其他形式的内容的产品在全国各地的高中和大学中也越来越受欢迎--例如，Tome和Beautiful.ai，协助创建演示文稿。Tome也在最新的B轮融资中获得了Stability AI, CEO, Google ex-CEO,以及光速，Coatue等4300万美金的融资。医疗方面，微软开源BioGPT的同一天，Stability也成立了MedARC， 是一家专注于医疗人工智能的基础模型研究机构，CEO还是个19岁的年轻博士。

如果说Web1 和Web2, 我们理解为UGC&PGC, 那么Web3和Web4 不妨理解为AIGC, Aledu&Albio。目前AGI领域共有350家公司获得融资，并且金额高达700亿美金，来自于头部VC机构。我们相信Google，Stability等多年的研究成果为行业奠定了扎实的理论基础，同时目前主导的Diffusion和Chat GPT模型的优势将有望延续，毕竟游戏才刚刚开始**。**

** **

人工智能和深度学习最近不断成为头条新闻，无论是ChatGPT产生的不良建议，自动驾驶汽车，艺术家被指控使用人工智能，人工智能的医疗建议，等等。这些工具大多依靠复杂的服务器和大量的硬件进行训练，但通过推理使用训练过的网络可以在你的PC上，使用其显卡来完成。但是，消费类GPU做人工智能推理的速度如何？

我们在最新的Nvidia、AMD、甚至英特尔的GPU上对Stable Diffusion进行了基准测试，看看它们的表现如何。如果你碰巧尝试过在自己的电脑上启动和运行Stable Diffusion，你可能会对这一过程的复杂性--或简单性--有一些印象。- 这可能是多么复杂或简单。简而言之，Nvidia的GPU占主导地位，大多数软件都使用CUDA和其他Nvidia工具集设计。但这并不意味着你不能在其他GPU上运行Stable Diffusion。

我们最终使用了三个不同的Stable Diffusion项目进行测试，主要是因为没有一个软件包可以在每个GPU上运行。对于Nvidia，我们选择了Automatic 1111的webui版本；它表现最好，有更多的选项，而且很容易运行。AMD GPU使用Nod.ai的Shark版本进行测试--我们检查了Nvidia GPU的性能（在Vulkan和CUDA模式下），发现它...缺乏。由于缺乏支持，让英特尔的Arc GPU运行起来比较困难，但Stable Diffusion OpenVINO给了我们一些非常基本的功能。

免责声明是有必要的。我们没有对这些工具进行编码，但我们确实在寻找那些容易运行的工具（在Windows下），而且似乎也得到了合理的优化。我们比较有信心的是，Nvidia 30系列测试在提取接近最佳性能方面做得很好--特别是当xformers被启用时，它提供了额外的约20%的性能提升（尽管精度降低，可能影响质量）。同时，RTX 40系列的结果最初较低，但George SV8ARJ提供了这个修复方法，其中更换PyTorch CUDA DLLs对性能有一个健康的提升。

AMD的结果也有点喜忧参半。RDNA 3 GPU表现非常好，而RDNA 2 GPU似乎相当平庸。Nod.ai让我们知道他们仍在为RDNA 2的 "调整 "模型工作，一旦它们可用，性能应该会有相当大的提升（可能是两倍）。最后，在英特尔GPU上，尽管最终的性能似乎与AMD的选项一致，但在实践中，渲染的时间大大延长--在实际生成任务开始之前需要5-10秒，而且可能有很多额外的后台东西正在发生，使其变慢。

由于软件项目的选择，我们也在使用不同的Stable Diffusion模型。Nod.ai的Shark版本使用SD2.1，而Automatic 1111和OpenVINO使用SD1.4（尽管在Automatic 1111上可以启用SD2.1）。同样，如果你对Stable Diffusion有一些内部知识，并且想推荐不同的开源项目，这些项目可能比我们使用的项目运行得更好，请在评论中告诉我们（或者直接给Jarred发邮件）。

我们的测试参数对所有的GPU都是一样的，尽管在英特尔版本上没有负面提示选项（至少，我们没有找到）。上面的图集是在Nvidia GPU上使用Automatic 1111的webui生成的，具有更高的分辨率输出（需要更长的时间来完成）。这是同样的提示，但目标是2048x1152，而不是我们用于基准测试的512x512。请注意，我们选择的设置是为了在所有三个SD项目上工作；一些可以提高吞吐量的选项只在Automatic 1111的构建中可用，但后面会有更多的内容。以下是相关的设置。

正面提示：

postapocalyptic steampunk city, exploration, cinematic, realistic, hyper detailed, photorealistic maximum detail, volumetric light, (((focus))), wide-angle, (((brightly lit))), (((vegetation))), lightning, vines, destruction, devastation, wartorn, ruins

负面的提示：

(((blurry))), ((foggy)), (((dark))), ((monochrome)), sun, (((depth of field)))

步数：

100

分类器自由指导：

15.0

采样算法：

某种欧拉变体（自动1111的祖先，AMD的鲨鱼欧拉离散）。

采样算法似乎不会对性能产生重大影响，尽管它可能会影响输出。自动1111提供了最多的选择，而英特尔的OpenVINO构建则没有给你任何选择。

以下是我们对AMD RX 7000/6000系列、Nvidia RTX 40/30系列和Intel Arc1 A系列GPU的测试结果。请注意，每个Nvidia GPU都有两个结果，一个是使用默认的计算模型（速度较慢，呈黑色），另一个是使用来自Facebook的更快的 "xformers "库（速度较快，呈绿色）。

正如预期的那样，与AMD或英特尔的任何产品相比，Nvidia的GPU提供了卓越的性能--有时是以巨大的优势。随着Torch的DLL修复到位，RTX 4090的性能比带有xformers的RTX 3090 Ti高出50%，而没有xformers的性能则高出43%。生成每张图片只需要三秒多，甚至RTX 4070 Ti也能勉强超过3090 Ti（但如果你禁用xformers就不行）。

从Nvidia GPU的顶级卡中，事情以相当一致的方式下降，从3090下降到3050。同时，AMD的RX 7900 XTX与RTX 3090 Ti并驾齐驱（经过额外的重新测试），而RX 7900 XT与RTX 3080 Ti并驾齐驱。7900卡看起来相当不错，而每张RTX 30系列卡最终都能击败AMD的RX 6000系列部件（目前）。最后，英特尔Arc GPU几乎排在最后，只有A770设法超过了RX 6600。让我们再来谈一谈这些差异。

** **

适当的优化可以使RX 6000系列卡的性能提高一倍。Nod.ai说，它应该在未来几天内为RDNA 2调整模型，届时整体性能应该开始与理论性能有更好的关联。说到Nod.ai，我们也使用该项目对一些Nvidia GPU做了一些测试，在Vulkan模型下，Nvidia显卡的速度大大低于Automatic 1111的构建（4090的15.52 it/s，4080的13.31，3090 Ti的11.41，3090的10.76 - 我们无法测试其他显卡，因为它们需要先被启用）。

基于7900卡使用调谐模型的性能，我们也很好奇Nvidia卡以及它们能够从其Tensor核心中获得多少好处。在纸面上，4090的性能是RX 7900 XTX的五倍以上--即使我们不考虑稀缺性，也是2.7倍。在实践中，现在的4090在我们使用的版本中只比XTX快50%左右（如果我们省略精度较低的xformers结果，则下降到只有13%）。这同样的逻辑也适用于英特尔的Arc卡。

英特尔的Arc GPU目前提供了非常令人失望的结果，特别是由于它们支持FP16 XMX（矩阵）操作，应该提供高达4倍于常规FP32计算的吞吐量。我们怀疑目前我们使用的Stable Diffusion OpenVINO项目也有很大的改进空间。顺便提一下，如果你想尝试在Arc GPU上运行SD，请注意你必须编辑'stable_diffusion_engine.py'文件，将 "CPU "改为 "GPU"--否则它就不会使用显卡进行计算，而且需要花费大量时间。

那么总的来说，使用指定的版本，Nvidia的RTX 40系列卡是最快的选择，其次是7900卡，然后是RTX 30系列的GPU。RX 6000系列表现不佳，而Arc GPU看起来普遍较差。随着软件的更新，情况可能会发生根本性的变化，考虑到人工智能的普及，我们预计看到更好的调校只是时间问题（或者找到已经调校好的正确项目，提供更好的性能）。

我们还对传统的GPU进行了一些测试，特别是Nvidia的图灵架构（RTX 20-和GTX 16-系列）和AMD的RX 5000-系列。RX 5600 XT失败了，所以我们在RX 5700的测试中离开了，而GTX 1660超级版的速度很慢，我们觉得没有必要对低级别部件做进一步的测试。但这里的结果是相当有趣的。

首先，RTX 2080 Ti的表现最终超过了RTX 3070 Ti。这通常不会发生，在游戏中，即使是虚构的3070也往往会击败前冠军。更重要的是，这些数字表明，Nvidia在安培架构中的 "稀疏性 "优化根本没有被使用--或者也许它们根本不适用。

我们一会儿会讨论一些其他的理论计算性能数字，但再次考虑RTX 2080 Ti和RTX 3070 Ti作为一个例子。2080 Ti的张量核心不支持稀疏性，有高达108 TFLOPS的FP16计算。RTX 3070 Ti支持稀疏性，有174 TFLOPS的FP16，或87 TFLOPS的FP16，不支持稀疏性。2080 Ti击败3070 Ti的事实清楚地表明，稀疏性并不是一个因素。同样的逻辑适用于其他比较，如2060和3050，或2070超级和3060 Ti。** **

至于AMD的RDNA卡，RX 5700 XT和5700，在性能上有很大差距。5700 XT仅比6650 XT领先，但5700低于6600。从纸面上看，XT卡的速度应该高达22%。然而，在我们的测试中，它的速度是37%。无论哪种方式，在我们最初的Stable Diffusion基准测试中，老的Navi 10 GPU都没有特别的表现。

最后，GTX 1660超级版在纸面上的理论性能应该是RTX 2060的1/5左右，使用后者的Tensor核心。如果我们使用FP16的着色器性能（图灵在FP16着色器代码上有两倍的吞吐量），差距缩小到只有22%的赤字。但是在我们的测试中，GTX 1660超级版的速度只有RTX 2060的1/10左右。

同样，目前还不清楚这些项目到底有多优化。也不清楚这些项目是否完全利用了诸如Nvidia的Tensor核心或英特尔的XMX核心。因此，我们认为看一下各种GPU的最大理论性能（TFLOPS）会很有趣。下图显示了每个GPU的FP16理论性能（只看较新的显卡），在适用的地方使用张量/矩阵核心。Nvidia的结果还包括稀缺性--基本上是在矩阵中最多一半的单元中跳过乘以0的能力，据说这在深度学习工作负载中是一个相当频繁的现象。

Nvidia的那些Tensor核心显然是有冲击力的（灰色/黑色条是没有稀疏性的），显然我们的Stable Diffusion测试与这些数字不完全吻合--甚至不接近。例如，在纸面上，RTX 4090（使用FP16）比RTX 3090 Ti快106%，而在我们的测试中，它在没有xformers的情况下快43%，而在有xformers的情况下快50%。还要注意的是，我们假设我们使用的Stable Diffusion项目（自动1111）没有利用Ada Lovelace GPU上的新FP8指令，这有可能使RTX 40系列的性能再次翻倍。

同时，看看Arc GPU。他们的矩阵核心应该提供类似于RTX 3060 Ti和RX 7900 XTX的性能，给或不给，A380下降到RX 6800左右。在实践中，Arc GPU远远没有达到这些分数。最快的A770 GPU介于RX 6600和RX 6600 XT之间，A750仅次于RX 6600，而A380的速度大约是A750的四分之一。因此，它们都是预期性能的四分之一，如果不使用XMX核心，这将是合理的。

不过，Arc上的内部比率看起来确实差不多。A380的理论计算性能大约是A750的四分之一，这也是它现在在Stable Diffusion性能方面的位置。最有可能的是，Arc GPU正在使用着色器进行计算，在全精度FP32模式下，错过了一些额外的优化。

另一件需要注意的事情是，与RX 6000系列相比，AMD的RX 7900 XTX/XT的理论计算能力提高了很多。我们得看看经过调整的6000系列型号是否能缩小差距，因为Nod.ai说它期望在RDNA 2上的性能有大约2倍的提高。 内存带宽并不是一个关键因素，至少对于我们使用的512x512目标分辨率而言--3080的10GB和12GB型号落在一起相对较近。

下面是对FP16理论性能的不同看法，这次只关注各种GPU通过着色器计算能做什么。Nvidia的Ampere和Ada架构以与FP32相同的速度运行FP16，因为假设FP16可以被编码为使用Tensor核心。相比之下，AMD和英特尔的GPU在FP16着色器计算上的性能是FP32的两倍。

很明显，这第二张FP16计算的图表与我们的实际性能相比，并没有更好的张量和矩阵核心的图表，但也许在设置矩阵计算时有额外的复杂性，所以完整的性能需要...额外的东西。这给我们带来了最后一个图表。

这张最后的图表显示了我们更高的分辨率测试结果。我们没有测试新的AMD GPU，因为我们必须在AMD RX 6000系列显卡上使用Linux，显然RX 7000系列需要一个更新的Linux内核，而我们无法让它工作。但请看RTX 40系列的结果，替换了Torch DLLs。

RTX 4090现在比没有xformers的3090 Ti快72%，而用xformers则快了高达134%。4080也比3090 Ti快55%/18%，有/没有xformers。有趣的是，4070 Ti在没有xformers的情况下比3090 Ti慢22%，但在有xformers的情况下快20%。

看起来更复杂的2048x1152目标分辨率开始更好地利用潜在的计算资源，也许更长的运行时间意味着Tensor核心可以充分地发挥它们的力量。

归根结底，这充其量只是Stable Diffusion性能的一个时间快照。我们看到频繁的项目更新，对不同训练库的支持，以及更多。我们将在来年更多地重温这个话题，希望能有更好的优化代码用于所有不同的GPU。

本文为该文编译版本https://www.tomshardware.com/news/stable-diffusion-gpu-benchmarks

**

**

对于那些在2022年开始真正关注人工智能的人来说，像ChatGPT和Stable Diffusion这样的技术似乎是凭空出现的，在世界范围内掀起了风暴。他们没有。

早在2020年，我们就在本专栏中写了一篇文章，预测生成性人工智能将成为下一代人工智能的支柱之一。

至少从2019年发布GPT-2以来，在该领域工作的人都清楚，生成性语言模型已经准备好释放巨大的经济和社会变革。同样，虽然文本-图像模型在去年夏天才引起公众的注意，但自从OpenAI在2021年1月发布原始的DALL-E以来，该技术的上升似乎是不可避免的。(我们在原始DALL-E发布几天后写了一篇文章提出了这个论点）。

出于同样的原因，重要的是要记住，目前的人工智能技术水平远远不是人工智能能力的最终状态。相反，人工智能的前沿领域从未像现在这样迅速发展。尽管ChatGPT目前在我们看来很神奇，但它只是通往下一步的垫脚石。

下一代大型语言模型（LLMs）会是什么样子？这个问题的答案已经出来了，此刻正在人工智能初创公司和研究小组中进行开发。

本文强调了三个新兴领域，它们将帮助定义生成性人工智能和LLMs的下一波创新。对于那些希望在这个快速变化的世界中保持领先的人来说，请继续阅读。

1）能够产生自己的训练数据以提高自己的模型。

考虑一下人类如何思考和学习。我们从外部信息来源收集知识和观点--例如，通过阅读一本书。但我们也会通过反思一个话题或在脑海中思考一个问题，自己产生新的想法和见解。我们能够通过与任何新的外部输入没有直接联系的内部反思和分析来加深我们对世界的理解。

人工智能研究的一个新途径旨在使大型语言模型能够做类似的事情，有效地引导它们自己的智能。

作为训练的一部分，今天的LLMs摄取了世界上许多积累的书面信息（例如，维基百科、书籍、新闻报道）。如果这些模型一旦接受了训练，就可以利用它们从这些来源吸收的所有知识来产生新的书面内容--然后将这些内容作为额外的训练数据，以提高自己的水平，那会怎么样？最初的工作表明，这种方法可能是可行的，而且是强大的。

在最近一项名为 "大型语言模型可以自我改进 "的研究工作中，一组谷歌研究人员建立了一个LLM，它可以提出一组问题，生成这些问题的详细答案，过滤自己的答案以获得最优质的输出，然后对策划的答案进行自我微调。值得注意的是，这导致了在各种语言任务上新的最先进的性能。例如，该模型在GSM8K上的表现从74.2%提高到82.1%，在DROP上的表现从78.2%提高到83.0%，这是两个用于评估LLM性能的流行基准。

最近的另一项工作是建立在一种重要的LLM方法之上的，即 "指令微调"，它是ChatGPT等产品的核心。ChatGPT和其他指令微调模型依赖于人类编写的指令，而这个研究小组建立了一个模型，可以生成自己的自然语言指令，然后根据这些指令进行自我微调。性能的提升是巨大的：这种方法将基础GPT-3模型的性能提高了33%，几乎与OpenAI自己的指令微调模型的性能相匹配。

在一项主题相关的工作中，来自谷歌和卡耐基梅隆大学的研究人员表明，如果一个大型语言模型在遇到问题时，在回答之前先向自己背诵它对该主题的了解，它就会提供更准确和复杂的回答。这可以粗略地比喻为一个人在谈话中，在分享观点之前，不是突然想到一个话题，而是搜索她的记忆并反思她的信念。

当人们第一次听到这个研究方向时，往往会产生一个概念上的异议--这不都是循环吗？一个模型如何能产生数据，然后模型又能消费这些数据来改进自己？如果新的数据首先来自于模型，那么它所包含的 "知识 "或 "信号 "不应该已经被纳入到模型中吗？

如果我们把大型语言模型设想成数据库，存储来自其训练数据的信息，并在提示时以不同的组合方式再现，那么这种反对意见是有道理的。但是--虽然听起来很不舒服，甚至很奇怪--我们最好还是按照人脑的思路来设想大型语言模型（不，这个比喻当然不完美！）。

我们人类从世界上摄取了大量的数据，这些数据以不可估量的、无数的方式改变了我们大脑中的神经连接。通过内省、写作、谈话--有时只是睡个好觉--我们的大脑就能产生新的见解，而这些见解以前既不在我们的头脑中，也不在世界的任何信息源中。如果我们把这些新的见解内化，它们可以使我们变得更聪明。

鉴于世界上的文本训练数据可能很快就会耗尽，LLMs能够产生自己的训练数据的想法就显得尤为重要。这还不是一个被广泛重视的问题，但这是许多人工智能研究人员担心的问题。

根据一项估计，世界上可用文本数据的总存量在4.6万亿至17.2万亿个符号之间。这包括世界上所有的书籍，所有的科学论文，所有的新闻文章，所有的维基百科，所有公开的代码，以及互联网的大部分其他内容，经过质量过滤（例如，网页，博客，社交媒体）。最近的另一个估计是，总数字为3.2万亿个token。

DeepMind的Chinchilla，当今领先的LLM之一，是在1.4万亿个tokens上训练的。换句话说，我们可能离用尽世界上所有有用的语言训练数据还差一个数量级。

如果大型语言模型能够产生自己的训练数据，并使用它来继续自我改进，这可能会使迫在眉睫的数据短缺变得不重要。这将代表着LLMs的一个令人震惊的飞跃。

2）可以自我检查的模型。

最近一种流行的说法是，ChatGPT和类似的对话式LLMs即将取代谷歌搜索，成为世界上最重要的信息来源，颠覆这个曾经强大的科技巨头，就像Blockbuster或Kodak之前被颠覆一样。

这种说法严重地过度简化了事情。今天存在的LLMs永远不会取代谷歌搜索。为什么不会呢？简而言之，因为今天的LLMs在编造东西。

尽管它们很强大，但大型语言模型经常会产生不准确的、误导性的或虚假的信息（并自信地、令人信服地展示它）。

ChatGPT的 "幻觉"（这些错误陈述被称为）的例子比比皆是。这并不是要单独指出ChatGPT；今天存在的每一个生成语言模型都以类似的方式产生了幻觉。

举几个例子：它推荐不存在的书籍；它坚持认为数字220小于200；它不确定亚伯拉罕-林肯的刺客在遇刺时是否与林肯在同一个大陆；它对贝叶斯定理等概念提供了听起来合理但不正确的解释。

大多数用户不会接受一个在某些时候会弄错这些基本事实的搜索引擎；即使是99%的准确性也不足以让市场广泛采用。OpenAI首席执行官Sam Altman自己也承认这一点，他最近告诫说。"ChatGPT的局限性令人难以置信，但在某些方面的表现却足以让人误以为它是伟大的。现在依靠它来做任何重要的事情都是一个错误。"

LLMs的幻觉问题是否可以通过对现有架构的渐进式改进来解决，或者是否需要对人工智能方法进行更根本的范式转变，以赋予人工智能常识和真正的理解，这是一个开放的问题。深度学习先驱Yann LeCun就认为是后者。LeCun的反面观点可能被证明是正确的；时间会告诉我们。

不过，从近期来看，一系列有希望的创新至少可以减轻LLMs的事实不可靠程度。这些新方法将在为LLM在现实世界的广泛部署做准备时发挥重要作用。

两个相关的能力是目前使语言模型更准确的努力的核心：（1）LLMs从外部来源检索信息的能力，以及（2）LLMs为他们提供的信息提供参考和引用的能力。

ChatGPT仅限于其内部已经存储的信息，这些信息被记录在其静态权重中。(这就是为什么它不能讨论2021年后发生的事件，即模型被训练的时候）。能够从外部来源获取信息将使LLM获得最准确和最新的信息，即使这些信息经常变化（例如，公司的股票价格）。

当然，获得外部信息源本身并不能保证LLMs能够检索到最准确和最相关的信息。LLMs增加透明度和对人类用户的信任的一个重要方法是包括对他们检索信息的来源的引用。这种引用允许人类用户根据需要对信息源进行审核，以便自己决定其可靠性。

这一领域重要的早期工作包括像REALM（来自谷歌）和RAG（来自Facebook）这样的模型，两者都发表于2020年。随着近几个月对话式LLM的兴起，这一领域的研究现在正在迅速加速。

去年，OpenAI发布了其GPT模型的微调版本，名为WebGPT，可以使用微软必应浏览互联网，以便对提示做出更准确和深入的回应。WebGPT像人类一样浏览互联网：它可以向Bing提交搜索查询，跟踪链接，在网页上上下滚动，并使用Ctrl+F等功能来查找术语。当模型在互联网上找到相关信息并将其纳入输出时，它会提供引证，以便人类用户可以看到信息的来源。

结果是令人鼓舞的：对于同一个查询，WebGPT的回答有56%的时间比人类写的回答更受欢迎，69%的时间比Reddit上评价最高的回答更受欢迎。

DeepMind也在沿着这些思路进行研究。几个月前，DeepMind发布了一个名为Sparrow的新模型。与ChatGPT一样，Sparrow是基于对话的；与WebGPT一样，它可以在互联网上搜索信息，并为其论断提供引证。Sparrow建立在DeepMind早期重要工作的基础上，包括SpaLM、RETRO和GopherCite。

DeepMind的研究人员发现，Sparrow的引用有78%的时间是有帮助和准确的，这既表明这种研究方法是有希望的，也表明LLM不准确的问题远远没有得到解决。

包括You.com和Perplexity在内的年轻创业公司最近也推出了以LLM为动力的对话式搜索界面，能够从外部来源检索信息并引用参考文献。这些产品今天已经可以供公众使用。

LLMs最大的缺点是它们的不可靠，它们顽固地倾向于自信地提供不准确的信息。语言模型有望重塑我们经济的每一个部门，但在这个问题得到解决之前，它们将永远无法发挥其全部潜力。预计在未来的几个月里，将看到这个领域的大量活动和创新。

3) 大规模稀疏专家模型。

今天最突出的大型语言模型都具有有效的相同架构。

Meta AI负责人Yann LeCun最近说："就基础技术而言，ChatGPT不是特别创新。它没有什么革命性的，尽管公众是这样认为的。只是，你知道，它被很好地组合在一起，做得很好。"

LeCun的声明激起了大量的争议和推特辩论。但简单的事实是，他是正确的，没有一个严肃的人工智能研究者会提出异议。

今天所有著名的语言模型--例如OpenAI的GPT-3，谷歌的PaLM或LaMDA，Meta的Galactica或OPT，Nvidia/微软的Megatron-Turing，AI21实验室的Jurassic-1，都是以同样的基本方式建立的。它们是自回归的、自我监督的、预训练的、密集激活的基于Transformer的模型。

可以肯定的是，这些模型之间存在着差异：它们的大小（参数数）、它们的训练数据、使用的优化算法、批次大小、隐藏层的数量、它们是否被指导微调，等等。这些变化可以转化为有意义的性能差异。不过，核心架构的变化不大。

然而，一种令人感兴趣的不同的语言模型架构方法，即稀疏专家模型的背后，正在形成势头。虽然这个想法已经存在了几十年，但它最近才重新出现并开始流行起来。

上面提到的所有模型都是密集型的。这意味着，每次模型运行时，它的每一个参数都会被使用。例如，每次你向GPT-3提交提示时，模型的所有1750亿个参数都被激活，以产生其反应。

但是，如果一个模型能够只调用其最相关的参数子集，以回应一个给定的查询，那会怎样呢？这就是稀疏专家模型的基本概念。

稀疏模型的决定性特征是，它们不会为给定的输入激活所有的参数，而只是激活那些有助于处理输入的参数。因此，模型的稀疏性将一个模型的总参数数与它的计算要求解耦。这导致了稀疏专家模型的关键优势：它们既可以比密集模型大，又可以比密集模型的计算要求低。

为什么它们被称为稀疏专家模型？因为稀疏模型可以被认为是由作为不同主题专家的 "子模型 "的集合组成。根据提交给模型的提示，模型内最相关的专家被激活，而其他专家则保持不活动。例如，一个用俄语提出的提示，将只激活模型中能够理解和回应俄语的 "专家"，而有效地绕过模型的其他部分。

今天所有最大的LLM都是稀疏的。如果你遇到一个有超过1万亿个参数的LLM，你可以安全地认为它是稀疏的。这包括谷歌的Switch Transformer（1.6万亿个参数），谷歌的GLaM（1.2万亿个参数）和Meta的Mixture of Experts模型（1.1万亿个参数）。

Mikel Artetxe说："最近人工智能的大部分进展来自于训练越来越大的模型，"他在辞职去共同创办一家隐形的LLM创业公司之前，领导了Meta的稀疏模型研究。"例如，GPT-3比GPT-2大100多倍。但是，当我们把密集模型的大小增加一倍时，我们也会使它的速度增加一倍。稀疏模型使我们能够训练更大的模型而不增加运行时间。"

最近关于稀疏专家模型的研究表明，这种架构具有巨大的潜力。

GLaM是谷歌去年开发的一个稀疏专家模型，比GPT-3大7倍，训练所需能量减少三分之二，推理所需计算量减少一半，并在广泛的自然语言任务中胜过GPT-3。Meta公司在稀疏模型方面的类似工作也取得了类似的可喜成果。

正如Meta的研究人员所总结的。"我们发现，稀疏模型能够以很小的计算量实现与密集模型相似的下游任务性能。对于具有相对适度的计算预算的模型，稀疏模型的性能可以与需要几乎四倍计算量的密集模型相媲美。"

稀疏专家模型还有一个值得一提的好处：它们比密集模型更具可解释性。

可解释性--人类理解一个模型为什么采取它所做的行动的能力--是今天人工智能的最大弱点之一。一般来说，今天的神经网络是无法解释的 "黑盒子"。这可能会限制它们在现实世界中的作用，特别是在像医疗保健这样的高风险环境中，人类的审查非常重要。

稀疏专家模型比传统模型更自然地具有可解释性，因为稀疏模型的输出是模型中可识别的、离散的参数子集的结果，也就是被激活的 "专家"。人类可以更好地从稀疏模型中提取关于其行为的可理解的解释，这一事实可能被证明是这些模型在现实世界应用中的决定性优势。

稀疏专家模型今天没有得到广泛的使用。与密集模型相比，它们的理解程度较低，构建技术上也更复杂。然而，考虑到它们的潜在优势，最重要的是它们的计算效率，如果看到稀疏专家架构在未来的LLM世界中变得更加普遍，不要感到惊讶。

用Graphcore首席技术官Simon Knowles的话说。"如果一个人工智能可以做很多事情，它就不需要获取所有的知识来做一件事。这完全是显而易见的。这是你的大脑如何工作，这也是人工智能应该工作的方式。如果到明年，有人正在建立密集的语言模型，我会感到惊讶。"

本文为该文编译版本

https://www.forbes.com/sites/robtoews/2023/02/07/the-next-generation-of-large-language-models/?sh=62baac218dbc

**

**

本报告将触及的主题包括：为什么谷歌的TensorFlow输给了PyTorch，为什么谷歌未能公开利用其在人工智能领域的早期领先地位，机器学习模型训练时间的主要组成部分，内存容量/带宽/成本墙，模型优化。为什么其他人工智能硬件公司到目前为止还不能在Nvidia的主导地位上有所作为，为什么硬件将开始变得更加重要，Nvidia在CUDA上的竞争优势是如何被抹去的，以及Nvidia的一个竞争对手在训练芯片的大型云上的重大胜利。

1,000英尺的总结是，机器学习模型的默认软件栈将不再是Nvidia的闭源CUDA。游戏比赛在Nvidia的法庭上，他们让OpenAI和Meta控制了软件栈。由于Nvidia专有工具的失败，该生态系统建立了自己的工具，现在Nvidia的护城河将被永久地削弱了。

TensorFlow vs. PyTorch

几年前，框架生态系统是相当分散的，但TensorFlow是领先者。谷歌看起来已经准备好控制机器学习行业了。他们拥有最常用的框架TensorFlow，并设计/部署了唯一成功的人工智能特定应用加速器TPU，从而拥有了先发优势。

相反，PyTorch赢了。谷歌未能将其先发优势转化为对新生的ML行业的主导地位。如今，谷歌在机器学习界有些孤立，因为它没有使用PyTorch和GPU，而是使用自己的软件栈和硬件。在典型的谷歌风格中，他们甚至有一个名为Jax的第二框架，直接与TensorFlow竞争。

甚至还有人在无休止地谈论谷歌在搜索和自然语言处理方面的主导地位因大型语言模型而减弱，特别是那些来自OpenAI和各种利用OpenAI API或正在建立类似基础模型的初创公司。虽然我们认为这种厄运和忧郁被夸大了，但这是另一个故事了。尽管有这些挑战，谷歌仍然处于最先进的机器学习模型的前沿。他们发明了Transformer，并在许多领域保持最先进的水平（PaLM、LaMBDA、Chinchilla、MUM、TPU）。

回到PyTorch获胜的原因。虽然有从谷歌手中夺取控制权的因素，但主要是由于PyTorch相对于TensorFlow的灵活性和实用性的提高。如果我们把它归结为第一个主要层面，PyTorch与TensorFlow的不同之处在于使用了 "Eager模式 "而不是 "图形模式"。

Eager模式可以被认为是一种标准的脚本执行方法。深度学习框架立即执行每个操作，当它被调用时，逐行执行，就像任何其他的Python代码。这使得调试和理解你的代码更加容易，因为你可以看到中间操作的结果，看到你的模型是如何表现的。

相比之下，图模式有两个阶段。第一阶段是定义一个代表要执行的操作的计算图。计算图是一系列相互连接的节点，代表操作或变量，而节点之间的边代表它们之间的数据流。第二阶段是延迟执行计算图的优化版本。

这种两阶段的方法使得理解和调试你的代码更具挑战性，因为在图的执行结束之前，你无法看到正在发生什么。这类似于 "解释的 "与 "编译的 "语言，如Python与C++。调试Python比较容易，主要是因为它是解释的。

虽然TensorFlow现在默认有Eager模式，但研究界和大多数大型科技公司已经围绕着PyTorch解决。几乎所有上了新闻的生成性人工智能模型都是基于PyTorch的，这就是一个例子。谷歌的生成式人工智能模型是基于Jax的，而不是TensorFlow。

当然，还有一长串使用TensorFlow和Keras等其他框架的图像网络，但新模型开发的计算预算都流向了PyTorch模型。关于PyTorch获胜的更深层次的解释，请看这里。一般来说，如果你在NeurIPS（主要的人工智能会议）的大厅里走动，所有生成性人工智能，非谷歌的工作都是用PyTorch。

机器学习训练组件

如果我们把机器学习模型的训练归结为最简单的形式，那么在机器学习模型的训练时间中，有两个主要的时间组成部分。

1. 计算（FLOPS）。 在每层内运行密集的矩阵乘法

2. 内存（带宽）。等待数据或层权重到达计算资源。受带宽限制的操作的常见例子是各种归一化、点式操作、SoftMax和ReLU。

3. 
   

在过去，机器学习训练时间的主导因素是计算时间，等待矩阵乘法。随着Nvidia的GPU不断发展，这很快就不再是首要关注的问题了。通过利用摩尔定律，Nvidia的FLOPS增加了多个数量级，但主要是架构上的变化，如张量核心和低精度浮点格式。相比之下，内存没有遵循同样的路径。

如果我们回到2018年，当BERT模型是最先进的，而Nvidia V100是最先进的GPU时，我们可以看到，矩阵乘法不再是提高模型性能的主要因素。从那时起，最先进的模型在参数数量上增长了3到4个数量级，而最快的GPU在FLOPS上也增长了一个数量级。

即使在2018年，纯粹的计算型工作负载占了99.8%的FLOPS，但只占运行时间的61%。与矩阵乘法相比，归一化和点化操作分别实现了250倍的FLOPS和700倍的FLOPS，但它们却消耗了该模型近40%的运行时间。

内存墙

随着模型规模的不断扩大，大型语言模型仅在模型权重方面就需要几十亿字节，甚至上百万亿字节。由百度和Meta部署的生产型推荐网络需要几十TB的内存，用于其大规模的嵌入表。\在大型模型训练/推理中，很大一部分时间不是用来计算矩阵乘法，而是等待数据到达计算资源。一个明显的问题是，为什么架构师不把更多的内存放在靠近计算的地方。答案是$$$。

内存遵循一个从近而快到慢而便宜的层次结构。最近的共享内存池在同一个芯片上，一般由SRAM组成。一些机器学习ASIC试图利用巨大的SRAM池来保存模型权重，但这种方法存在一些问题。即使是Cerebras的~250万美元的晶圆规模的芯片也只有40GB的SRAM在芯片上。没有足够的内存容量来容纳100B以上参数模型的权重。

Nvidia的架构一直在芯片上使用小得多的内存。当前一代A100有40MB，下一代H100有50MB。在台积电的5纳米工艺节点上，1GB的SRAM需要大约200mm^2的硅。一旦实现了相关的控制逻辑/结构，这将需要超过400mm^2的硅，或约为Nvidia数据中心GPU总逻辑面积的50%。鉴于A100 GPU的价格为1万多美元，H100的价格为2万多美元，从经济上讲，这是不可行的。即使你忽略了Nvidia在数据中心GPU上约75%的毛利率（约4倍的加价），每GB的SRAM内存的成本仍将在100美元左右，而这是一个完全产出的产品。

此外，片上SRAM存储器的成本不会因为传统的摩尔定律工艺技术的缩减而降低多少。同样的1GB内存在下一代台积电3纳米工艺技术下实际上成本更高。虽然3D SRAM将在一定程度上帮助解决SRAM成本问题，但这只是一个暂时的曲线弯曲。

https://www.semianalysis.com/p/tsmcs-3nm-conundrum-does-it-even?utm_source=substack&utm_campaign=post_embed&utm_medium=web

存储器层次结构的下一步是紧密耦合的片外存储器，即DRAM。DRAM的延迟比SRAM高一个数量级（~>100纳秒对~10纳秒），但它也便宜得多（1美元/GB对100美元/GB）。

几十年来，DRAM一直遵循摩尔定律的路线。当戈登-摩尔创造这个词的时候，英特尔的主要业务是DRAM。他关于晶体管的密度和成本的经济预测在2009年之前对DRAM来说通常是正确的。但自2012年以来，DRAM的成本几乎没有提高。

对内存的需求只增不减。DRAM现在占了服务器总成本的50%。这就是内存墙，它已经在产品中显现出来。将Nvidia 2016年的P100 GPU与刚刚开始出货的2022年的H100 GPU相比，内存容量增加了5倍（16GB -> 80GB），但FP16性能却增加了46倍（21.2 TFLOPS -> 989.5 TFLOPS）。** **

虽然容量是一个重要的瓶颈，但它与另一个主要瓶颈--带宽密切相关。增加内存带宽通常是通过并行化获得的。虽然现在标准的DRAM每GB只需几美元，但为了获得机器学习所需的巨大带宽，Nvidia使用了HBM内存，这是一种由3D堆叠的DRAM层组成的设备，需要更昂贵的包装。HBM的价格在每GB 10到20美元之间，包括包装和产量成本。

内存带宽和容量的成本限制在Nvidia的A100 GPU中不断显现出来。A100在没有进行大量优化的情况下，FLOPS的利用率往往非常低。FLOPS利用率衡量的是训练一个模型所需的总计算FLOPS与GPU在模型训练时间内可计算的理论FLOPS。

即使领先的研究人员进行了大量优化，60%的FLOPS利用率也被认为是大型语言模型训练的一个非常高的利用率。剩下的是时间开销，即等待另一个计算/内存的数据的空闲时间，或重新计算结果，正好减少内存瓶颈。

从当前一代A100到下一代H100，FLOPS增长了6倍多，但内存带宽只增长了1.65倍。这导致了许多人对H100的低利用率的担心。A100需要很多技巧来绕过内存墙，而H100则需要实现更多的技巧。

H100为Hopper带来了分布式共享内存和二级组播。这个想法是，不同的SM（认为是核心）可以直接写到另一个SM的SRAM（共享内存/L1缓存）。这有效地增加了缓存的大小，减少了DRAM读/写的所需带宽。未来的架构将依靠向内存发送更少的操作来减少内存墙的影响。应该注意的是，较大的模型倾向于实现更高的利用率，因为FLOPS的需求更多的是以指数形式/扩展，而内存带宽和容量的需求更多的是以线性形式扩展。

操作符融合--解决方法

就像训练ML模型一样，了解你所处的状态可以让你缩小优化的范围，这很重要。例如，如果你把所有的时间都花在了内存传输上（也就是说，你处于一个内存带宽受限的状态），那么增加GPU的FLOPS是没有用的。另一方面，如果你把所有的时间都花在执行大的chonky matmuls上（即计算约束制度），那么把你的模型逻辑改写成C++来减少开销也没有用。

https://horace.io/brrr_intro.html

回到PyTorch获胜的原因，是Eager模式带来的灵活性和可用性的提高，但转到Eager模式并不全是阳光和彩虹。在Eager模式下执行时，每个操作都要从内存中读取、计算，然后在处理下一个操作之前发送到内存。如果不进行大量的优化，这将大大增加对内存带宽的需求。

因此，在Eager模式下执行的模型的主要优化方法之一被称为运算器融合。操作符融合，而不是把每个中间结果写到内存中，所以多个函数在一次计算中被计算，以尽量减少内存的读/写。操作符融合改善了操作符调度、内存带宽和内存大小的成本。

这种优化通常涉及到编写定制的CUDA内核，但这比使用简单的python脚本要困难得多。作为一种内在的妥协，随着时间的推移，PyTorch在其内部稳定地实现了越来越多的运算符。其中许多运算符只是将多个常用的操作融合到一个更复杂的函数中。

操作符的增加使得在PyTorch中创建模型变得更加容易，而且由于内存读写次数减少，Eager模型的执行速度也更快。缺点是，PyTorch在几年内就膨胀到了2000多个运算符。

我们会说软件开发人员很懒，但说实话，几乎所有的人都很懒。如果他们习惯了PyTorch中的某个新运算符，他们就会继续使用该运算符。开发者甚至可能没有认识到性能的提高，而是使用那个运算符，因为这意味着写更少的代码。

此外，并不是所有的操作都能被融合。通常需要花费大量的时间来决定哪些操作需要融合，哪些操作需要分配给芯片和集群层面的特定计算资源。融合哪些操作的策略，虽然一般来说是相似的，但根据架构的不同，确实有很大的不同。

Nvidia是国王

运营商的增长和作为默认的地位帮助了Nvidia，因为每个运营商都很快为他们的架构进行了优化，但没有为任何其他硬件优化。如果一家人工智能硬件创业公司想要完全实现PyTorch，那就意味着要以高性能支持不断增长的2000个运算器的原生列表。

在GPU上训练一个高FLOPS利用率的大规模模型所需的人才水平越来越高，因为需要所有的技巧来提取最大的性能。Eager模式执行加上运算器融合意味着所开发的软件、技术和模型被推到了当前一代GPU所具有的计算和内存的比例范围内。

每个开发机器学习芯片的人都要面对同样的内存墙。ASICs必须支持最常用的框架。ASIC受制于默认的开发方法，GPU优化的PyTorch代码与Nvidia和外部库的混合。在这种情况下，放弃GPU的各种非计算包袱而选择更多的FLOPS和更严格的编程模型的架构是非常没有意义的。

易用性是王道。

打破恶性循环的唯一方法是让在Nvidia GPU上运行模型的软件以尽可能少的努力无缝转移到其他硬件。随着模型架构的稳定和来自PyTorch 2.0、OpenAI Triton和MLOps公司（如MosaicML）的抽象成为默认，芯片解决方案的架构和经济性开始成为购买的最大驱动力，而不是Nvidia的卓越软件所提供的易用性。

PyTorch 2.0

几个月前，PyTorch基金会成立，并从Meta的羽翼下退出。在向开放式开发和管理模式转变的同时，2.0版本已经发布，用于早期测试，并在3月全面上市。PyTorch 2.0带来了许多变化，但最主要的区别是，它增加了一个支持图执行模型的编译解决方案。这一转变将使正确利用各种硬件资源变得更加容易。就在几个月前。伴随着这种向开放式开发和管理模式的转变，2.0已经发布，用于早期测试，并在3月全面上市。

PyTorch 2.0在Nvidia的A100上为训练带来了86%的性能提升，在CPU上为推理带来了26%的性能提升! 这极大地减少了训练模型所需的计算时间和成本。这些好处可以扩展到其他GPU和加速器上，从! 这极大地减少了训练一个模型所需的计算时间和成本。这些好处可以扩展到其他GPU和加速器，如AMD、英特尔、Tenstorrent、Luminous Computing、Luminous Computing、Tesla、谷歌、亚马逊、微软、Marvell、Meta、Graphcore、Cerebras、SambaNova等。

对于目前未优化的硬件，PyTorch 2.0的性能改进将更大。Meta和其他公司对PyTorch的大量贡献源于他们希望在他们由GPU组成的价值数十亿美元的训练集群上更容易实现更高的FLOPS利用率。他们也有动力使他们的软件堆栈更容易移植到其他硬件上，为机器学习领域引入竞争。

PyTorch 2.0还为分布式训练带来了进步，它对数据并行有更好的API支持，对数据并行、分片、管道并行和张量并行有更好的API支持。此外，它通过整个堆栈原生支持动态形状，在许多其他的例子中，这使得LLM的不同序列长度更容易得到支持。这是第一次有一个主要的编译器支持从训练到推理的动态形状。

PrimTorch

为PyTorch编写一个完全支持所有2000多个运算符的高性能后端，对于除Nvidia GPU之外的所有机器学习ASIC来说都是困难的。PrimTorch将运算符的数量降至约250个原始运算符，同时也为PyTorch的终端用户保持了可用性。PrimTorch使PyTorch的不同的、非Nvidia的后端实现得更简单和更容易。定制硬件和系统供应商可以更容易地提出他们的软件堆栈。

TorchDynamo

转向图形模式需要一个强大的图形定义。Meta和PyTorch在过去5年中一直试图实现这一目标，但他们提出的每个解决方案都有很大的缺陷。他们最终用TorchDynamo破解了这个难题。TorchDynamo将接收任何PyTorch用户脚本，包括那些调用外部第三方库的脚本，并生成一个FX图。

Dynamo将所有复杂的操作降低到PrimTorch的约250个原始操作。一旦图形成，未使用的操作就会被丢弃，图决定了哪些中间操作需要存储或写入内存，哪些有可能被融合。这极大地减少了模型内的开销，同时对用户来说也是无缝的。

在测试的7000个PyTorch模型中，TorchDynamo已经对超过99%的模型起作用，包括来自OpenAI、HuggingFace、Meta、Nvidia、Stability.AI等的模型，而无需对原始代码进行任何修改。测试的7000个模型是从GitHub上使用PyTorch的最受欢迎的项目中不加选择地挑选出来的。

谷歌的TensorFlow/Jax和其他图形模式的执行管道通常要求用户确保他们的模型适合编译器的架构，以便可以捕获图形。谷歌的TensorFlow/Jax和其他图形模式的执行管道通常要求用户确保他们的模型适合编译器的架构，以便可以捕获图形，Dynamo通过启用部分图形捕获、受保护的图形捕获和及时重新捕获来改变这种情况。

部分图捕获允许模型包括不支持的/非python结构。当模型的那一部分不能生成图时，就会插入一个图断点，不支持的构造将在部分图之间以急切的模式执行。

守护的图形捕获检查捕获的图形是否有效，以便执行。守护是指需要重新编译的变化。这一点很重要，因为多次运行相同的代码不会多次重新编译。

Just-in-time recapture允许在捕获的图形无效的情况下重新捕获图形进行执行。

PyTorch的目标是创建一个统一的前端，具有流畅的用户体验，利用Dynamo来生成图形。这个解决方案的用户体验将保持不变，但性能可以得到显著提高。捕获图形意味着可以在大型计算资源基础上更有效地并行执行。

Dynamo和AOT Autograd然后将优化的FX图形传递给PyTorch本地编译器水平，TorchInductor。硬件公司也可以把这个图形输入到他们自己的后端编译器中。

TorchInductor

TorchInductor是一个python原生深度学习编译器，可以为多个加速器和后端生成快速代码。Inductor会把有大约250个运算符的FX图，降低到大约50个运算符。然后Inductor进入调度阶段，将运算符融合，并确定内存规划。

然后，Inductor进入 "封装代码 "阶段，生成代码，在CPU、GPU或其他人工智能加速器上运行。包装器代码生成器取代了编译器堆栈的解释器部分，可以调用内核并分配内存。后端代码生成部分利用OpenAI Triton用于GPU并输出PTX代码。对于CPU，英特尔编译器生成C++（也会在非英特尔CPU上工作）。

今后将支持更多的硬件，但关键是Inductor极大地减少了编译器团队为其AI硬件加速器制作编译器时必须做的工作。此外，代码的性能更加优化。对内存带宽和容量的要求也大大降低。

我们不希望建立一个只支持GPU的编译器。我们想要的是可以扩展到支持各种硬件后端，而拥有C++以及[OpenAI]Triton则迫使我们具有这种通用性。

OpenAI Triton

OpenAI的Triton对Nvidia的机器学习闭源软件护城河来说是非常具有破坏性。Triton直接接受Python或通过PyTorch Inductor堆栈进行反馈。后者将是最常见的使用情况。然后，Triton将输入转换为LLVM的中间表示，然后生成代码。在Nvidia GPU的情况下，它直接生成PTX代码，跳过Nvidia的闭源CUDA库，如cuBLAS，而选择开源库，如cutlass。

CUDA通常被那些专门从事加速计算的人使用，但它在机器学习研究人员和数据科学家中却不太出名。它在高效使用方面有一定的挑战性，需要对硬件架构有深入的了解，这可能会拖慢开发过程。因此，机器学习专家可能要依靠CUDA专家来修改、优化和并行化他们的代码。

Triton弥补了这一差距，使高级语言能够达到与使用低级语言的人相当的性能。Triton内核本身对于典型的ML研究人员来说是相当可读的，这对于可用性来说是非常重要的。Triton将内存凝聚、共享内存管理和SM内的调度自动化。Triton对于元素-明智的矩阵乘法没有特别大的帮助，这些已经被非常有效地完成。Triton对于昂贵的逐点操作和减少更复杂的操作（如Flash关注）的开销非常有用，这些操作涉及矩阵乘法，是一个更大的融合操作的一部分。

OpenAI Triton今天只正式支持Nvidia的GPU，但这在不久的将来会发生变化。未来还将支持其他多个硬件供应商，这个开源项目正在获得令人难以置信的动力。其他硬件加速器能够直接集成到作为Triton一部分的LLVM IR中，这大大减少了为新硬件建立AI编译器栈的时间。

Nvidia庞大的软件组织缺乏远见，没有利用他们在ML硬件和软件方面的巨大优势，成为机器学习的默认编译器。他们缺乏对可用性的关注，这使得OpenAI和Meta的外部人员能够创建一个可以移植到其他硬件的软件栈。为什么他们不为ML研究人员建立一个像Triton一样的 "简化 "CUDA？像Flash注意力这样的东西，为什么是出自博士生而不是Nvidia？

本报告的其余部分将指出在微软大获全胜的具体硬件加速器，以及多个公司的硬件正迅速被整合到PyTorch 2.0/OpenAI Trion软件栈中。此外，它将分享相反的观点，作为对Nvidia在人工智能培训市场的护城河/实力的辩护。

首先，关于将与OpenAI Triton整合的硬件。AMD和Tenstorrent正积极地要深度整合到软件栈中。AMD已经有很多公开的GitHub提交。Luminous Computing的AI超级计算机正在PyTorch Dynamo层面上整合其软件栈。

据称，硬件方面的大赢家是在微软，AMD的MI300系列CPU/GPU。微软显然仍将购买Nvidia，但MI300的体面规模将有助于开始打破护城河。AMD在这里的强项是其硬件工程。AMD的下一代MI300是一个工程的奇迹。AMD对每瓦特性能的要求是非常高的。虽然英特尔和Nvidia有将GPU和CPU结合在一起的设想，但AMD将在2023年下半年开始将它们安装到下一代HPC中。此外，AMD正在用真正统一的HBM内存在1个包中完成这一切。

该芯片是可配置的，可以有各种数量的CPU或GPU瓦片。上面的渲染图是4个6纳米的瓦片，上面有9个5纳米的瓦片。3个5纳米的Zen 4个CPU芯片在其中一个6纳米的瓦片上，2个5纳米的GPU芯片在另外3个6纳米的瓦片上。这可以重新配置，以拥有更多的CPU或GPU芯片，尽管我们不确定他们是否同时运送这些其他变体。

性能要求似乎很高，特别是当你看了AMD的一些脚注。例如，8倍的人工智能性能，5倍的人工智能性能/W，这简直是疯了! AMD测量了MI250X在560W TDP下的FP16性能为306.4 TFLOPS。这是其理论峰值性能的80%。AMD声称MI300的性能使用FP8，所以考虑到不同的数字格式，这种比较有点虚伪。不管怎么说，使用AMD的说法，MI300在900W TDP下的FP8性能为2400 TFLOPS，实现了5倍的性能/W和8倍的性能，与MI250X相比。Nvidia的Hopper GPU在700W的条件下可以达到FP8的~2000 TFLOPS，但它缺少CPU组件。

一旦包括Grace CPU组件，功率将上升到约900W，但它也将从CPU核心获得温和的性能提升。原始TFLOPS/W是相似的。Nvidia的Grace Hopper比MI300略早地批量出货。由于在封装、制造成本和NVLink网络方面的差异，它也是一个可以扩展到更高容量的设计。主要的缺点是，它仍然必须将数据从封装中传输出来，在CPU和GPU之间进行传输。虽然这使用的是NVLink，一个相对高带宽、低延迟的链接，但在每比特的功率、延迟和带宽方面，没有什么能与封装上的传输相比。

对上述报告的辩护是，Triton目前大量使用了Nvidia的开源库，如Cutlass。这些库对于第三方来说，几乎不存在可以插入AMD硬件的情况。当然，Nvidia开源了许多东西，这些东西很快被第三方供应商采用，包括Megatron等框架，该框架已经被亚马逊的内部培训硬件所支持。

在人工智能培训中，硬件公司的关键之处在于，尽可能简单地将正确的控制水平暴露给人们。人们会想要调整并试图理解为什么他们编写的模型表现不佳，但同时，进入硬件的挂钩不能太低级。

Nvidia今天提供了这样的服务。

此外，我们跳过了对融合策略的整个讨论。不是每件硬件都以相同的方式融合相同的行动。这是一个必须做出的有意识的决定，而且融合策略应该在各代硬件之间进行调整。

谷歌的XLA为不同版本的TPU做了这个工作。今天，PyTorch和Triton中的默认会针对Nvidia硬件进行优化。这需要时间来为其他硬件调整这一策略。

我们还跳过了分布式硬件的整个故事。何时、何地以及如何拆分网络、张量、管道、数据等，都是由模型培训师明确地完成。他们更喜欢Nvidia的各种分布式训练库，如NCCL，来做这件事。竞争对手的库，如AMD的RCCL，都非常落后。Meta公司讨论人工智能硬件和联合封装光学器件

需要注意的是，Nvidia有他们的NVSwitch盒子在发货。上面讨论得比较多，但Nvidia在某种程度上过度构建了网络。此外，他们正在进行一些计算操作，如在交换机中进行全还原，这是其他公司没有尝试过的。这将使扩展到数以千计的加速器变得更加容易。

简而言之，Nvidia拥有网络、软件和先发优势。这些优势在未来仍将保持强劲，Nvidia将保持90%以上的商户销售额。重要的威胁是，超大规模的公司将能够达到计算成本和内存的正确组合，而不需要Nvidia对许多工作负载的巨大加价。

缺乏一种为人工智能租用Nvidia GPU的方法，而没有云服务提供商的利润率x Nvidia的利润率，这是Nvidia的一个主要问题。我们预计Nvidia未来将开始提供更多的管理培训服务，以应对这一保证金堆积问题。否则，内部硬件将开始通过更低的成本击败他们。Nvidia已经提供了云游戏服务（GeForce Now）和创意云服务（Omniverse），所以这并不离谱。

本文为以下链接的编译版本

https://www.semianalysis.com/p/nvidiaopenaitritonpytorch

文中前两张卡通图像来由Stable Diffusion制作。

**

**

Stable Diffusion 是Stability AI 公司开发的一款文本到图像的产品模型，它将使数十亿人能够在几秒钟内创作出令人惊叹的艺术作品。它是速度和质量方面的突破，意味着它可以在消费类 GPU 上运行。模型权重由托管合作方Hugging Face处理。

这是由 Runway 的 Patrick Esser 和慕尼黑大学机器视觉与学习研究小组的 Robin Rombach（以前是海德堡大学的CompVis实验室）领导的，基于他们之前在CVPR'22上的潜在Diffusion模型工作，并结合了社区的支持在 Eleuther AI、LAION 和Stability 生成 AI 团队。

该模型本身建立在 CompVis 和 Runway 团队在其广泛使用的潜在扩散模型中的工作基础上，结合我们的首席生成 AI 开发人员 Katherine Crowson、Open AI 的 Dall-E 2、Google Brain 的 Imagen和其他AI专家 对条件扩散模型的见解。

我们很高兴AI媒体生成成为了一个开源社区驱动的领域，我们也希望能够继续吸引越来越多的创造性人才加入我们。

本周我们挖掘Stable Diffusion的所有信息：

1. 什么是Stable Diffusion？

2. 它是如何生成那些很酷的动画的？

3. 它如何衡量文本数据和图像数据之间的相似性？

4. 让我们用文字提示和Stable Diffusion生成音乐。

什么是Stable Diffusion？

它类似于DALL-E 2，因为它是一个Diffusion模型，可以用来从文本提示中生成图像。与DALL-E 2不同的是，它是开源的，有PyTorch实现[1]和HuggingFace[2]上的预训练版本。它是用LAION-5B数据集[3]训练的。Stable Diffusion由以下子模型组成：

我们有一个自动编码器[4]，它是由感知损失[5]和基于补丁的对抗性目标[6]的组合训练而成。有了它，我们可以将一个图像编码为一个潜在的表示，并从它那里解码。

随机噪声被逐步应用到嵌入中随机噪声被逐步应用到嵌入中[7]。文本提示的潜在表征是从CLIP对齐到图像表征中学习的[8]。

然后，我们然后使用U-Net，一个带有ResNet块的卷积网络来学习对Diffusion嵌入进行去噪[9]。文本信息通过交叉注意层注入网络[10]。得到的去噪图像然后由自动编码器解码器进行解码。

你可以在这里找到这篇文章: Stable Diffusion的文章[11]。有趣的模型!

它是如何生成那些很酷的动画的呢？

请看我在Replicate中做的：我的Stable Diffusion动画。那些动画主要是由于在潜伏空间（嵌入表征）中，很容易在2张图片或2个文本提示之间进行插值。DALL-E 2的文章对此有很好的解释： 。那些动画主要是由于在潜空间中的2张图片或2个文本提示之间的插值很容易（嵌入表征）。DALL-E 2的文章很好地解释了这一点[12]。

你需要一个开始和结束提示。我选择了 "一只熊的图片 "和 "一个苹果的图片"。

然后你用CLIP模型的文本编码器[13]在潜空间中对这些文本进行编码 ，你用这2个文本提示之间的插值来指导随机图像的去噪过程的几个步骤。这只是为了将去噪过程固定在两个提示之间，使动画的跳跃性更小。

然后，你在2个提示之间创建尽可能多的中间插值，因为你需要在你的动画中的帧，并继续去噪过程，直到你得到干净的图像。如果你需要更平滑的动画，你只需在潜空间中生成的图像之间进行插值。

我对Andreas Jansson用Stable Diffusion技术实现的动画玩得很开心[14]。他在使用Hugging Face[2]的预训练模型。

如何测量文本和图像数据之间的相似性？

你怎么知道一张图片与它的文字说明是否 "相似"？从概念上讲，你可以 "简单地 "测量图像和文本之间的余弦相似度。这就是CLIP（对比性语言-图像预训练[13]）背后的想法，它是Dall-E 2和Stable Diffusion的基础OpenAI算法。图像和文本的中间潜在向量表示被学习，这样点积的高值就表明了高相似度。以下它是如何建立的）

首先，他们从互联网上公开的数据集中创建了一个由4亿对（图像、文字）组成的数据集。

然后他们使用了一个63M参数的转化器模型（A small GPT-2 like model 然后他们使用了一个63M参数的转化器模型（A small GPT-2 like model [15]）来提取文本特征T和一个视觉转化器[16]来提取图像特征I。

得到的向量被进一步转化，使文本和图像向量具有相同的大小。有了N个（图像，文字）对，我们可以生成N^2-N个图像与文字标题不对应的对。然后，他们在图像与文字说明不对应的对之间进行归一化点积（余弦相似度）。如果文本对应于图像，模型就会收到一个标签1，否则就是0，这样，模型就学会了对应的图像和文本应该产生一个接近于1的点积。

这个模型在零点学习中有很多的应用! 在典型的图像分类中，我们给模型提供一个图像，而模型从监督训练期间使用的一组预定义的文本标签中提供一个猜测。但是有了CLIP，我们可以提供一组我们希望模型将图像分类的文本标签，而不需要重新训练模型，因为模型将试图衡量这些标签和图像之间的相似性。我们实际上可以通过切换文本标签来建立无限量的图像分类器! CLIP文章[8]展示了它的稳健性，可以概括到不同的学习任务，而不需要重新训练模型。在我看来，ML模型的这种适应性显示了我们离真正的人工智能有多远! CLIP是一个开源项目（展示了它的鲁棒性，以概括不同的学习任务而不需要重新训练模型。在我看来，ML模型的这种适应性表明我们离真正的人工智能有多远！"。），所以一定要试试。

让我们用文本提示生成音乐

想象一下，如果你能告诉机器学习模型 "用爵士萨克斯管演奏放克基调"，它就会合成人工音乐！这就是我们的机器学习。实际上，你不需要想象，你可以直接使用它! 介绍一下RIFFUSION，一个根据Spectrogram图像数据训练的Stable Diffusion模型。这个想法很简单。

只要挑选一个预先训练好的Stable Diffusion模型[2]就好了。

将大量的音乐及其文字描述转换成Spectrogram图像数据。

微调到Stable Diffusion模型。

你现在有了一个模型，可以根据其他谱图或文字提示预测新的谱图。只要将这些频谱图转换回音乐。

如果你想了解更多关于如何自己做的细节，你可以按照这里的流程：https://www.riffusion.com/about。

引用

1. Stable Diffusion的Pytorch实现：https://github.com/CompVis/stable-diffusion

2. HuggingFace上的预训练版本：https://huggingface.co/spaces/huggingface-projects/diffuse-the-rest

3. LAION-5B数据集: https://laion.ai/blog/laion-5b/

4. Taming Transformers for High-Resolution Image Synthesis by Patrick Esser et al: by Patrick Esser et al: https://arxiv.org/pdf/2012.09841.pdf

5. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric by Richard Zhang et al: by Richard Zhang et al: https://arxiv.org/pdf/1801.03924.pdf

6. Phillip Isola等人：Phillip Isola等人：https://arxiv.org/pdf/1611.07004.pdf《用条件对抗网络进行图像到图像翻译》

7. Jascha Sohl-Dickstein等人的《使用非平衡热力学的深度无监督学习》：Jascha Sohl-Dickstein等人：https://arxiv.org/pdf/1503.03585.pdf

8. Learning Transferable Visual Models From Natural Language Supervision by Alec Radford et al: by Alec Radford et al: https://arxiv.org/pdf/2103.00020.pdf

9. U-Net。Olaf Ronneberger等人的《卷积网络用于生物医学图像分割》：Olaf Ronneberger等人：https://arxiv.org/pdf/1505.04597.pdf

10. 感知器IO。Andrew Jaegle等人的《结构化输入和输出的通用架构》：Andrew Jaegle等人：https://arxiv.org/pdf/2107.14795.pdf

11. 使用潜伏Diffusion模型的高分辨率图像合成 作者：Robin Rombach: https://arxiv.org/pdf/2112.10752.pdf

12. Aditya Ramesh等人的《用CLIP潜望镜进行分层文本条件的图像生成》：Aditya Ramesh等人：https://arxiv.org/pdf/2204.06125.pdf

13. OpenAI的CLIP模型： https://openai.com/blog/clip/

14. Andreas Jansson的用Stable Diffusion实现动画的方法。Andreas Jansson用Stable Diffusion实现的动画：https://replicate.com/andreasjansson/stable-diffusion-animation

15. OpenAI的GPT-2: https://openai.com/blog/tags/gpt-2/

16. 一张图片胜过16x16个字。Alexey Dosovitskiy的《用于规模化图像识别的变压器》: https://arxiv.org/pdf/2010.11929.pdf

Yizhou 00:00

Yizhou围绕 a generative AI去学习去尝试，然后也贡献了一些方法出来。然后这些方法有一部分可能stable diffusion里面用到的方法，然后有一部分现在的Stability AI我们整个服务里面有用到，然后也往社区里也贡献了一些东西。就在这个过程里面我还要做我的本职工作，但是我的本职工作是一个Strategic designer那种的工作。就一边做的工作，一边周末周六周日给开源社区做贡献，然后同时也就相当于自己在玩，然后边玩的同时也给开源社区作贡献。

然后今年的时候就相当于被开放，因为之前给社区做了不少贡献，然后就进到了stability，这也是我们很多同事的一个加入Stability AI的路径，从我们的CTO到我现在的 Teammate，很多都是以路径进到Stability AI的，这大概就是我自我介绍。

Frank 01:15

感谢Yizhou的介绍，所以你基本上是从通过之前的一些从社区里面招募了，就是说我是做了一些贡献以后被招募进来了是吧？对的ok，我其实也可以做一下自我介绍，就是说因为我看有些新的朋友进来，其实我是CFG Labs的Co-founder Frank，我主要是在 tech方面在Web3 infrastructure这块，对于generative AI技术，我们是从去年开始关注的。

我们之前参与一些元宇宙的Generative AI项目，然后通过这个思路我们去找，就发现了Stability AI这样一个一个社区的非常好的项目，所以通过Stability AI我们学习的generativie AI的整个生态系统以及它的技术背景，然后我们除了看 web 3领域的generative AI或者AIGC这块的技术这块，我们也在研究一些底层的基础设施，比如说像这种公链的扩展，最近我们在模块化和单片链这种技术方面都有一些研究，除了投资之外然后我们也有一些自己的孵化的项目，是这样的，然后今天的主题主要是在围绕Stability AI以及它采用的stable diffusion这种技术的探讨。

下面要请教一下Yizhou的一些问题，第一个问题，关于 open AI和 close AI的对比，因为现在主流的这种大公司，包括像Meta，还有Google，还有Mirosoft，包括国内的阿里，腾讯，百度这种公司，他们都是用这种 close AI的技术；然后我想问一下像Stability AI这种采用这种开源技术AI，他的一些想法和它的竞争优势在哪里？

Yizhou 03:39

刚才我们提到 Open和close，其实我们也不能完全说你刚才说的大公司是closed的AI，其实有在他们有很多方式来open。就拿国内大公司说阿里的话有ModelScope，阿里它的ModelScope上面也开展了很多基础模型，包括一些视觉的比如说clip，这些其实都是开源的模型，然后也有像比如说像百度，然后发了很多论文，然后这些论文的方法有一些也是会被社区所吸收所使用的，但我们不能一概我可能不是很倾向于一概而论的把它全部说成closed的AI。

但我明白这个问题的点在什么地方，我们也是Stability AI跟其他的就跟你说的巨头不太一样的地方是我们的commitment，所有的foundational model权重一定是全开源出来的。

开放权重，开放整个模型的结构，从推理代码到训练代码到权重到数据集到底是什么？

等等这一系列的东西，其实会给社区一个很强的机会，是他能够n to end从真正从零开始到怎么训练出模型到模型怎么使用，以及模型内部是怎么工作的，会有一个非常清晰的认知，相比于论文和API而言，你获得的信息是很多的，然后开发者也好，还是研究者也好，在这个过程中就可以去更多的观察模型的运行方式，更多的去看模型的架构，看这些看到整个pipeline上的不同的节点，比较有想法的开发者和研究者就可以去优化这些东西，我们看到了一些我们一个比较直接的观察， OpenAI写了很多论文出来，包括它的DALL.E和DALL.E2，然后后面的基础技术是吧？

甚至包括diffusion的最一开始那几篇重要的论文其实都是OpenAI的，我们非常感谢OpenAI给出的基础的技术，我们的技术其实很多也是基于研究结果，但是有了论文，有了开源处的API在DALL.E发布，我只是Beta发布完了很长一段时间里面，出现的应用是没有那么多的，直到stable diffusion发的那一天，然后在短短的几个星期里面迅速的雨后春笋一样很多应用掌握出来。

这是一个完全open的 AI，或者说完全暴露权重，暴露底层架构，每个人可以自己在自己的消费级GPU上面去运行的一个AI能够带来的一个给社区的给整整个生态的一个贡献，或者说一个他给了大家一个可以在上面去做东西的土壤。

又说回 open这个词，我可能想在 open这个词上面加一个定义。有的时候我们谈open是说有没有把东西给你，然后我们可能更在意一件事情是说我给你的东西你自己能不能运转出来，能不能运转起来。

我举个例子，我就算把GPT-3的位置开出来，能运行的人也寥寥无几，因为像我没有办法在一个24g的显卡3090跑不起来的，但stable diffusion可以，甚至不需要3090， 3060就可以，这就是所谓的openness每一个人都可以来用，然后每个人都能看到它的结构，享受到它所带给你带来的福利。

Frank 07:22

你刚才指的就是普通用户用他的PC电脑， Gpu就可以访问是吧？你是这个意思吗？

Yizhou 07:34

对，然后比如说一个普通的研究者，我们之前比如说你要真的运行研究一个大型的语言模型，你可能需要一个集群，你现在想办法再把模型跑起来才行，对吧？

但如果你只需要研究stable diffusion的话，你掏出一台笔记本，上面6g的显存能跑起来，然后跑起来你就可以开始看说这个地方每一个结构到底是什么地方，发生了什么东西，什么事情，有能够跨过使用门槛的人变多了，然后能跨过可以开始研究，可以给社区做贡献的人的门门槛的人也变多了，这样对整个生态的发展是一个很有利的很有利的一个因素。

Frank 08:14

 Ok，所以你觉得它开源以后，它最大的是降低了使用开发者的门槛是吧？

Yizhou 08:26

对的，从使用到可以开始贡献研究的门槛都降低了。Ok。

Frank 08:35

你们大概现在在Stable diffusion这块社区开发的社区大概多大？全球的这种工程师/科学家大概。

Yizhou 08:43

我我没有一个很好的技术可以给你，但你就从Github上的 Startups的Star上来看，然后从fork上来看，5位数是有的，就真的在上面做各种各样的事情的，绝对是有5位数以上的开发者在上面做各种各样的事情。

Frank 09:08

你刚才提到了这些像Midjourney和DALL.E这种，他们和stability和这几个有什么不一样，这两个好像都是open ai的作品是吧？

Yizhou 09:20

不是,Midjounery不是，它是一个Lab；然后很有意思，我们一开始看到社区里面比较活跃的几个人，现在有的去了Midjourney，有的在Stability AI像我一样，然后有的可能还在开源社区里面，这里就是一开始的Disco diffusion的几位主创来加上一些社区的同志们一起设立的一个lab。

那stable diffusion相对于他们两个最大的特点可能真的是开放性，因为DALL.E和Midjourney的位置都是不开放的，至少最新的位置是不开放的，以上面里面用的一些独有的方法可能也不完全暴露给社区，但是stable diffusion里所有看到的从权重到推理方法等等全部都是开源的，甚至很多很有意思的，你会经常观察我们的社区成员可能会注意到有很多最新的方法是会先到开源社区，再到我们自己的API上，包括我们的V2也是， V2刚刚发布2.0也是这样的，我们先有了开源的weight，然后再做了你的产品。从这一个开放性上来说，确实是我们相对于Midjounery达到一个最大的特点。这是从开放性角度。

然后另外如果我们直接观察作为一个文生图的产品的话，Stable diffusion更像一个平台,DALL.E和Midjourney都会更接近产品一些，比如说Midjourney现在很我会有一个比方Midjourney，像它是一个已经做好的菜，包括做好你输入了什么东西，你给它的原料它会帮你炒好，然后加一点MSG加一点味精出来，出来东西就很漂亮，非常漂亮，就几个词就可以了，没有问题。

但你能够调教的内容，其实在你自己的输入的基础上，你会加入自己的理解，他输入的东西会很艺术化很风格化，输出东西可能你说话风格化，然后可以直接可用，然后可以非常抓眼球，维持作为一个产品是个非常好的事情，然后也很受最终用户的欢迎。

DALL.E的话，它的抽象图像真实质量高，可能更多的像说我们可能作为一些产业应用，可作为API在接入的话，当然也可能是一个蛮好的选择，虽然他没有那么多可以调节的东西，可以你自己配置东西给你，而stablediffusion像是一个平台一个工具一把你可以自己去替换模块的，瑞士军刀。他效果是不如Midjourney和DALL.E，特别是用短的单词，我就说一个A Cat两个词的话，Midjourney可以给你很艺术化的东西，DALL.E会给你非常真实的图猫的照片，Stable Diffusion不行，他会给你一个就差一点意思，你需要用大量的修饰词，或者用一些其他的推理方法去限制它，去引导它，然后去把它变得更更好。

但你可以用它做更多的事情，比如最近我们看到了这个整个fine tune，比如就像dreamboots，不是这种拿了模型过来，基于你自己的数据去训练。这样的事情是你只能至少在目前这个时间段，你还是只能或者最容易stable diffusion去做的，你想让DALL.E话，你只有API没有办法做这件事情，你想Midjourney做的话可能要等服务，在stable diffusion也是你拿一趟消费级显卡拿到数据，你把权重弄下来，如果你懂一点python，现在是需要懂python，后来后面你可能都不需要懂Python，因为社区会给你非常容易的界面化的产品，然后你拿了数据拿了权重来就可以训练了一个数据属于我自己的模型，然后里面出来的所有的漫威宇宙，你可以把漫威宇宙里的任何一个角色替换成自己的脸，然后生成各种东西，这就是stable diffusion作为一个平台，作为一个开源的作为一个开源的平台给大家带来的一个特点， ok。

Frank 13:51

非常好，我之前对这几个技术还不是特别的了解。DALL.E这个是OpemnAI开发的是吧？对。Ok。你刚才说的提到了stable diffusion里面开发的权重是开源的，DALL.E他们没有开源？开源了参数的权重，这个是比较核心的一块。

Yizhou 14:29

DALL.E的权重是没有开源，但OpenAI开放了 Clip，其实是我们之前我们1.0的版本用的Clip是OpenAI的,2.0版本就是我们自己的。

Frank 14:45

然后你们现在的模型是通过AWS的A100 GPU，在全世界我看很少的机构在用，包括像 Facebook他们估计好像也用，但是好像用这个机器的机构真的很少，最近我看了一个全球AI报告上面，硬件资源是非常紧张的，所以你们的长期计划是以 AWS上的 A100 GUP吗？

Yizhou 15:19

几个点，一个是关于A100 GPU，你说他紧张他确实紧张，但你说有很少人在用，那倒不一定。

特别我们就看国内的几个大厂其实都是有a100的资源，然后甚至不用说大厂，国内中厂也有很多有自己小型的100的Cluster,可能不多，就几个Cluster的，但都有自己的资源在，但如果你想应该这么说，能拿出4000~6000张a100大集群的公司确实不多。

Ok我们在训练模型的时候，我们其实大家会首先会先想到你这4000张a100训练，但其实没有我们训stable diffusion的时候，集群没有那么大，我们训练的时候使用的我分成两个部分，一部分 clip用的计算,特别2.0的clip用了很多的计算资源，具体的计算资源的数量，我现在的报告还没有写出来，我先卖个关子，但真的说训练stable diffusion1.0版本的GPU是我们叫256块，是256块GPU在跑，当然这不包含我们在不同的实验，不包含说我吃的版本不太好，我再串一个版本，这个版本没有收敛，我在先是下一个版本，我同时开好几个版本，开调套参数我都不算，只是说单纯训练一个模型，从0~1，我要用的GPU的速度是256，而不是4000，但这4000带来的意义是什么？

4000带来的意义是你可以做很多不同的尝试，你在做尝试的时候不需要特别纠结，那就能在这里在尝试的过程中就有很多可能的创新可能的好的结果会出来，就拿我们的跟Laion合作训练的，我们现在2.0版本用的Clip,在训练的时候遇到了很多问题，中间重启了很多次，然后这个过程其实在社区和Cluster的共同的努力下训练出来的，如果是一个没有这样的一个集群的话，像训练一个Clip这样的事情，可能确实是比较大的投入成投入。

你说这个问题的下一个问题，后面我们会去依赖 aws的集群吗？

我们分开谈。

训练研究。

特别是研究给一个reseacher的这一部分，太原研究的支持，现在确实是在aws上面的，然后未来也可能会很长一段时间，我们会继续去使用aws因为它有很多便利性，我很容易调度管理，我不需要去花费大量的精力去解决一些自己维护集群需要的问题，这是长期愿景分开谈，我们的长期愿景一定要有算力，然后算力以什么方式解决，这个事情可能是动态变化的，对于我们来说现在最优解是aws,推理就是另外一个故事了。

之所以把训练和推理分开，是因为训练受网络谈网络带宽的限制，我很难说把训练distribute到各个小的node上面，我不可能用，我至少现在的架构不支持，我们用100台200台消费级GPU通过互联网连接训一个东西很难，不要想。

那在推理可以推理，其实我们现在的这样的一个方式，整个社区运转的模式已经是一个去中心化的推理了，有很多用社区的方案，比如automatic的这个stable diffusion是Web UI，比如说用diffuser是自己host在自己机器大家分布的规律，用自己的算力来做这件事情。这就已经算是开源计算或者开源推理的一一部分，后面现在这个方向我们应该也会有更多的思考。

Frank 19:46

你们现在训练一个这样大的模型要多久？一般这种大型模型。

Yizhou 19:52

1.0用了几十万个GPU，2.0的时候，因为各种优化我们的速度快了很多。

2.0从具体2.0具体的时间我还不太清楚，因为我不在训练册，但从整个pipeline来说，从一开始规划到最终模型产出，我应该是看花了一个月的时间在看。

Frank 20:29

2.0，我看最近你们好像发了篇paper跟斯坦福和Google brain合作， paper里面说提升了很多在模型里面。

Yizhou 20:41

对disco的模型,那个是在2.0基础上的，进一步的蒸馏完了以后，比如因为地球本身是一个要大量的采样的一个过程，你需要通过你希望这个模型Evaluate,就模型需要运转50次以及一开始是50次，然后现在20多次，然后被通过这个方式去做，但distill以后的模型每一步denoise效果更好，然后你不需要用那么多步denoise，可能几步三四步就ok。是这样的一个方式，就是我们对diffusion模型的一个改进。

Frank 21:21

所以我觉得StabilityAi开源的这件事情，我觉得是在整个工业界包括学术界还有整个有很大的一个影响力，我觉得推动这个行业朝一个更多元的方向发展，而且开始让普通大众对这种神经网络开始有一些兴趣，以前这种你刚刚提到的普通的工程师科学家是很难接触到这种大型的 AI模型的，但现在如果Stability AI用这种开源的方式，应该是让普通的工程师开发者都能接触到。

最近我看生态系统里面发展很快，像dream studio他们好像就在咱们开发了很多游戏的应用，就是游戏的一些场景。

然后我看到还有其他一些做游戏的游戏领域，以及包括艺术创作领域，特别多应用，包括电影制作这种，也开始接触。

我就想问一下感兴趣对咱们生态社区的基础上搭的你很多这种应用，你觉得未来包括未来现在你看到一些有趣的这种应用场景说现在或者你感到很惊讶。

Yizhou 22:45

我想你刚才说的应该是追boss那篇论文的名字叫叫dream Boots。

Dream Boss是基于我们已有的预训练模型基础上去做fine-tune的一个工作？我去用几张图片或者几十张图片或者到几千张其实都可以了，去给他植入新的概念，去把模型让模型生成他本来不认识的东西，尤其是大家用的最多的第一个方向，一个是学画风，一个是学人脸，就学你自己的形象或者学一些物件的构成等等。

这一些现在我们看到最大的应用确实在model customization上面就怎么通用的模型去做定制的生成，这是现在的一个比较大的趋势。

除此之外我就是各种模态，比如说视频有很多不同的方式，比如用现有的图像模型去拼接也好，还是用视频模型去生成也好，或者说是一些其他的模态，像text to 3D图像，这就是基于nerf的一系列模型，然后甚至有diffusion这种专用的确是模型生成，然后再去做3D match输出的这些应用。

对，我最近开始渐渐观察到，相比于最早开始发布的时候，在各个生产工具的或者说生产力场景下面，diffusion开始，或者说以stable diffusion及其延伸的一系列产品，开始渐渐有了一些位置，然后有很多各种有更多的应用，这是现在的一个观察。

Frank 24:42

Ok我作为用户，我是比如说我们公众号上的一些图片都是 最早是通过midjourney生成的，但最近几个月的图片我们都是通过这个stable diffusion应用工具，文本去搜索，然后生成图片。

这种在Stable Diffusion的discord channel里面还有一个在Stable diffusion里有一个图片搜索的应用叫lexica.art。

Yizhou 25:11

Lexica.art对。

Frank 25:13

它是底层是基于stablediffusion搭建的应用一个图片搜索的场景，我们最近几十个图片都是在上面生成的，发现效果是很好的，你刚提到如果语言比较丰富一点，它会生成的就更准确一些，如果是词语比较少的话，它确实生成的效果并没有像midjourney那么好。

然后然后我在想咱们开发者社区现在是发展情况怎么样，我比较感兴趣，因为因为我觉得Stablity AI最核心的一个，我觉得是开发者社区这一块，就是因为我觉得c端用户应该没什么问题，但我想知道开发的社区大概是现在目前进展是什么情况，能介绍一下吗？

Yizhou 26:03

其实我先说一个观察这个Generative AI，然后stable diffusion社区最大的一个特点是开发者和终端使用者之间界限比较模糊，确实我们会有一些真的，我们可能会说是纯用户的，就基于比如说你在用Web UI或者说是在用一些纯粹的服务，host在一些国内的服务上面或者说是Global的一些服务上面，直接用模型可能是纯用户，但如果你自己拖了模型的权重，然后你自己跑起来的Diffusion的代码，你稍微改一改上面的东西，你只要发过一个PR出来，这都是在社区有贡献，这都已经是有贡献的开发者了，都不单纯是开发者，有很多开发者可能不一定对社区有直接的贡献，还在开发者社区里面。

其实开源项目可能都会有这样的特点，就开发者社区不一定是一个紧密的被管理的存在，我们也不会去做这样的一个事情，我们把自己设为是开发者社区的一员，就Generative AI这个模型社区，Stability AI是其中一员，我可能会希望他成为比较核心的成员，希望他能够驱动赋能整个开发者社区更好的成长，去给大家带来更多的技术，但我不会说我要管理一个开发者社区，which会有一点点问，会有一点点这个怎么说巨头的感觉在里面，但其实不是这样，我们更多的是作为我们自己是社区的一份子，我们可能会希望社区在在围绕我们运行一些它产生一些更多的创新，我们怎么去管理开发者社区，或者说我们怎么去跟开发者社区进行交互，其实跟我们传统的校园社区一样，我们可能会给他们的项目，像我们大家自由的去提issue去做pr然后我们合代码，然后我们去做事，我们去给其他的一些项目去做一些贡献。然后 discord的里面会有几个核心的偏研究者的社区，比如说 eleuther.ai,Laion,CarperAI以及现在我们自己stable diffusion社区里面也有一个开发者研究者专有的频道，以及跟学界和产业界的这种升级。在公司层面上也交流，以及大家去这种比较重要的会议，比如说NeurlIPS，我们的很多同事现在都在NeuralIPS去开一些小的party，然后去跟参会的人去互动，整体来说是一个比较多元的跟社区互动的方式。社区对于我们来说的意义是什么？Stability是社区里面成长出来的公司，然后本身也致力于让社区更好地成长。像我们这些算力很多都是为了开源，不能说很多机构全部都是为了开源项目的投入的。

Frank 29:24

我有一个我感觉咱们Stability AI就是在 Openai或者说在generative AI里面，它是和其他这种社区，你刚提到这几个社区，都是相当是一个联合盟友的关系是吧？感觉是一种互相都是重合的，是这样吗？这些社区。

Yizhou 29:50

我们support这些社区，比如说Laion, Clip ViT-H是我在我们的基础上训练的，训练完了以后开源它也成为了我们的Stable diffusion2.0的这个基础的编码器，是一个共生的关系。

Frank 30:07

Ok我觉得对其他的这种社区，比如我接触的时候，区块链很多社区他们是并不是一种共生关系，就是要么是一个竞争关系，甚至互相排斥的，但是我发现咱们这个社区是比较大家都是就像你说共生，然后重合，大家互相在帮忙这种，我是这样感觉就这种是吧？

Yizhou 30:35

我们其实也观察过怎么说。这个领域之所以能够在一个共识下面用区块链，形成一个比较好的互动，很大原因我们在同一个基础平台上面去做事情。我们在文生图这一件事情来说的话，我们都基于stable的开发，基础模型这边主要就是stability是在做，当然现在也有一些其他的基础模型可以选fork diffusion模型做的也很好，然而是个大一统模型。大家有同一个目标，然后有同一个基础平台，就同一个基础架构，有同一个着力点，那会比较容易形成一个合力发展的状况。

Frank 31:39

 Ok，我大概能get点我刚刚看到社区有朋友在提问，3D资产生成，目前的情况你大概了解吗这一块？

Yizhou 32:08

3d是这样的，我们现在其实我们内部有一些尝试探索，但是现在我们来说应用的话，现在走到应用层可能最大的掣肘有两个。Nerf质量不是大问题了，那时候特别是场景相关的NERF质量可能不是一个大问题，但从纯生成上来说，质量现在还是有一些差距，特别如果是DreamFusion那个路线，就是从diffusion往上走，再走Nerf的话，现在生成质量离直接能投入应用还有一点差距，尤其是它可能对于后期编辑也不是那么友好。

另外一个一点是它的速度太慢了，我们现在生成一个那是要10分钟，其实这个速度如果放在整个编辑的工作流里面，对于三d建模师等等需要去跟工作又去做这种human的loop，我们叫人在人要控制生成过程，然后人和生成过程要进行交互的这一个应用来说，速度还是不够快。现在看现在可能的发展路径需要一点，一个就是质量和速度都是需要有技术突破的地方。

然后另外一个如果技术能突破，我们需要有良好的数据集去建设一个3d文字之间有良好连接，或者3d与其他模态之间能有良好连接的数据集，让AI来学习，让我们能够在上面去搭建应用，搭建模型，搭建在进进一步搭建应用，这是未来可能会需要着力的地方我们在做。

然后其实也有很多社区的其他的开发者也好，还是有其他的公司也在做，应该不会很久，我们自己预期可能明年就会有一些相对能够落地的东西出来。

Frank 34:04

你们目前生态里面你大概能说一些覆盖的应用，或者说利用类型大概有哪些？比如像生成代码或者说文本到图像这种。

Yizhou 34:20

明白，你说的是Stability整个生态对吧？它对生态分几大块，其实看我们官网的话可以大概看一下做我们都有哪一些给我们去比较深度合作的开源组织。

最直接的我们自己自有自己的 stable diffusion，然后文生图其实还有一个我们叫做或者是多模态，我还有一个DeepFloyd也很快就会有一些声音出来。

然后文字方向的话有优势的Eleuther AI，做的是GPT原来做GPT-J和GPT-Neox，然后有CarperAI做的是 instruction GPT，这些都是所谓的文字生成模型，有Laion这核心目的是数据集Laion-5B，然后他们也在训练clip,Laion-5B也刚刚发论文，是现在能够找到的最大的图文数据集，完全开源的互联网图文数据集，这是我们几个比较核心的，大家可能交互会比较多的一些产品。

偏向应用层了，但除了这些偏向应用层的以外，还有一些组织，比如说像我们叫openBioML，这个是做开源开放的 AI for science，我做的是为了科学研究的，为了生物医药方向研究的一些开源模型，这是openBioML在做的事情。然后除了这些以外，我们还有很多individuals是谁来跟我们合作去做不同的模态。

总而言之，大家看到的Stability可能更多的是stable diffusion，但在整个stability里面，真正全职全心全意focus，在这波底譬如设想的人是少数，大多数的人在各个分散在各个方向上面。

Frank 36:23

Ok然后我还有一个问题，你刚提到的文本语言模型之前，像 GPT-3/GP-4 level的这种llm在openAI里面大概有很好的效果,在工业界产生很好的效果。咱们这方面你刚提到Eleuther AI他们做这块是吧？

Yizhou 36:51

对，但是我们可能跟openAI还是有一点点区别，比如说openAI的最终目标就是aigc对吧？就是所谓的通用人工智能，但stability我们并不是说要把aigc做我们的atomatic goal，我们的想做永远是叫AI for the people by the people。

首先你people要能用对吧？像偏创意的这些文本生图等等可能是我们一些重点，但我们会有语言模型，会有语言模型跟EleutherAI合作跟CarperAI合作，我们会去训练这样的相对可能参数量没有那么大，没有到几百个billion，可能几十个billion这样的语言模型。

Frank 37:44

Ok。我理解就是你们计算文本这块的图片这块模型的硬件成本是非常之高了，然后你们比如说几十亿张图片，或者说多大概多多大量的图片量。

Yizhou 38:00

2b的话，我们训练用Laion-2B的子集，就是21倍20亿的图文本，对这是1.0版本。然后再从它里面取有美学的子集，可能就没有几十亿张，可能几亿张这样去分阶段的训练。对，所以训练成本还是会比较高的。

Frank 38:24

Ok。这种这么高成本就是我在想知道别人怎么维持在工业界的领先地位，是因为因为这些大厂他们可能也有这像比如说Meta他们也有这种大概是讲一下。

Yizhou 38:40

围绕开源生态做发展，确实会给我们带来一些在生态上独特的位置，在这围绕它，我们可能会去希望在开源的模型方面更多的去做开源生态的一个基础设施，比如说模型的定制，模型的推理，然后更低的推理成本，以及在社区围绕社区生产出来应用，但是在整个通过整个生态扶持整个生态来实现自己的成长，这些就不会特别straightforward，不会说我卖不会说我close这个模型以后纯卖API，这可能是一个相对看起来比较直接的商业模式，但我们没有办没有这样的选择，我们是在一个开源的基础上，我提提供整个底层的架构，提供底层的计算能力，然后提供定制模型的能力，提供通过这种企业合作等等的形式在做。然后正好看到了群里面提了一些问题，我可以先把后半点后半段就是在国内有怎么样的布局和安排，现在我只能这么说是，我没有国内现在还是在目前这个时间点，肉身在国内的全职员工还只有我一个人。

我们对国内的市场怎么看，会不会有怎样的布局和安排？

不会完全放弃国内，但我们以什么形式来做，然后自己的定位是什么都还是一块是small market。Ok，然后我回答问题，我是怎么加入到stability AI的，我一开始有回答这个问题，我之前在社区里面贡献的一些项目，从一开始的diffusion时代，有有做当时有一个很奇怪名字的项目，接着Kathrine的V-diffuison之后，我拉了一个Fork出来，就是能够画人像的，然后第一幅画的人像，当时太太正好在读一本书叫一个小中文名字，我不知道怎么说，但简而言之就是在一个废墟里的公主的这样一个形象，然后我画出了一张图，然后是当时协议disco第一波能够拿openai的diffusion画出人像的一个社区的成员，然后我拿了这张图，我就把我的 notebook开源出来，当时因为第一张图是 generated your princess，那张图的名字叫做 princess generator， anyway。

就这么从这个项目开始，后面写了一些其他的项目，然后基于Latent diffusion开发了Majesty diffusion，然后当时也是在latent difussion基础上生成效果变得很好，基本然后也在中间的一段时间参与了一些disco diffusion的维护和这个方法的贡献。通过这一些在社区里比较活跃，就顺理成章加入到Stability AI。因为当时社区的大部分成员就是也有很多成员跟我交互的成员是Stability AI的早期的员工，包括Emad本人。

Frank 42:15

Ok。现在有一个Martin的朋友提问AIGC的主要变现模式，这个是个开放问题，Yizhou也可以说一下，我等会可以补充一下，你说这个变现模式。

Yizhou 42:28

其实我们可能要分开来谈。

变现这边我们aigc这个词有一点广，因为就像我们说aigc的时候，我们可能会求出的像Jasper这样的纯文本的模式，也可能会说提到我们现在的这些文生图，也可能会受到生产率工序等等，会有很多可能性。

如果从换一个角度来分，就to b或to c其实都有可行可能可行的变现模式，但我们确实也观察到一些一些大家做变现的时候的痛点，可能做商业服务做to b这一条路径在国外的验证验证的比较好了，在国内大厂的API等等，作为云厂商的服务可能也得到了验证，开开创业公司来做这件事情。

比如说 a我要 a能对多高，可能还是一个开放的问题。那to，c的话，现在看基于兴趣的付费模式，如果能够找到比较好的点，比较好的社区，解决一个垂类的问题，可能还是有一些空间的，但整体上来说，观察下来付费率等等也没有特别的高。

但生产工具垂类的应用，或者是做这种平台生态性的工作等等，还是会有很多机会的。我感觉这个地方想给出一个定论，为时尚早，我们可能还要看一下对。

Frank 44:28

AIGC这是一个产业，应该说是目前的 AI的大规模使用的方向，产业。Stability AI只是它里面的一个平台性的商业模式，类似于像比如像区块链里面公链这种商业模式，其实然后它里面其实还有各种各样的就是一些场景，个人都会有，比如说去除了你刚说的文本生成图像这种，然后还比如说代码生成，就自动代码生成，这也是一个还有一些消费级的这种消费级的自动生成代码，比如自动生成文本，还有自动生成文本的图像，然后然后还有像广告的一些计算广告的这种有关键词广告。

Yizhou 45:22

你看分的主要是模态，可能从另外一个角度上来思考的话，主要是作为生产与工具，还是作为一个娱乐的一个方式，还是做一个其他的什么东西，现在现在可能性确实很多非常多，能看到的应用也很多，这也可能是大家产业最近比较受关注的一个原因，因为至少从我的角度上来看，可能性远远没有被发掘完。

Frank 45:54

主要还是媒体就是多媒体文本、图像、视频还有声音，大概围绕这些上面都有一些各种比如像游戏的电影制作艺术，还有这种都有很多，比如NFT这种 。

Yizhou 46:12

 c端能够感知到的确实是这些，还有一些可能c端不容易感知到的蛋白质结构，药物分子，对，这些其实也是 AIGC， C可能就有一点这个就是多媒体的问这些模态的味道了，但我们一般我们自己说的话，我们就针对AI生成式AI，它生出来的可能不只是媒体文本，这些的可能是蛋白质模型，然后建筑这些可能c端感知没有那么强，但有很多应用可能的一些模型。

Frank 46:48

对c端感知我刚才说的这些这几个多媒体这一块，你刚才提到这个叫在生物学领域也有了，代表已经有这方面的一些工作。我看前几天有一篇文章，TechCrunch报道过的主要在生物学，在化学、计算、生物，还有蛋白质分子模型构建这块，都也用了Generative AI这种技术，然后更多的更广的还可以运用到军事领域，可能各个领域都会用到，大家还有什么问题吗？没有问题的话，我最后问一个问题，因为我看你们很关注在在线教育这一块，在线教育这一块大概有什么一些想法，或者说我看创始人Emad，他说在线教育这一块有些已经有一些应用了是吧？

Yizhou 48:13

你刚才说在线这个词有点意思，它不一定是在线的，但确实是有AI的教育，在我加入Stability之前，Stability AI这个项目,，在早期我们在马拉维有一个投放了一些平板电脑，然后平板电脑里面有 AI模型，然后通过这些去做一些儿童教育，儿童教育就是偏远地区不方面联系网络，可能用AI可能会打开一些可能性。

从现在的角度上来看，现在的时间点我们也观察到很多开始使用Stable diffusion也好，使用其它的这种大型的语言模型也好，比如说基于 GPT，Eleuther AI的GPT：GPT-J,GPT-Neo或者GPT-Neox去做一些fine-tune也好，去做语言艺术教育，然后儿童启蒙等等，或者说给自闭症儿童一些可以交互的方式去探索新的数字治疗的方向也好，这些都是跟教育或者说教育，刚才也提到一点点医疗，或者说一点点健康相关的一些应用，它很多的会在这些应用层，我们会看到很多合作伙伴，很多的社区成员在做各种各样这样的探索，从我们角度上来说，我们做好了基础模型，一定是希望它能够被更多领域所使用的，而且教育医疗应用等等，其实是我们非常感兴趣且愿意去支持的定义。

Yizhou 49:57

然后我看到我看到会议里面有两个问题，一个是我的工作focus，哪个方面，我主要focus在Stable diffusion的推理，推理方法推理要架构我们自己的platform的搭建，这是我的focus。然后另下一个问题是很多内容不能够直接投入现实场景使用，未来可能吗？如果有的话多长时间能是会实现？现在有很多已经进了真实场景了，只是说我们能够适配多少的真实场景，这个场景一定是逐渐的扩大的。从文生图这个角度上来说，如果是做比如说我们经常可以看到现在很多公众号开始用了，最早可能是和菜头，然后现在有很多公众号开始说，我每天的配图我不找了，我就是用stable diffusion生成一下，这已经算是进了现实场景，但真正作为进入了一些要求比较高的见识场景，比如说我直接进到平面设计、广告生产、工业设计，我进到游戏的立绘，进到建筑的外立面的一个效果渲染等等，需要一些定制模型来做这件事情，定制模型基于平台模型，其实现在有一些定制模型已经出来了，前两天看到一个比较有意思的应用是美甲，就基于stable diffusion进行了fine-tune，然后去设计美甲图案很有意思。

就这一些经过翻成的模型，已经有很多场景可以直接适配了，还有更多的一些复杂场景，可能需要把模型放到产品里面去跟工作流去做深度结合，去做更多的产品化的思考，才能够更好的适配。不会很久，像平面的工作流，其实明年我预测应该就有一些比较好的工具能出来，但再往后走，像3d视频这些可能会需要一点更长的时间。Ok然后我就顺着回答下来了，我看问题开始变多了。

跟美国的商业落地场景有差距吗？是付费的区别还是技术区别？

有差距有。区别可能来自于三点。付费是一个付费习惯，是一个我们Saas服务以及to c的订阅服务在国内一直活得都不是很好，我们大家都知道付费习惯上确实有一些差距，有一个回升，然后。这一部分来说确实会给国内的AIGC项产品，尤其是直接to c的产品带来一些困难。

然后第二个我想提的是社区组织形式，其实像社区类的产品，明日之类这一类的产品在国内replicate是有一定难度的，这难度来自于很多方面，一个是我们对社区的认知形式跟 discord的形式是不一样的，另外一个是来自于内容，它毕竟是内容产业，就会有一定的要求，我们多年内容产业要求会比较高一些，这也会带来一定的挑战。

第三点上，他说技术上的区别倒其实没有那么大，我们很多尖端的技术也是国内的大厂写的论文里面和大量探索里面建造的比较大的;对，然后技术上的区别，然后刚才提到其实跟大厂技术差距没有那么明显，特别是在产品层，它其实很多产品国内产品做得蛮好的，呈现结果差距在几点上面，一个是其实国内的数据集倒是真的有一点差距，相比于Laion而言，在中文领域我们找不到一个可以跟来用。

相比Laion-2b并驾齐驱的世界级，可能连1/10的Scale都不到，这就会有一个是在同等质量前提下，然后即便是同等的，即便是有一些数据集，它可能在质量上面在文标注和文本相关性上面会有一些区别，然后倾向性也会不太一样。这会确实对一些呈现结果产生一些差别。技术方面的话有一些应用可能并没有做很深度的调教，没有很没有在 Inference pipeline上面下功夫，可能也会导致成结果有差距。

但整体上来说，这个领域整体的发展有点基于开源的模型在的发展速度在往前发展的意思，所以大家都不会跟开源社区之间有太大，现在已经开源的开源社区的内容有太大的区别，太大的差距，这也是开源的一个魅力。

然后我接着下来 AIGC的视频生成，如项目的能力如何，这个视频生成这件事情分几种方式，图片拼接是一种，然后基于现有的视频经济是一种，然后直接出视频，像Phenaki这种又是一种一个说拼接的这种方式，现在我们大家看到的, 比如D forma，deform diffusion aaah，或者是。

现在大家在社区里面很这样能看到一些生成视频，这是一个它的效果怎么样，它可能会比较适应特定的应用，比如说做个MV，做个风格video什么的，但你想让它去生成一个讲故事的视频不太现实，又有挺大差距。

风格视频风格化这两天可能比较火，我看到很多国内产业跟进来做这件事情，风格化其实能力完全ready，就是产品怎么做的问题。

第三个是真正有get的地方，怎么从0开始生成视频，我们就说的简单一点的话，它是在图片生成上面加上了时间维度，但说的复杂一点，它可能要考虑很多前后的consistency，以及一旦视频动了起来，我们人对它的感知变得更加的细腻更加细致，你很难去接受其中的一些瑕疵，所以对整体的生成要素质量会更高。

这些目前还没有很ready，但我们也在努力，社区很多成员也在努力，我们会希望说明年能看到一些东西，但应该不会是从0开始做电影这种。

前两天看到了一个短视频，博主说明年我们就可以看到AI生成电影了，我感觉至少跟大家现在说的电影有差距，明年不太现实。然后再下一个问题是有项比较好的项目或公司吗？开源项目的话拼接这边deform做的蛮不错的，我们自己有一些思考，我们自己dream studio也会在很快会有一些产品出来。

然后视频风格方面。视频编辑方面，runway其实做得挺靠前的，纯视频生成方面现在还没有产品。On，device的influence进展怎么样，这主要是社区在做，然后我们其实看到最新的一些已经可以在iPhone上面跑了， iPhone上的跑你可能要忍受一下，考一下手，可能要暖手保个三四分两三分钟抛出一张图来，没办法受到算力限制。但整体来说边缘计算等等的，随着模型优化，随着硬件的进步，应该肯定是越来越好的一个状况。

现在消费级的设备，不要说移动设备，如果是PC笔记本等等，现在几乎都是可用的了，因为不管是intel也好，还是在AMD上面也好，还是Nvidia上面也好，Nvidia就不用说直接上库的，都有很好的方案，在手机上面iPhone有办法可以跑。

Frank 59:06

你提到这里我有问题，苹果他们是有计划，在苹果他们好像他们的芯片好像在下一代就可能会实现这种功能是吧？

Yizhou 59:24

现在已经可以跑M1，M2是有办法跑起来的，而且并不是很慢。

Yizhou 59:32

随着他们进步，他们会往里面加更多的神经网络单元去做这种专门是与AI推理的架构肯定加入了以后效果会更好更快。

Frank 59:44

我听说苹果好像在明年好像就要推出来这种全面的它的MAC电脑和iPhone手机，然后我估计他就是全世界最大的AI公司了，如果他能做出这种，他好像应该近两年就能实现，应该。

Yizhou 01:00:00

我会比较持保留态度是这样的，我不能说在一个如果应用端做得最好，就是全球最大的AI公司，因为AI公司你需要有几个，也需要有几个，你认为几条腿不能缺，应用可能要做,然后research要做等等 okay。

明白，然后我看到下面说用矿工的矿机来辅助AI训练模型或者帮助模型运行在商业上可行吗？看是什么矿机，如果你的矿机是FPGA的可能有点悬，但如果你的矿机是GPU的definite可以，而且我们已经看到了说有一些矿机现在已经被转成了AI训练的矿场，或者说AI推理的矿场训练的可能还没有那么多，因为训练多多少少有一些要求，可能并行的架构没有那么好搭，特别是矿机的结构，其实它之间的通讯带宽不大行，但这个推理来说是完全没有问题的。训练在某种层某个scale下面也没有问题，但是要太大的scale的话，还是需要一个比较好的推计算机群才能做。

Frank 01:01:15

之前好像也就是Emad的他们好像也提出要买这个收购一些以太的GPU矿机来做推理，找一些之前挖以太的矿机公司，以太从pow转POS它有些矿机就很多矿机就没用了，它就可以直接转。

Yizhou 01:01:36

 AIGC是一个很好的可以承接这些计算资源的方式，因为它确实需要计算资源，然后他对他计算资源在推理的角度上来说，他对计算资源的要求有没有那么高，你只要有算力，对太宽的要求，尤其是卡间通讯的要求要没有那么高，现有的撞击完全撑得起来就ok，但训练训练相对难一点，因为训练确实是需要比较多的这些并行和技术架构的东西。

Frank 01:02:05

Ok正好。

Yizhou 01:02:06

现在时间点不是不能做会很慢。Ok好的。

Frank 01:02:10

我看时间也差不多了，要不今天就还有一个问题。

Yizhou 01:02:20

Generative AI的2b的工业应用还有哪些机会和挑战？我们看到的一些需求，比较有意思的工业在工业设计上面有一些需求，不管是样稿也好，还是在这些嵌入到设计工作流里面去做一些复杂的东西也好，都看到了一些在设计领域的创意设计领域这个很直接，我们可能暂时先不提，因为太直接的就跟平面设计图片这些相关的游戏等等这些都属于创意公司流的，我们暂且先不提。换个角度来看。一些其他的我们现在依然在训练中或者还没有看到的一些模型建筑，然后模块化的设计，偏设计领域，生物医药就开始已经脱离上市设计领域了，化学乃至地球仿真，天气预测等等，这些都是可能的，未来生成式模型能够发展的方向。挑战是什么？其实现在我理解到挑战更多的是模型和应用场景之间距离还是有个gap，这个gap可能会需要很多的小的或者是中等中型的企业去在这种技术和服务之间去做一个拼合，能够去给到更多的需要的企业提供服务，我可能会需要很多开发者走进来填补弥补鸿沟。

现在在技术和特别在b端这个领域，在技术和实际应用场景之间，现有的技术设计应用场景之间，还是有一些不管是产品化也好，还是数据也好，还是服务也好，这些服务这些鸿沟来等着大家来填，当然也会有很多坑。

Frank 01:04:23

好的，今天要不我还补充一个问题，是因为这个技术比较新，会涉及到很多法律的一些各个国家法律的一些挑战，我认为是对不对？

现在是这块，比如说像每个地方您介大概介绍一下像美国欧洲那边对这块是怎么看的？

Yizhou 01:04:46

法律这个问题会比较敏感，我们不会给一些法律建议，或者说对现在现有的一些法律进行一些比较直接的评价。但整体上来说，我们会合规还是蛮重要的一件事情，比较重要的。

现在看到2.0模型里面就移除了很多，我们在数据集里面移除了nsfw不适于工作的内容，整体上来说更干净一些，然后其实大家在使用的时候也能感觉到，可能更能够做出自己想要的东西，不太容易走偏，然后也可能更适用于很多服务的场景，可以考虑投入使用，它不会出现surprise的东西，法律监管一定或者会是一个挑战，这些挑战我们也在积极的去应对，也其实包括在国内如果去做一些服务的话，法律和监管肯定也是一些我们需要去考虑的东西。稍微延伸一点就是的话版权也是一个正在很Active就很动态讨论的一个话题。

Frank 01:06:01

版权这一块。好的，我今天时间差不多了，反正好，非常感谢Yizhou精彩和专业的分享，大家也休息一下，有什么问题可以在我们社区微信公众或者discord群里面可以提问的。好，

Yizhou 01:06:24

感谢谢谢CFG给我们这样一个分享的机会，好的。

Frank 01:06:28

反正之后我们可能还会考虑可能因为这次是中文用户,以后可能还有英文的分享，今天感谢大家。

Yizhou 01:06:38

好，谢谢拜拜。

Reference: CFG Labs YouTube Channel

架构设计，和其他设计一样，比如建筑设计，美术设计，艺术设计，讲究极高的审美，独特创新，以及可实用性。聪明的人很多，但是不是谁都能设计出world class 的工程作品。那么如果没有这种天赋，一条可行的路就是学习优美的设计，临摹大师的画，学习不同作家的写作风格，最后变成自己独树一帜的风格。就像从写的第一篇文章开始，并不是为了吸引流量，搞粉丝，更多是帮助自己梳理逻辑，养成定期输出的好习惯，顺便吸引志同道合的小伙伴。

以太坊的执行层创新完全没有止步，从最新Optimism发布的（OP stack）就可以看出端倪（具体我们会再下一篇介绍），当然还有包括zkSync, StarkNet, Scroll等，如果开发者能够设计一个开发平台，实现聚合功能，也是一个不错的方向，这意味着用户无需再在不同的执行层做选择，提供一个真正意义上的开发者基础设施服务，提供更契合应用端（比如交易，游戏，社交）的API,合约开发工具，链的可定制化，甚至实现链和链之间的轻松通信，让以太坊的应用开发者也可以享有Cosmos 的App chain Thesis的功能和主权，那么何乐而不为呢。不过想要拉拢以太坊上应用的工程设计早就有cevmos 这样的结算层，不过进展并不大。Cevmos 是采用了Celestia, Cosmos, Evmos等模块化架构方便以太坊应用开发的开发者平台，通过Rollmint （用于Cosmos 生态内的Rollups SDK 工具，降低Rollups启动门槛）, 部署Evmos based chain (Cosmos SDK 链内置了EVM) 作为Celestia上的Rollup。可以理解为限制性，仅为Rollups设计的结算层，功能仅包括提交证明，Rollups之间转账等。而相较于以太坊这种通用性的结算层（Rollups 或者non-rollup 的应用），号称可以更为高效的，精准的服务一篮子Rollups，避免了不必要的与智能合约应用进行的区块竞争。当然最核心的叙事还是能够吸引像Optimism， Arbitrum 等这种自带众多核心dapp的执行层（mono rollups）迁移。尽管cevmos也一再强调能够提供frictionless的开发者迁移体验，让用户可以重新在Celestia的app-specific (recursive) rollups 环境中实现合约/软件部署，但从monorollups角度思考, 迁移本身对于其的价值有多大? 乌托邦理想国的设计似乎也需要从人性出发，换位思考，可能设计出的东西可用性更强。所以To B的生意，核心还是要和这些执行层，或者dapp生态弄好关系，如何为别人赋能，甚至让他愿意与你分一杯羹，这就是创始人的水平了，难度肯定不小。毕竟在一个人才济济，高竞争的赛道，想要拔尖对团队的素质/能力/韧性要求很高。

以太坊架构

智能合约rollups的架构比较简单，本质上就是在以太坊上部署了一个争议解决的智能合约，形成双向最小信任的（trust minimized）桥，这里双向指两方面 （1）以太坊上桥合约负责让链上轻节点监督rollup的进展，比如接收区块头，处理欺诈或者有效性的证明，交易状态（轻节点接收部分数据，而全节点接收全部数据）2）而rollups 本身也帮助验证以太坊。(这里和Celestia 不太一样，目前鼓励rollups 全节点/轻节点在Celestia 上弄个轻节点，而且还要连接一个诚实节点。但是Celestia 并没有运行反向轻节点观察rollups，如果这样，那就是IBC的双向桥方案。当然目前这样做的思考是Celestia觉得如果你的排序器作怪，那么rollups 肯定没有人用，如果是明显作恶，那么通过社会共识，直接惩罚你在Celestia上的抵押就行了，无需再弄个自动的东西，比如合约。在他们看来，社会共识大于code, 大于token, 大于节点，人是核心。这也和我们的理念非常契合。当然我们下文会讨论Celestia团队的双向桥设计方案思考，不过目前还比较早期，因为双向桥的设计会增大Celestia的设计难度，以及节点的overhead cost）。这里的设计也结合了cryptoeconomic的惩罚，如果operator 没有提交正确的交易，那么他质押的钱就会被slash掉 （或者staking等方案），本质上还是提高了作恶成本。链上智能合约解决欺诈证明这里有个问题，尽管提交和仲裁过程很快，但是L1 合约收到证明需要过程，而且也很可能会遇到L1的审查。这里就需要引入社会共识。而这个问题在sovereign rollups (Celestia 的环境中）并不普遍存在，因为欺诈证明是通过P2P 流言协议传播，因此在避免了L1的审查风险的同时，也可以大大缩减这个挑战期限，使得轻节点可以完成快速的确认。

在这个架构中，以太坊扮演了共识和DA的双重角色，并且根据桥合约最终确认有效交易（桥合约会过滤无效交易）。Rollups的全节点和轻节点并不能和其他L1一样，根据本地的节点决定fork choice rule 或者交易有效性规则，还是需要依赖于以太坊轻节点的信息源。所以本质上主链的规则还是L1说了算。其实以太坊也可以运用类似IBC的双向节点的方式，不过他们没有采用也能理解。以太坊总有一种官方指导范式的感觉，对于其他的方式，不会主动去采用接纳，比如以太坊基金会没有给你背书，那么你的项目难度会很大 （Hongyi W3 hitchiker）。当然既然存在智能合约就会存在智能合约风险等部署风险，而Celestia就没有引入任何执行环境支持这类的运用智能合约的桥，不过未来是否会引入，通过什么方式引入，如何解决这些问题，我们会为大家一一解离。

除了智能合约Rollups， Starkware 为代表的L1-L3的设计也成为了很多新项目的首选架构。比如Solana VM模块化项目Eclipse, 除了解决争议的结算层以外的设计（L2）, DA& 共识 （L1），其L3层引入包括独立费率市场，高TPS，共享工具，开发者社区，可支持的代币标准等功能。而StarkNet 本身的设计中，L3的功能包括独立，隐私以及可扩展性。当然除了拥有自己的费率市场，完整的区块空间 （1% in Ethereum）以外，app specific rollup (recursive rollups, 或者叫appchain whatever) 的最终普及还需要很多因素的助力，比如是否有可行互操作性协议（桥功能）实现intra-cluster 以及inter-cluster之间的通讯，比如是否有足够的流行性共享支持等。

较于Cevmos的设计，StarkNet (L2)的结算层并非加以限制，而是一个类似于以太坊更为通用性的平台。通用性，也就意味着有更多的设计空间，和可组合型。同时，Cevmos 更是严格意义上Celestia 生态主打的Sovereign Rollups，而StarkNet 还是以太坊中Smart Contract Rollups中的变种。在StarkNet 设计中，比较有趣的是L2的设计，L2的验证合约可以将众多合约L3的有效性证明聚合为一个证明，验证这些交易，从而生成一个最终的交易，发布到以太坊的链上合约上。这种设计一方面提升了以太坊的验证效率（验证聚合N条Proof的时间，和之前验证单条proof的时间相当）同时也为L3带来了更多的设计优化空间（比如DA层的链下设计）。这里我们不妨与zk bridging 的设计做些对比。zk briging 是一种终极解决方案，或许我们需要一种更为扁平化的设计方案。这里我们以SR（soveregin rollups 有自己结算层的rollups）来举例。如果Rollup 1 想和其他Rollups搭建最小信任化桥，他可以怎么做？这种设计引入了所谓的聚合服务提供商的角色，相较于SR1提供结算层，并且在其他（n-1）Rollups部署轻节点，接收（n-1）条证明的方式相比，聚合服务提供商大大减少SR1本身的工作压力。服务商不仅负责在其他SR上部署轻节点，同时负责接收SR2-SRn的证明，并且在链下实现多条证明的验证，并且聚合生成证明，并且最终发布到SR1链上。链下操作的操作又大大减少了成本，同时避免了像Starkware中高度依赖流动性结算层（L2）做验证，或者桥功能的问题，大大减少了延迟性问题。终极方案enshrined  rollups 留着下次介绍。

Celestia 的主权Rollup

刚才上文提到，相较于智能合约rollups,主权rollup 有自己的客户端结算层，而无需通过以太坊上的轻节点决策主链。本质上你可以理解为就是一条L1，全节点和轻节点通过P2P流言网络下载区块数据，同时他们在Celestia上的轻节点也用于追踪数据的有效性和排序。而L1的fork choice rule 以及交易规则等也取决于本地验证节点。

这里欺诈证明和有效性证明的传播方式也是通过P2P，而非智能合约的链上确认。轻节点确认状态转换，而共识节点确认有效性。好处，上文也提到了，轻节点的快速确认，不必要的挑战期，以及P2P网络中更为优化的同步延迟性。

另外, 目前Rollups 与Celestia并没有通过双方最小信任桥连接。原因上文已经提到过。其实我很喜欢主权Rollup，但是深挖之后，发现过于理想化，因为不认同不可变更的L1代码/合约100%解决问题的能力，所以希望更多的通过社会共识/硬分叉解决问题，比如交易的有效性法则，比如分叉规则等，理解起来非常抽象。以往，硬分叉(ETC和以太坊之间的分叉）被认为很稀奇，未来会不会成为一个feature， 而非bug。当然理念归理念，这种情况下如果要在最小信任桥的基础上实现起来的工程复杂度非常困难，如果一个链硬分叉，那么另一条链也需要硬分叉，那么上面的应用怎么去应付这些？当然这只是一种桥设计，这里也带来更多桥设计的空间，比如可更新桥的设计。有兴趣的同学可以再去深入研究下[https://blog.celestia.org/sovereign-rollup-chains/\](https://Sovereign rollup chains)。

这里我想重点讲的是动态和静态桥以及基于他们衍生出的可升级桥。Sovereign Rollup/链的升级通常可以通过多签，链上治理，或者SR中强调的硬分叉来实现。而不同链之间如果要实现互操作性，那么肯定需要引入桥（不管是信任桥，最小化信任桥，IBC，甚至是内置桥等，当然未来在原子互换的基础上，甚至不需要桥），比如可以解读双方的状态机器，以及欺诈或者有效性证明。一般情况下，如果两条链都属于EVM, MOVEVM， 等智能合约，那么双方之间的状态机器代码可以直接添加（当然可能会用到解析智能合约比如SR1是evm chain, 想了解move 或者sealevel SR, 那么就需要引入move 和sealevel解析器 ）。这种无需引入社会共识和治理等的桥接过程，我们称为动态桥。通过解析智能合约就可以实现。

但是如果Rollup A 是基于Cosmos SDK开发的，而非智能合约环境，那么A和B的桥的搭建就需要引入硬性升级了 （比如Celesita 中的EVM Rollups 和Cosmos Hub）。这种桥也可以通过IBC轻客户端的方式实现。那么上述的桥如何实现升级呢？

假设RollupA现在需要硬分叉了，那么B 也需要更新节点 （比如谁来更新，除了通过轻节点 （P2P settlement），也可以有其他实现形式，比如硬分叉，或者链上智能合约 (onchain settlement）

在动态桥情况下，1）A链的节点可以帮助更新B链上的轻节点，因为桥的交易是通过一个社群/团队控制的，我们称为是信任桥。2）当然B链也可以自主更新。这取决于相关的治理和经济安全性，可信任桥 3）最小信任桥的设计中，智能合约可以解析rollup状态，并且验证有效性。类似于以太坊中的智能合约Rollup。而对于静态桥，由于他们是内置的合约关系（上文提到的那种情况），那么B链也需要硬分叉，不可行。对这块有深度研究的同学欢迎一起讨论。

主权结算层+recursive rollups

本质也是主权rollups的细分。这种设计是我觉得相对可行的方案。zk-bridging主宰的SR 世界很酷，不过有很大风险不会成为现实，或者我们说很难在短期成为现实，那么短期可实现的方案就是通过叙事rollups as the service 的新一代结算层，来摒弃以太坊这个老古董。和Cevmos的设计理念类似，这种主权结算层上搭建的是各类app-specific rollups，这部分rollups 更强调feature, 而非主权，没必要单独弄个主权链出来。但是相比于智能合约应用，拥有独立的费率市场，区块空间，而相比于Cosmos App 链，也不需要一开始大费周章的去搞自己的节点生态，那可有钱有势力的金融家玩的丛林游戏，我们做好产品，吸引用户，没必要分散太多精力。当然高性能，低gas 费率，聚合功能，灵活开发等是千百年不变的真理。没有这些，你怎么去吸引dapp 开发者？这里的设计简单，可实现，避免了冗余复杂的桥设计。

目前比较桥的主流方案认为可以归为四种，从安全程度低到高分别介绍：

1）社区主导的桥，这种一般是多签的设计，比如委员会成员有10个人，那么6个人签名代表交易通过。如果5个人勾结打算停止签名交易，那么就停掉了。如果六个人要偷钱，那么资金也没了，当然你可以引入一系列惩罚机制。但是不可否认这并不是终极解决方案。因为少数人存在很强的作恶可能性。这也是为什么rollup 更新目前有少数控制私钥引发的社区持续激烈的讨论。

2）轻客户节点

有种观念， IBC也是社区主导的桥，当然这个社区更大了，更有威信了，都是拥有大量质押资产，质押比例的大节点，当然人数也更多了，Tendermint 100-150个节点，但还是那么一帮人，取决于桥连接的两条链的安全，而这个安全由链的大多数诚实验证节点给到我们。所以不可否认IBC 的安全还是这些节点掌控者，但是你可以通过提高足够的质押分配比例来减少勾结问题，你可以通过质押足够多的币来保证网络的经济安全。当然从某种意义上讲这比第一种方案要安全。

3）第三种可能更适用于rollup的环境，考虑到rollups 并不会考虑引入大量的节点集，那么第三方的桥服务商可能很乐于提供这种服务。比如说类似于Axelar 或者Polymer 的App chain节点可以参与进来，通过跟踪结算层rollup的状态，通过结算层上部署的桥合约（多签或者阈值加密合约）实现资产的从结算层到这个hub的流转。

4）第四种最小信任桥，这种类似于以太坊的智能合约Rollups，验证状态转换的欺诈/有效性证明以及DA。当然还是会有智能合约的部署风险。上文也提到Celestia并不支持这种智能合约环境，但是如果将Rollup以及桥的设计嵌入在Celestia中，是可以实现这种two way 最小信任桥的。对于Celestia来说，也会引来额外的工程难度，也给共识节点和非共识节点带来了额外工作量，尽管在fraud/validity provable结算层的环境中，这种工作量也是最小化的。当然你还需要下载额外的结算层数据。相比于以太坊的state root 等效的zkevm rollup, Celestia 这种方案或许也是一个不错的技术突破点，甚至可以解决其价值捕获，资产流转的根本性问题。

Reference

https://forum.celestia.org/t/an-open-modular-stack-for-evm-based-applications-using-celestia-evmos-and-cosmos/89

[https://blog.celestia.org/sovereign-rollup-chains/\](https://Sovereign rollups chains)

The Complete Guide to rollups Delphi Digital

[https://forum.celestia.org/t/considerations-for-a-two-way-bridge-to-celestia/355\](https://two way bridge)

简介：

现在市面上各种乱七八糟的rollups,啥名字都有，为了分类的同时，也赋予不同的rollups的场景以及在下一个cycle中的叙事背景，当然你可也以理解为是可扩展，高性能的核心工具和媒介。以太坊社区目前分为几大派系。智能合约Rollups 更为安全，但是在治理/中心化和smart contract 风险方面岌岌可危。Enshrined Rollups 本质就是以太坊Sharding之路梦断以后的又一个产物。好吧，既然共识，DA，执行分片效果不理想，那么就用模块化的理念解决，将执行层分片就好了。本质上这是一种社会共识的硬分叉产物，以太坊基金会也没什么权限。不过这类项目要得到基金会的支持当然更好，当然Geometry Funds，大V Justin Drake都可以关注，他们还是一帮引领以太坊前沿技术风向的一帮研究员和风投基金。Celestia 则主打sovereignity communinities。不过从目前社区的发展，反馈和某些核心成员的文化态度上，的确一定程度上限制了项目的发展，不过不可否认团队干活还是很蛮力的，不过最近的一系列的事件都告诉我们先学会做人，再做事情，更何况相比于以太坊这头cash cow 来说，Celestia目前只是一片孤岛，要真正实现价值捕获的路还很长。相反他的竞争对手Eigen Layer 从早期就获得了以太坊基金会的支持，钱是一方面，更多是顶级开发者，研究员和生态的支持。

以太坊将共识，DA，结算等做了一篮子买卖，成就了自己的商业帝国。和其他的公链一样，作为用户，你如果在以太坊上任何dapp交易，那么大部分费用你可能要贡献给以太坊的持有者。当然，收费，贵也有贵的好，高费用给你带来了安全保证，这么多可信节点保护着你的资产和网络安全。以太坊运行这么多年，试问有多少次宕机事件？我不是以太坊Maxi, 我喜欢Modularism这个词。以太坊生态前沿技术值得学习，但我相信下一个Cycle 会有新的L1出现。新的L1也可能是别人的L2，或者也可能从其他方面进行突破。以太坊最先是全节点的概念，不管是最近的danksharding中的弱无状态，还是enshrined rollups， 都开始将全节点变轻的趋势，试图解决disc I/O, 存储以及计算等问题。所以我不太纠结这个轻和全的事情。但是模块化中数据可见意味着任何人可以从上传的区块头数据中恢复状态，通常可以理解为是轻（or全）节点。而共识相较于验证ETH中的验证共识，这里是对于交易排序，数据相关的共识。同时在单片链中，状态和数据可见是类似的概念。模块化中还是存在一定差异，并且在不同的网络进行存储。数据可见更多是强调历史数据，以bytes为单位，而状态则更强调的是状态增长的概念，和执行层和计算息息相关。同样的， Celestia的状态和以太坊上的状态也不是一个概念。一个是交易执行前后的状态，是存储在默克尔树上的，而Celestia是其他交易存储的状态当然，本质上状态就是交易数据的哈希。结算层就不用多说了，未来的L1，主要验证交易，处理trust minimized bridge以及解决一些争议 （interacitve fraud proof or non-interactive fraud proof 这个话题很有意思）

架构方面的话，我觉得目前大部分的项目可能比较赞同1）执行层面的分片，采用单独的结算层 2）当然也有像Fuel Labs 从fraud provable smart contract rollups 做起，但是目标是星辰大海的L1。其实际上设计更灵活，你甚至可以理解为是有自己独立语言，虚拟机，编译器，等一系列开发工具的真正Layer1。不过我认为优美的设计应该是基于一定的基础做迭代，而并不是将一堆东西组合起来，尝试新概念。简单的设计就挺好，那么复杂，你确定开发者真的会用吗？当然还有些不温不火的，选取不同结算层和DA 分开来做的执行Rollps,例如Validiums, Celestiums， 我觉得这类噱头大于实质，更适合长期发展的还是第一种和第二种。

底层构思：

目前来说以太坊最大的收入还是来自执行层的交易费用，结算层收入主要来自于一些状态承诺，比如我验证了完成这笔交易以后的状态。DA层目前主要是收取Call Data的费用，在以太坊之后的路径中也很快会改为data blob这种新型的数据结构。Rollups除了通过自己定制化，灵活的各种算法以解决数据压缩的问题，而且还可以通过延迟出块解决，比如我并不需要每个块及时进行链上验证，可以等到数据足够多了我再进行压缩，效果很更好，当然从用户角度思考，压缩成本是一定的，那么多笔交易，意味着用户分摊成本也降低了。当然trade off 就是延迟性的问题，不能得到及时确认。所以通常情况下，我们可以理解当用户发起一笔交易以后，中心化的设计 （StarkNet中Sequencer 可以立即发给用户pre-confirm），让用户知道交易已经大差不差的确认了(学术定义软确认）。当然Sequencer 有作恶的可能，虽然不能censor 你的交易，但是可以乱排序，而且在现实生活中，Sequencer的是超级计算机，可以选择聚合和重新分配资源，所以作恶的成本很低，这也是为什么市面上各种Decentralzied as the service的项目出现了。

目前的话DA的带宽问题有望在接下来的Roadmap中解决。带宽，无非和计算，区块大小，网络资源，存储，硬件相关。EIP4844 和Dankshariding 我们之前也学习过，以太坊扩容终极解决方案 - Danksharding （一）和以太坊扩容终极解决方案 - Danksharding与 MEV设计（二），不过之前的文笔很晦涩，关键技术不理解的时候，其实写出来的东西都伤感。时间过得好快，一转眼都半年过去了。按照目前以太坊的区块链容量100KB, (90KB call data + 10KB), 那么EIP4844, 估计还可以扩展10倍 （1MB=1000KB），Danksharding 可以扩展160倍，具体数据怎么样还得看之后的实测数据。而可实现的DA带宽速度也可以大大提升（83.33KB/s in EIP4844 vs 0.23KB/s for ORUS）不过可以肯定的是，随着市面上频频不断的DA解决方案，以及DA扩展的可操作性（轻节点越多，区块大小越多，线性增长）未来DA可能不会像今天一样作为一个问题/科研方向拿出来说。反而越来越多的项目开始试图关注Rollups执行层计算，限制执行环境还带来的潜在状态爆炸问题。当然最常见的办法就是怎么解决以太坊的扩展问题 （通过L2链下计算）就怎么解决目前L2的问题（L3链下计算，甚至链下DA，不过需要引入安全假设）。像Fuel Lbas则则认为通过UTXO试图解决根本的状态问题 1）通过state access list 确定交易dependency 2) 可以确认交易touches的账户，并且执行前匹配dependcies 1）2) 就是说我们并不需要以太坊账户模型中的一些状态数据，这些交易本身的数据我们就可以进行匹配并且进行关联，而以太坊并没有非常严谨的state access list, 这也是一个问题。Solana就是在这个方面进行了优化。3) 相比于以太坊的single instance (这也是目前以太坊最大的扩展问题根源之一），单核，单线程，无法并行计算的，Fuel 可以实现多核，多线程的计算问题。当然还有很多其他的方法，可以关注下Optimism Arbitrum以及ZKP的进展。当然EIP1559的引入，也可以实现更高的价值和状态隔离，因为DA 和结算层会有自己的交易市场，并且费率进行动态调整, 并且也有助于缩短交易的等待时间。Eigenlayer 我并没有更为针对细节去研究，因为他只是众多DA中的选择之一，以太坊生态需要他这样的玩家去承载新的执行层和和app-specifc rollups。而且我也很欣赏其融资策略，相比于大资本而言，似乎有实力的个人投资人，社区更能帮助项目的成长，I am not anti-VC, 但是纯投钱，做研究的VC 模式需要被颠覆，这是不可逆的趋势而已，没有人可以改变。

Celestia 这块，目前最大的疑虑无非就是价值捕获的问题。我们算笔账，根据Defi Lamma 上最新数据，我们了解到以太坊上的锁仓量249亿美金。

以太坊上的质押金额183亿美金 （总市值1400多亿美金），那么如果你要攻击，肯定还得去市场上去购买资产，那么肯定会造成很大的价格波动，所以攻击成本还是很高 （当然看到报告说Security Ratio 是20，不是特别理解这个数值的由来），不过可以肯定的是，以太坊可以算是一比较好的价值捕获资产，real yield, low inflation, 稳定，较低的预期回报，比那些以上来高yield，甚至通过高yield造成暴雷的项目，让用户、投资者更为安心。当然还是要看实力。除了P/E, P/S这些去衡量网络的一些实际收入, MEV的传统矩阵， 还有一些可以关注的数据，比如开发者活跃度 （Electric Captial,Geometry  by Aztec 都可以关注），Network Value to Transaction （网络价值/交易）, 用户日活等，包括上文提到的增发比例以及速率， 比如Monetary Equation of Exchange M=PQ/V等。对于以太坊本身的价值增长是无疑的 （over longer horizon）（从0-千亿美金市值）当然也离不开其执行层的价值捕获，以及通过通胀激励（security budget），燃料费调控等手段进行的货币政策调整。

价值捕获：

Rollups 有哪些成本，首先他得支付给L1 一部分费用，我们可以称为L1 Publication Fee (现在市面上DATA Publication 代替数据可见的名词也出来了） 目前大部分是Call data 费用，这部分和数据大小/活动有关，所以你可以理解为变量数据，而且ORUs 提交数据的时候还会带个签名，不过OP最近准备将ZKP加入到他的Fraud Proof 中，应该是计划将有些签名的地方，只提交相应Proof （聚合签名用Proof覆盖），其次就是一些state commitment,状态数据等固定cost。当然还包括一些L2费用， 比如L2 Congestion Fee, 这些都和网络的拥堵情况息息相关 (L2运行成本也是一块）。上文也提到了很多优化空间，比如数据压缩的算法，比如Nitro  (Arbitrum)这种提高可扩展性，降低gas 的rollup stack 解决方案，当然还有将L2 区块在L1运用非合约进行存储的方法等。

随着通胀率的降低以及PBS 上线MEV等方案的优化，越来越多的链现在都将未来网络安全的收益（security budget）的重任放在了MEV上。这个不难理解。在以太坊2.0中，PBS的出现致力于制衡单方的排序带来的front running, sandwich attaack 等作恶行为。理论上，不过Seachers(发现机会的套利者)会把交易bundle给到builder， builder会把bundle组成的区块再给到区块生产者和验证者，而不管是Builder，还是Proposer, 都是按照first price auction，价高者得的原则，这逼迫大部分的套利者不得不把竞价提高到利润临界值，所以最后还是L1，或者是L2 （未来的L1）捕获最大的价值。crList的设置，再一次制衡了Builder 区块生产者的权利，竟然所有节点都能看到Mempool,那么我（proposer）可以将应该添加的交易添加进去这个list，但是在正式交易添加的过程中，proposer只能看到winning bid 对应builder 提交的block header，并不能看到block body。这导致很多现实问题中invalid 或者恶意交易的产生，所以Cosmos 出现了跨链MEV 协议的解决方案。同时，跨链原子这个方向也出现了一些不错的团队，我们将在之后的文章中给大家介绍。不管是跨链原子，还是rollups 之间的价值传输，都依赖于一个无需许可的环境。同时，一条链（我们称为源链）一个区块，合约的调用是contignent on另一个链的（我们称为目标链）。又或者一个Rollup可以向DA层提交两个区块，一种区块是base case, 另一种则是contigent on other rollups。原子互通的核心还在于all or nothing， 要么实现，要么都不实现。这个不难理解，而链和链的的价值和资产传输也不再需要可信任桥，IBC和Axelar 这种通用协议就是目前被主流/共识的解决方案。IBC似乎已经成为Golden Standard，未来是否可以基于IBC做更多的应用层协议，又或者是有更好的 standard (cross chain as the service) 让我们拭目以待!

1）在我们深入研究之前。你能快速介绍一下你自己吗，什么是Eclipse，进展如何？

Neel: 我是 Neel Somani，我的背景是传统金融，我在 Citadel 商品集团工作。在电力和天然气集团 工作。这完全是非加密业务。通过查看不同的市场结构，模拟出什么是电力、天然气价格。但这与加密货币非常相关。人们经常进行批量拍卖，各种不同的市场结构。我在 3 月份离职了，我之前在 Terra 生态做过。我当时正在构建一个 EVM，这是在 Terra上运行 evm 代码的方式。我 与 Celestia 进行了交谈，并开始认同 Celestia 对未来的愿景。这是一个比我现在在 L1 周期中探索的方向更具可扩展性和去中心化的未来。当时我在芝加哥，与 Celestia 核心团队聊天。我正在与团队讨论 solana 区块链本身的可扩展性问题，尽管事实上，solana 是目前最快的区块链之一。例如Solana的Pyth预言机使用了 10% 的网络，并且推出了第一个名为 pythnet 的 solana 应用程序链，自己运行基础设施以保持可靠性。.我认为真的很遗憾，因为他们作为应用程序，他们实际上不应该考虑这一点。这就是Eclipse正在解决的问题。应用程序需要更多的吞吐量。他们需要对堆栈有更完整的控制。这就是我们提供的，可定制的模块化汇总（modualr rollups）。他们使用 solana vm。因此，您可以获得所提供的所有吞吐量，还可以选择安全性的来源。所以我们从 Celestia 开始，因为 Celestia 是最好的 DA 层，我们支持 Solana，我们也支持一堆其他 DA 层。

CFG Labs: 这很好，老实说，我们现在没有太多的公开信息，但是Eclipse设计中的比如混搭 (mix and match) 模块化设计、主权社区、信任最小化环境下的少数节点假设，这些都是非常令人印象深刻的。

1. 我想多谈谈 Solana。Solana 是我们非常感兴趣的东西，他们支持了很棒的 DEX 项目、NFT 项目，比如 Magic Eden。您如何看待它在工程设计、生态系统开发/用户等方面的巨大潜力？

Neel: Solana vm 是最好的执行引擎机器，这就是我们选择它们的原因。事实上，这个项目的最早版本涉及构建我们自己的 dspoke 虚拟机。我们基本上是从头开始设计的。这看起来与Solana非常相似。Anatoly Yakovenko, Solana 基金会为我们提供资助。鉴于 Solana 生态系统的强大支持，我们从头开始构建虚拟机是没有意义的。Solana有很棒的费用市场调整，跨交易进行并行化，使用 GPU 进行签名验证，所有 solana 执行层都可以做。但棘手的是，Solana 并不是为汇总而构建的。回购模型实际上并没有从执行中排除共识。同时， Solana也没有可用的轻节点，从而可以在其中对 solana 交易进行非常便宜的验证。因此，我们必须对 Solana 代码库进行可持续的更改，以使其在没有基础设施的情况下继续工

CFG Labs: Solana 的可扩展性，我们认为主要体现在依赖于 1）有效利用带宽2）减少验证者之间的通信开销，以及 3）提高执行速度。POH 很有趣，因为它为不同的消息和输入提供了不可变的、抗审查的全局排序，用于改善 Turbine 块传播协议中的传播体验。但仍有一些问题需要解决，1）Solana 主节点频繁崩溃 2）Solana 中的 MEV 攻击

对于案例。我们实际上非常喜欢游戏和社交。在过去的几年里，我们看到了许多游戏迭代。根据经验，play to earn 模式很酷，但并不是长期可持续的，但我们可以看到新项目在空间中不断迭代和创新。我们相信这个赛道

超过 55% 的全球参与者都在亚太地区，该地区有很大的潜力在未来获得更大的市场份额。对于 NFT，它们真正实现了艺术品、媒体、游戏内物品、身份、金融产品和物理/数字房地产等资产的数字标记化。他们的所有权在区块链上是安全且可证明的，为数字版权管理带来了全新的机制。我觉得有一些不错的项目，比如为模块化世界构建的域名项目、DID 项目等，将为主权社区带来真正的数字身份和数据隐私。

3）虽然Solana很棒，但是有一些问题 1）经常崩溃的Solana lead节点 2) MEV 攻击，您认为潜在的解决方案是什么?

Neel：对于优化、混合和匹配，你提到Turbine区块传播协议，我们不使用那个，因为只有 1 个领导者，我们从单个排序器开始。所以没有人可以传播该块。Sequencer 生成块，并将其完全存储在 Celestia 上。所以我们不使用这个。历史证明，Solana 的目的实际上是将执行与共识解耦。就像我们Rollups的良好结构的类似方式。最后一点是我们使用的Sealevel。当你提到 Solana 的问题时，我认为你指的是Gulf Stream，他们删除了内存池，并将交易转发给了Lead节点。我们实际上有内存池。我们Eclipse有些并不需要优化，而是为了实现水平扩展，并且每个应用程序都可以执行。我也认为费用市场，他们最近才切换到⋯⋯，使用 UDP，Solana 一直在尝试解决 L1 上的活跃度（liveness）问题。但实际上我们也在解决长尾应用程序。即使它们运行正确，也未必都能在 solana L1 上运行。

你刚刚也提到了 Solana 上的 NFT，通常是因为 Solana 的费用很低。但如果作为 NFT 产品，如果你真的想对其进行优化，则需要针对 sequencer 进行修改。例如。您需要减慢 NFT中出块时间，因为您不希望机器人获取 NFT，因为它会快一点。或者你可以应用一些批量承诺方案（batch commitment scheme），当有一群人试图同时购买 NFT 时，你会产生一些后果失败。你以某种合理的方式失去了订单。在 solana L1 上，无论如何您都无法获得这些功能。我们正在与很多 NFT 基础设施联系，并且有几个项目正在进入 Eclipse。

CFG Labs: 所以对于lead节点crah这个问题来说，其实根本原因还是出块过快，Lead节点可以在没有完成整个共识过程的情况下不停出块，从而导致从节点（follower node）赶不上速度。Solana 的平均出块时间为 1 秒，而以太坊为 12 秒。所以这个问题可以通过增加出块时间来缓解。我认为 Sui，Aptos 正在努力解决这个问题。对于 Solana，我们认为 MEV 也是一个问题，因为它进一步加剧了主要验证者的问题。原因是1）没有像以太坊那样明确的gas费用机制，所以搜索者必须向lead节点提交重复的交易，特别是在NFT mint期间以及巨大的front running机会前。2）在无内存池的交易设计下，交易不能像以太坊中的bloom filter那样有效地被过滤，当然也要基于在Tnedermint 设计中Lead节点提前被选出，并且公开公布的事实。

4） 你可以公开分享什么样的技术来促进信任最小化的应用链和多链环境呢？

第一部分是不同类型的汇总。很多人将汇总描述为模块化，但他们甚至不理解它的含义。最大的理解是我们并不进行链上结算。我们有自己的基于 Solana VM 的解决方案。这是一个特点。第二个特点是我们的 zk solana vm 知识为零，我们是第一个将其推向市场的人。我们还将为 solana VM 启用 IBC，这也是获得 Solana 基金会资助的条件。这些就是我们现在正在构建的技术。除了为 Solana VM 提供结算外，您还必须在 solana 运行的并行环境中工作。不同于 EVM，它是单线程，比evm 链实现乐观结算要简单得多。

CFG Labs：我们的portfolio dYmension 很有趣，因为它在自己的环境中引入了基于 IRC、IBC 的通信协议。为了服务多个汇总实施，dYmension 结算层在欺诈纠纷时启动包含 RollApp 执行环境的虚拟机。例如，如果有支持 Solana VM 执行环境的汇总，您不必将 SolanaVM 永久添加到结算层中。RVM 确保构建在上面的任何汇总都可能始终发展、试验并与区块链技术和执行方面的最新进展保持同步。

Neel: 早在 6 月，我就和 Celestia 团队的 Mustafa 一起写了一篇轻量级论文，其中有一些非常好的的项目。其中包括 dYmension 等

1. MEV 和价值捕获是一个非常有趣的话题，在我们深入探讨之前，我们能否详细介绍一下 eclipse 是如何捕获价值的？

我们在模块化世界中思考价值累积的方式：首先与我们在有一个协议且每个应用程序都存在于其中的单片世界中的工作方式形成鲜明对比。如果 L1 收取费用，那么应用程序就不会去任何地方，因为这是我们想要选择去中心化或特定执行层的唯一选择。

现在你有一些 DA 层，但是你有多个执行层，然后你切换DA层很容易。它不像DA层的价值捕获，但不像完全竞争。da 层需要在其他一些属性上竞争，去中心化的水平，DA 采样的复杂性。可能会有完全集中的 DA 解决方案。比如你可以想象onchain Twitter可能提供 DA解决方案，他们可能基本不收费。他们可以在价格上竞争。争论是，当他们与协议交互时，无论如何都没有人阅读智能合约，你也隐含地信任你的区块的 twitter 数据。DA 来自各种大规模去中心化的解决方案，非常昂贵，而完全集中但非常便宜。那么你必须考虑结算和执行。这两者之间的价值捕获在哪里。结算是基于appfex的，结算层的链越多，结算层的价值就越高。您可以在链条之间转移资金。执行取决于执行层提供的模式。starkware 封闭源代码，我不知道您是否对此了解。他们已经拥有复杂的 zk 证明技术。他们有定制的 vm cairo，一旦你开始写Cairo，你就不能搬到其他任何地方。由于他们对执行层收取更多费用，因此您必须为此付费。从长远来看，该区域的执行层应计价值。像technical edge (技术优势，也是障碍）， stikckess on y，如果你在一个链上构建一个应用程序层，你不能放另一个。所以也许一个超快速的 vm 执行层可以捕获价值，比如有一个游戏使用所有的吞吐量，你可以转移到以太坊，但以太坊并不支持你需要的吞吐量水平，在这种情况下你可以收取更多费用。这就是执行层获得定价权的方式。

CFG Labs: 确实如此。我认为共享安全是我想提的一件事。我在这里指的安全性是关于 DA 安全性和共识安全性。例如，Celestia 充当数据共享安全层，类似于 Cosmos Hub，链间安全，用于共识和验证者服务，并由消费者链支付。所以我认为 celestia DA 节点应该是激励性财产。目前，只有存储节点在激励存储数据，我相信在此基础上构建的每个汇总、结算层都应该为 celestia 贡献% 的费用，并且社区应该引入结构 更完善的经济设计。此外，celestia 的引入允许在不同的费用市场下隔离不同的市场，这改善了我们通常在单片链中看到的有效资源定价问题。其他创新项目也关注诸如 Eigen layers 平台，通过创新的retaking 方法来利用以太坊的安全性。

对于 Eclipse 等一些汇总基础设施，我相信您提到过您正在构建结算层，作为汇总的中心，而且还构建汇总本身。我们相信，随着越来越多的 dapp 开发者正在构建，将会产生强大的价值捕获。最重要的是。交易由用户支付，对于 IBC 类似的 rollup 之间的互操作性也有费用，排序器（sequencer）必须提交数据块和状态根，并且sequencer必须在网络上占 % 权重。

Neel: 这都是正确的，你为所有的业务收费。我们提供执行、结算，您为此收取数据可用性层数据发布的费用，但您可以获得额外的收入。我们正在与 skip 合作，他们能够捕获 MEV，我们能够将其转回我们的执行层。该应用程序特定的执行层受益于正在生产的 MEV价值

1. 模块化经济的未来价值积累。

Neel: MEV 在单体链中完全是复杂的，所有应用程序都必须聚集在一起，因为有更多的机会。你只有一个应 用程序在链上。很难说我应该看更多。直接交易量使人们在如此复杂的交易量人们正在对链进行交易，但有必要将滑点设置为他们满意的确切值。MEV 对我们来说是一个机会，因为我们可以将 MEV 作为协议捕获，然后将其转换为 eclipse 协议或构建在我们之上的协议。我们可以捕获协议。这不是我们关心的主要问题。

CFG labs: 在以太坊开发者大会上，来自 Gauntlet 的 Tarun 就 MEV 理论给出了一个非常有趣的话题。如何从社会福利的角度平衡用户利益的平衡，从经济安全的角度平衡验证者的利益。现在有不同种类的 MEV，三明治，清算，artbitragues，NFT mint front running，交叉链。但是，好不好不好说。例如，有一些研究证明三明治攻击也可以改善社会福利，其中一些流动性及时改善了用户体验，但牺牲了被动流动性提供者的利益。

Skip 协议等一些项目非常有趣。他们正在为 Cosmos 带来跨链 MEV 解决方案。PBS 在以太坊中存在的一些问题是，PBS 中的区块构建者将包含有害形式的 MEV交易，这将损害用户体验。他们还在研究链上 flashbot 版本的解决方案。我对此感到非常兴奋。我想时间就在那里。这是一个非常好的谈话。我学到了很多东西。再次感谢 Neel，祝 Eclipse 未来一切顺利。我期待着下次分享。

Eclips 正在招聘高级工程师，生态负责人， BD 以及首席运营官。请有兴趣的童鞋联系我们

I think we have seen lots of innovation in infrastructure back to 2016. various layers trying to improve user experience either through throughput, finality, latency, scalability in sacrifice of decentralization and security , etc. So we believe we are now transitional into the next huge opportunities.

1. So before we get deep into that. Could you make a quick intro of yourself, what eclipse building, and what’s the progress

I am Neel Somani, my background is in traditional finance. I work in Citadel as a commodity group.worked in power and gas group.That’s entirely non-crypto staff. look at different market structures, modeling out what power, gas price being. But that’s very relevant to crypto now.people do frequent batch auctions, all kinds of different market structures. I quit in March, I previously did in Terra ecosystem. I was building an EVM, that’s the way to run EVM code on Terra.Terra debugging. I talked to Celestia, and started to buy Celestia's vision of the future.that's a far more scalable and decentralized future than the direction I am heading right now with the cycles of L1. I was in Chicago at the time, chatting with the Celestia core team. I was talking with the team heading into the scalability issues on the solana blockchain itself, Despite the fact, solana being one of the fastest blockchain out there.they were using 10% of the network, for example,pyth the oracle of solana, recently spin out the first solana app chain called pythnet, run the infrastructure themselves they have to maintain the reliability. .I think they are really regretting that because of the application layers, they actually shouldn't have been thinking about that. That's the problem eclipse is solving. Application needs more throughput. They need to have more complete control of the stack. That's what we offer, the customizable modular rollup. They use the solana vm. So you get all the throughput that provides, you also get to choose where the security comes from. So we started from Celestia, because Celestia is the best DA layer, we support Solana, we support a bunch of other DA layers as well.

Chloe

That’s great, to be honest we don't have too much open information right now, but like the mix & match modularity design, sovereign community, minority nodes assumption under the trust minimized environment, are something very impressive.

1. I want to talk more about Solana. Solana is something we are actually interested in, they have supported great DEX projects, NFT projects, like Magic Eden. What do you think of its huge potential in terms of engineering design, ecosystem development/use case etc.

Solana vm is the best execution engine machine, that’s why we chose them. In fact, the earliest version of this project involves building our own dspoke virtual machine. We are basically designing from scratch. That looks very similar to Solana. anatoly yakovenko, Solana foundation gives us grants. Given the incredible support from the Solana ecosystem, it doesn't make sense for us to build the virtual machine from scratch. That was the thinking there. There was the great fee market tuning up, doing parallelization across transactions, using GPU for signature verifications,all the fancy stuff solana execution layer does. But the tricky thing is that Solana isn't built to be a rollup. the repo model doesn't actually factor out the consensus from execution. Other parts are there are no light nodes for solana, where you can normally do for very cheap verification of solana transactions. That’s not the thing. So we have to make sustainable changes to the Solana code base, in order for it to work, without infrastructure.

CFG Labs The scalability of Solana, relies on 1) efficient use of the bandwidth 2）reduce the communciatoon overhead between validators, and 3) improve the execution speed. POH is interesting because it provides the immutable, censorship resilience global ording, for different messages and input, which is used to improve the propagation experience in Turbine block propagation protocol. But there are still some problems to be solved, 1) The frequent collapse of Solana lead nodes 2) The MEV attack in Solana

For the use cases. I am actually big fans of socials, games etc. We have seen many iterations of gaming for the past few years. By experience, The play to earn model is cool but not long term sustainable, but we can see new projects keep iterating ,and innovating in the space. We believe over 55% of the global players are in Asia pacifics and the region has strong potential to gain the stronger market share in the future. For the NFTs, they really enable the digital tokenization of assets like art, media, in-game items, identity, financial products, and physical/digital real estate. Their ownership is secure and provable on the blockchain bringing an entirely new mechanism for digital rights management. I think there are some good projects, such as the naming service DID project built for the modular world, that will bring real digital identity and data privacy to the sovereignty community.

3)I just Solana is great, but there are some problems 1) The frequent collapse of Solana lead nodes 2) The MEV attack what do you think the potential solutions for that

Neel: For the optimization, mix and matching, you mention turbine block production, we don't use that, given there is only 1 leader, we are starting with the single sequencer. so there is no one to propagate the block to. if that makes sense. The Sequencer produces the block, and stores it entirely on the celestia. So we don't use Turbine. Proof of history, the purpose of Solana is actually decoupling execution from consensus. like the well structured similar way our rollup do. The last point is Sealevel we use. When you were mentioning the issues of Solana, I guess Gulf Stream, they removed the mempool and they forwarded the transaction to the leader. We actually have the mempool. Some of the optimization we dont need for Eclipse,The real unlock is based on the fact that you can horizontally scale and each application gets execution. I also think the fee market, they just recently switch to …, using UDP, Solana is always trying to solve the liveness situations on L1. but we actually come into the long tail applications. that cant be run on solan L1. even if they run correctly. That;s thes staff like you are mentioning the NFT on Solana, typically because Solana has low fees. but if as the NFT product, if you really want to optimize for it, you need to modify it for the sequencer. for example. you might slow down the block time for a NFT drop because you don't want bots pick up NFTs because it a little bit faster. or you can apply some batch commitment scheme that when there are bunch of people trying to buy NFT at the same time, you have some consequence failures. you fail the orders in some reasonable ways. On the solana L1, you can’t get the features anyway. Yeah, we are borrowing a lot of NFT infrastructure and several projects are coming to Eclipse.

So for lead collapse, the problem is actually the block is produced very fast, the lead can produce blocks one by one ,without completing the whole consensus process. So the follower node can’t catch the speed. The average block production time in Solana is 1s while in Ethereum 12s. So the problem can be alleviated by increasing the block production time. I think Sui,Aptos are trying to solve the problem.

For the Solana, we believe MEV is also a concern as it further intensifies the lead validators problem. The reason is that 1) there is no clear gas fee mechanism as those in Ethereum, so searchers have to submit repetitive transactions to the lead node, in hope of being added during the NFT mining or huge front run opportunities. 2) Under the mempool-less transaction design, transactions can’t be filled efficiently as those bloom filters in Ethereum, also based on the fact the lead node for the next slot is chosen ahead and publicly known in advance.

1. What kind of technology you could share publicly to facilitate the trust-minimized app chain and multi chain environment

The first part is its different types of rollups. They describe rollups as modular, but they don't understand what it even means.The big unlock is that we don't do settlement on-chain. We have our own settlement which is built on Solana VM. That’s the one feature. The second feature is we have zero knowledge solana vm, we are the first one to bring that to the market. We will also enable IBC for the solana VM, that’s the condition for the Solana foundation grant. Those are the kind of tech we are building right now. Apart from implementing the settlement for the Solana VM, you have to work in the parallel environment the solana operats. different from EVM, which is singe thread. that’s a lot of simpler to implement optimistic settlement for evm chains.

CFG Labs: dYmension is interesting, as it introduces IRC, IBC based communication protocol within their own environment. In order to service multiple rollup implementations, dYmension settlement layer spins up a virtual machine containing the RollApp execution environment upon fraud dispute. For example, if there are rollups that support the Solana VM execution environment, you don’t have to permanently add SolanaVM into the settlement layers. Post RVM emulation the container is discarded. RVM assures that any rollups built on top that may always evolve, experiment and keep up to date with state of the art advancements in blockchain technology and execution in particular.

There is the light paper I am writing with Mustafa, Celestia team back in June, there are some pretty of these projects. dYmension and He, evm settlement layers.

1. MEV and value accrual is a very interesting topic, before we dive more into that, can we give more details about how the eclipse accrual its value?

The way we think of the value accrual in the modular world first contrasting how we work in the monolithic world where there is one protocol, and every application lives there. Any if L1 really judges the fees, wasn't anywhere for applications to go because that’s the only choice we want to pick the decentralized or particular execution layer. Now you have some DA layer, but you have multiple execution layer, then you switch the DA layer very easily. it;s not like value accrual with DA layer, but not like perfect competition. da layer needs to compete on some other attributes, the level of decentralization, the sophistication of DA sampling. there might be DA solutions completely centralized. For example, you can imagine onchain Twitter may provide the DA solutions, they may charge no money basically. they can competing on price.The argument is that no one reads the smart contract anyway when they interact with the protocol, you implicitly trust with the twitter data for your blocks as well. DA come from a variety of solutions massively decetnalizated, very expensive, vs total centralized but very cheap. then you have to think of settlement and execution.where the value accrual between those two. settlement is based on appfex., more chains on the settlement layers, the more valuable the settlement layer becomes. you can move money between the chains. execution depends on the mode execution layer provides. starkware closed source, i don't know if you review that. They already have sophisticated zk proof techniques. they have bespoke vm cairo,once you write for Cairo, you cant move anywhere else. as the result of they charge more for the execution layer, you have to pay for it. that area kinds of execution layer accrual value on the long run. something like technical edge, stikckess on y, if you build one application layer on one chains, you cant just put on another.

so maybe a super fast vm execution layer could accrue value because there is a game use all the throughput, they can just move to Ethereum but ethereum don't support the level of throughput you need, and in that case you can charge more.that's the way execution layer can gain pricing power.

That’s true. I think shared security is one thing I would love to mention. Security I am referring to here is about DA security and Consensus Security. For example, Celestia works as the data shared security layer, which is similar to the Cosmos Hub, interchain security where it works for consensus and validators service and is getting paid by the consumer chain. So I believe the celestia DA nodes should be incentivized property. Right now, only storage nodes are incentivising for storing data, I believe every rollup, settlement layer built on top of that should contribute a% of fee to the celestia and a more well-structured economics design should be introduced by the community. Also, the introduction of celestia allows the segregating of the different markets under different fee markets, which improves the efficient resource pricing problem we normally see in the monolithic world. Other innovative projects too look at such as eigen layers A platform to leverage Ethereum security through the innovative method of restaking.

And for Some rollups infrastructure like Eclipse and others, I believe you mentioned you are building either the settlement layer, as the hub for rollups, but also the rollup itself. We believe there are strong value accruals as more dapp developers are building on top of that. The transactions are paid by the users, also there is a fee for IBC similar interoperability between rollups, sequencers have to submit data block and state roots, also sequences have to stake % weight on the network.

That’s all correct, you charge for all the business. We provide execution, settlement, you charge, for that, expenses of having the data post of the data availability layer, but you can get additional revenue right. We are working with skip,they are able to capture the MEV and we are able to turn it back to our execution layer. That app specific execution layer benefits from the MEV being produced.

1. Future of value accrue for Modular economy.

MEV is completely sophitictc in the monolithic chain where all applications have to get together just because of more opportunities. you only have one application on the chain.that hard to say I should look at more . Straight transactions volumen people so sophisticated transactions volume people are trading against the chain, but necessary setting the slippage to the exact value they are comfortable with. MEV is an opportunity for us because we can capture the MEV as the protocol and we turn it either to eclipse protocol or those building on us. we can probably capture the protocol. It’s not some primary we are concerned with.

At the Ethereum developers conferenceTarun from Gauntlet gave a very interesting topic for the theory of MEV. How to balance the equilibrium of users benefits from the social welfare point of view, and for validators from the economic security point of view. Right now there are different kinds of MEV, sandwiches,liquidations, artbitragues, NFT mint front running, cross chain. But, it's hard to say whether it's good or not. For example, there is some research proving sandwiches can also improve social welfare where some Liquidity in time improves the user experience, but sacrifices the benefits for the passive liquidity providers.

Some projects such as the Skip protocol are very interesting. They are bringing cross-chain MEV solutions to the Cosmos. Some of the existing problems for PBS in Ethereum, is that block builders in PBS will include toxic forms of MEV will win out, which will harm the user experience. They are also working on-chain flashbot version solutions. I am really excited about that.

I think time is there. It's a very nice talk. I learn a lot. Thanks again for Neel, and all the best to the Eclipse future. and I look forward to talking next time

Author introduction: W3 Hitchhiker, core contributor for CFG Labs. An independent crypto research team that aims to discover cutting-edge tech and innovative projects by first principles thinking and on-chain data support. We previously focused on the secondary market and used a subjective, non-hedging strategy. We gained lots of experience from Defi and now focus more on the primary market. We built the investment thesis through communicating directly with top founders in the space and utilizing the on-chain data.

We have a team consisting of over 50+ professionals of PhDs, CFA etc in the space. We have three departments, including the 1) Tech and Product department, 2) Onchain- analysis department, and 3) Investment & research department. We are more interested in the infrastructure layer such as DA, Rollups, ZK and other technological innovations for the next cycle. We began to talk to Celestia and have contributed to the community ever since. We spent half a month translating the 200+ page PhD dissertation by Mustafa ( founder of Celestia ), which also incorporated the white paper of Lazy Ledger (predecessor of Celestia). We also meet other contributors including Chloe & Frank from CFG Labs. We are invited by them to share our experiences with Celesita so far and the speakers today are Rex, Hongyi Ren and Bicheng Liu.

Data Availability

The topic for DA is gaining popularity now. We are seeing the performance bottleneck of Ethereum shown not only by the confirmation time (a dozen seconds), high transaction fees, and others etc. So improving the performance of the blockchain becomes the common goal in space. The research areas include:

1. L2/L3, which uses Rollups for execution and computation. The parallelism of Rollups (execution layer) should improve the overall efficiency;

2. The scalability of the chain can be solved by increasing the block size. It is recognised as the most effective way to deal with state bloat problems. In order to better utilize the network , Vitalik also mentioned the ideas in the endgame. However, the improved performance works as a double-edged sword and will bring additional burden to the validators. In that case, full nodes/ block producers will be heavily resource required, and tend to be more centralized. Light nodes/ clients will verify in a more decentralized way.

Data availability fits these requirements very well . Celestia is the trailblazer in space. Ethereum is also promoting its EIP-4844 after the Merge, which is ProtoDanksharding, before danksharding. The plan also emphasizes the importance of data availability.

So what’s the DA？The official explanation is to ensure the availability of data through a data sampling process. During the DA process, light nodes do not need to store all data or maintain the state of the entire network in a timely manner. Instead, the data availability and accuracy is required through the efficient way.

Next, we will introduce the difference between DA and consensus in terms of data security. As the core of blockchain lies in the immutability of data, the open, permissionless ledger ensures the data is consistent for the network. In order to ensure performance, consensus nodes will perform in a more centralized way. Other nodes can obtain available data confirmed by consensus through DA. Note that the consensus in Celestia here (consistency of transaction content and transaction order ) is not exactly the same as that of other networks (transaction ordering, verification, etc.).

Celestia

Celestia follows the spirit of Cosmos, which is open, sovereign, and is building the modular blockchain for the DA layer. It uses the Tendermint Consensus but with no execution environment. It has the following characteristics:

1. Provide data validity for Rollup

2. Separates the consensus layer and settlement layer. Any rollups built on top of Celestia either require the third-party settlement layer such as Ethereum or dYmension or settle by themselves through consensus.

3. Solutions for data availability: 2 dimension reed-solomon and fraud proof.

4. To provide a highly secure service for light nodes. By using fraud proof, light nodes can obtain efficient data verifiable by consensus.

Celestia workflow

Consensus, P2P network, works etc similar to other networks, we will not cover too much here. But we will focus more on the difference. We will divide this part into three parts.

1. Some differences in block construction. First let’s define what’s a share. Shares include transaction data and the proofs associated with those transactions. Consensus and execution in the Tendermint, Cosmos SDK (staking, governance，Account System) are separated. As Celestia has no execution and settlement layer, the relationship between transaction and state is different in Celestia and Ethereum. In Ethereum, the state for the entire state tree is updated after the transaction is executed. The state for Celestia is not about transaction execution, but the state of the transaction stored on chain. These shares are critical in the sense that they are required in both proofs, and sampling DA are both required. Therefore, Shares can be understood as data for transaction and transaction-related proof, which is constructed as a fixed-length, fixed-format data block.

After the introduction of Shares , let’s talk about the key difference between the block and the blocks of other chains, i.e. its data root. We will introduce the concept of dataRoot according to the whitepaer (subjected to change in actual implementations). This graph is a 2K2K matrix. First, let's see how this matrix came about. The first is the KK matrix, K is the pre-set parameter, which can be modified at any time. Once I prepare for the KK matrix, I will put the previous shares which include transaction-related data in the matrix. In this way I can fill up the the KK matrix. If it is not enough, I will put some invalid data. If enough, I will wait for the next block. The K means the maximum transaction capacity that a single block can handle, ie. the block capacity for Celestia. Shares can include a single transaction. Multiple transactions can be also included in the same shares. Fixed length means that transactions are capped. KK determines the capacity of a single block of Celestia. Once we put the shares within the KK matrix, we are allowed to expand it horizontally through reed solomon, from KK to 2KK matrix. So if KK is the original data, and the extended data is 2KK-original K*K=K’K’. Then we expand the original block size KK vertically, and obtain the K’’*K”, and horizontally expand the K”K”. Through this encoding method, we finally obtain the 2K**2K methods. Shares are encoded into data. Then what’s the dataRoot? We see a 2K*2K matrix, and we can build each row and column into a Merkle tree. A Merkle tree will have a Merkle root. We will get 2K+2K=4K Merkle roots. Then construct the 4KMerkle root into a Merkle tree, and finally get the root of the Merkle tree, which is called dataRoot. DataRoot is placed in the status head (Block Head). Celesita's DA works around the dataRoot, and the key data of the block is the Data Root. For example, the teams are working now on solutions such as 1) how do we confirm data and data-related transactions, and 2) how to generate these shares.

2. Since we already have the data roots, let's see how DA works.

We will not cover the details for the interaction between consensus nodes here, ie. P2P method. DA involves the communication between consensus nodes and light nodes. Nodes that don’t participate in consensus are called light nodes. Propagation of the network mainly depends on the process for DA and how light nodes work. Let's review the details. A new block will be generated after the social consensus for data is confirmed among validators. and hence the block header (dataRoot included) will be distributed to the light node. After receiving the data, light nodes will random sample through the DA proces. They will select a set of coordinates in the 2K*2K matrices and packages into the set. The set is specifically for this sampling and will be sent to the connected validators. Through this way, the light nodes request the connected consensus node send the corresponding shares titled to the set back to them.

There are two types of responses. One is that I have the data: 1) shares you requested, and 2) Merkle proof that shares are included in the data root. Hence I can respond with the above data. Once the light node receives that, it will prove the shares are included by using the merkle proof and only receive it once the proof is confirmed. When the light nodes receive all the responses and confirm it, it recognizes the availability of the block. The response shows the data is already confirmed by consensus nodes which is good. However, if the consensus node did not react/react slowly due to the network problems, light nodes will spread the shares to other consensus nodes, helping to spread the network.

There is a problem, the light node samples a set of coordinates, it does not say how many samples are sampled, its 2K*2K, two-dimensional reed solomon which it means as long as KK is sampled, it can be completely recovered. Why is there no explicit requirement for how many light nodes to sample? If we only have one light node, then we need to sample KK to recover the original data. If there is KK light nodes, only 1 sampling is required for each node given the assumption that there is non replicate sampling for light nodes. The official document also provides the calculation formula, parameters such as how many times you sample, and how many nodes in the network will provide the probability for data availability. Light nodes can also customize the data sampling process according to the security level requirements of the network.

In Celestia, the block size is positive linear with the # of light clients, which will also help to explain why the increase the #validators will increase the overall efficiency for Celestia.

Why do we need fraud proof when we already have the eraser coding technique? For example, if I collect data from 10 validators, it can be determined by erasure code that the data is given by the ten nodes. But how do we know whether the data is correct? Erasure codes can only prove that this data is what they want to give us. But in order to verify the data that the validators give us is correct, fraud proofs should apply.

Fraud proof consist of three parts:

1. The fraud proof is to challenge the data of which block. Since the fraud proof is optimistic. so it can have a certain lag which means the fraud proof can target the previous blocks

2. The fraud proof is to challenge the shares where it might be wrong. You will need to point out the shares, as well as the row/column root and merkle proof.

3. We will need at least additional K shares for rows/columns of wrong shares and merkle proof, in order to recover the whole data and verify.

Let’s understand how the fraud proof interacts with each other?

Once the validators respond with the shares, light nodes will distribute the shares with other consensus nodes (requesting other consensus nodes to help verify). Other consensus nodes will verify whether the shares and local data are consistent, and if they are inconsistent , they will initiate this fraud proof. How to judge the validity of fraud proof? Verification is required as follows:

1. I have the specified block hash (data root) locally.

2. I need to verify shares, row/column root as well as merkle proof, ie whether shares are in the data root

3. I will recover the whole row/column for the shares you sent to me by RS and compare locally.

Then we can confirm the fraud proof is valid. We can blacklist the validators who sent the wrong shares. In summary, DA uses the two dimensional reed solomon and fraud proof. The RS ensures the shares are encoded into data which are further distributed among validators. Through this way, data can be made available to the whole network. For example, rollups can recover its data and compute. Fraud proof is to make sure the data is given correctly. Only by combining two methods can light nodes obtain the trustworthy data in an efficient way.

Comparison with Danksharding

Both Danksharding and Celestia use the abstract 2 dimensional RS technique. But for Danksharding, KZG polynomial commitment is being used. KZG polynomial commitment is being able to provide commitment for the polynomial, saying that for f(x)=y, x, y is the root for the polynomial. The root means the point passes through xy. At the same time, the verifier does not need to know the specific content of the polynomial, nor does it need to execute the polynomial in detail. The transaction proof can be obtained by a simple method, and XY is the fact that XY is a set of solutions of the polynomial. The KZG polynomial commitment is more in line with RS coding, which involves the implementation of RS erasure code.

For RS, we need to expand the K data to 2K, but in what way? If we had K copies of data, you can understand it as the index. If we sequence it, then we can have K points (x, f(x)=y). By using Fourier transform, we can obtain a polynomial of degree K-1. We can graph the polynomial with the original data from 0 to K-1 and we can extend the other K data. By picking any K data we can recover the polynomial, and hence the 2K data, and original K data. The advantages include: 1) are more suitable for secondary encoding. 2) The size turns out to be 48 bytes (fixed). 3) Because of the use of timely proof, the light node can get the proof and verify it and confirm it immediately. This is one advantage of KZG's commitment.

The biggest advantage about Celestia's fraud proof is that I am optimistic. As long as no one behaves maliciously, the efficiency is high for the whole network . Light validators will only be responsible for receiving the data, and recover it according to the predetermined rules.

Besides data availability, PBS is also the one worth mentioning here. PBS addresses the MEV problem by separating the role from proposers and miners, and restricting the rights to censor. Crlist is also an interesting solution. Celestia is currently not working on settlement, but according to Mustafa, the co-founder of Celestia, validators could capture MEV if it's a "sequencer-less" rollup where anyone can propose a block, yes. I'm not sure this necessarily breaks the model of decoupling data and execution, because full nodes still don't need to verify the correctness of transactions, and validators that want to capture MEV could do the execution on a different machine/infrastructure than the one they use for processing data.

To sum up , Celesita's modular blockchain for data availability has no execution and settlement layer, so the capacity of the entire network depends on data availability . Ethereum danksharding is not just data availability, but also the settlement layer.

The recent topics for discussions

The data root is not a 2K*2K root, but a 2K+2K root？ For fraud proof in Celestia , Celestia also has a minimum honest node assumption, which means that when a light node connects to an honest validator , security is guaranteed. In this case, Byzantium which works under ⅔ honest assumption will not work. The latest update from Celestia: previously multiple transactions are included in the share, now the transaction can be included in multiple shares.

The recent third community call also explained the difference in danksharding. We have already introduced the technical part, we now introduce from the user point of view:

1. Block size. Compared to Ethereum's blob where each block is 16M. Celestia promises larger blocks of 100 megabytes;

2. Celesita focuses on DA, with less metadata (supplementary data) of blocks data, and execution data. Celestia is not working on the execution layer. Theoretically, Threshold fee is lower than Ethereum.

3. In terms of sovereignty, Celestia promotes freedom, open, cosmos friendly culture. Unlike smart contact rollups secured by Ethereum where smart contracts verify the data validity, Sovereign Rollups need to secure autonomously.

4. Celestia uses namespaces to ensure that you do not need to obtain all the data on the main chain, you only need to obtain the data relevant.

Mamaki Testnet

There is currently no incentive. We expect the plan to be launched at the end of the year or the beginning of next year. The next testnet upgrade is expected to happen in October, and targets to serve more developers in the space.The current testnet mainly helps everyone to experience how celestia works

The nodes are running stable during the testnet. Bugs such as crashes are now less. All the validators can work. Light nodes work very well as expected such as the reduced amount of downloaded data and the high execution efficiency. Network requirements may be slightly higher.

The operation of the main chain is not stable. It sometimes takes five or ten minutes to produce a block. In Tendermint, the probability of producing the blocks is determined by the proportion of total stakes. In the case where the amount of stake is similar, it should take turns. But, there are often validators who produce 3-4 blocks continuously right now.

  We are seeing the problems as follows: 

1. The entrance and exit of the validator, no matter how much staked, even very small validators will cause network instability.

2. Can not connect too many peer nodes, only a small number of nodes, and relatively stable nodes can be connected.

3. When the transaction volume is not large, the block time is already 50 seconds per bloc. But the good thing is that we are still in the early stage, so there should be a lot of room for throughput improvement in the future

4. There are serious problems with bridging nodes . We restarted the validators recently and found that both the memory and the network soar significantly. We also tried to contact other validator service providers. For some validators, memory for the bridge node has reached 20 GB, which is very abnormal. The data for Celestia is 14G while the bridge nodes should not store any data theoretically. Hence the 20G memory for bridge node is a serious problems to be solved.

1)Tendermint is for consensus. Optimint is used by Celestia rollup. There is currently only one sequence for rollups. No consensus is required, but it is relatively simple for the sequencer to upload the data to the main network. If the rollups also need to do consensus in the future, Tendermint should be required.

1. Optimint and Cosmos Appchains are connected through ABCI while the app chain itself has its consensus mechanism. The consensus is still much more difficult than uploading the data only. So Optimint should not be treated as the competitor for Tendermint, but rather they are used under different scenarios.

2. On the contact side, only CosmWasm is available, but MoveVM, EVM Solana VM and others will be possible in the future. Right now, they have done two cases and suffer from instability of the network. The transaction submissions sometimes require 10 minutes, which need to be further improved to provide better user experience.

3. Now the hard-connection (tcp connection) between nodes is GRPC, and the technology is quite new. Rest is being used more with better compatibility.

This part we will talk about the verification of the system. Light nodes can verify the effectiveness of the data without downloading the effectiveness of the data. It’s done through the Quadrupling RS.

1. So how to ensure the reliability of sampling, such as 100 rows * 100 columns, that is 10,00 shares. Then every sampling is not a guarantee of 1 in 10,000. Quadrupling means that at least 1/4 of the share must be unavailable, then you can select the one which is unrecoverable. The details can be found on the whitepaper 4.5.8. Only when 1/4 is unavailable can it not be recovered, and it is truly effective to find errors. Hence, the probability for reliability drawing once is ¼. After rounds of sampling, say 10 times, 15 times, it can reach the 99%. The reasonable times should fit within 15-20 times.

2. Does Celestia verify DA correctly? For example, rollups send the data to the network. ETH has a contract to verify the validity of the transaction while Celestia returns it to the rollups itself to verify. Let’s talk about the role of different validators. For example, what role does the node play in rollups vs on Celestia. For example, the light node or a full node on rollups could be a light node on Celestia, where the light node can gain the data through DA which is quite different from the necessity of building the full node in Ethereum.

Under the minimum honest assumption, a light node only needs to connect an honest node to ensure security . What if you don’t believe this? Then you can start a full node and obtain all the data, and check with the root published by the sequencer 1) Rollups verify its own state such as account balance. Celesita has no execution layer. 2) If your sequencer behaves maliciously and sends two blocks with the same block height to Celestia, Celestia guarantees/provides the service that the data sent by sequencer will be returned to Rollups node in the original form. “SCRs are still able to fork, but the decision over what is the canonical chain is delegated to an L1 smart contract. This relies on multisig/centralized teams, majority governance of the rollup (as they decentralize), or they become immutable and forfeit this right (or the L1 could fork, unlikely). Note this upgrade process is subject to majority rule via on-chain governance. Off-chain coordination could deploy a new instance of a SCR, but then you’re starting from scratch drawing users with no history to the chain. SRs are able to fork permissionless, even as a minority, via off-chain governance.” by Delphi Digital.

Fees consist of two parts:

1. Rollups own byte fees and execution gas. If Ethereum is used as the settlement layer, fees will be paid in local currency which is ETH..

2. Storage fee paid by sequencer. The storage fee now supports local currency, but the architecture also supports other currency. There is separation of logic between uploading data and payment.

3. Celestia’s goal is to reduce the total costs for 1) + 2) even lower than uploading data only on Ethereum. The cost for call data on Ethereum is high but is expected to be reduced for Danksharding.

4. Provides more flexible storage solutions such as working with other chains, eg, ETH, or off-chain storage solutions such as zkporter, StarkEx DAC etc.

The application for Celestia

1. use mainnet, or work as execution rollups. Celestia will be responsible for transaction ordering

2. Sequencer for Sovereign rollups will upload data to Celestia. Other validators will obtain data by namespace. The SR will be responsible for execution and security maintenance

3. ER is built directly into the L1 specification, not deployed as a smart contract. ETH can be used as the settlement layer for Celestia

4)The quantum gravity bridge re-defines Celesita as a plug-in for ETH. 1) ETH acts as the settlement layer of Celestia. Celestia acts as the DA layer of ETH.

Community Q&A

1) What are the types of validators on Celestia?

Full nodes on Celestia work to store the data, unlike full functionality nodes on Ethereum. Consensus nodes and Light (non-consensus) nodes are common. Bridge nodes, provide 1) RPC services for developers 2) provide services for light node connection , and 3) special functions for data sampling for light nodes. So you can think of it as the gateway among full nodes, consensus nodes and light nodes.

2) What is a namespace?

Rollups are uploaded to Celesia and stored in Celestia, and each Rollups only wants to fetch their own data. Namespace is the identity between each Rollup. When the rollup obtains the data from Celestia, it can fetch its own data according to the namespace. Unlike Ethereum, data is sent to Celestia for verification of the signature and recognition only. Celestia only needs to make sure the data is transferred back to the nodes in its original form defined by a different namespace. ETH's Smart Contract Rollups are defined by different names/ series of contracts.

3) How to solve scalability?

As blocks in Celestia consist of pure binary data (unlike call data on Ethereum), Celesita should have relatively high processing power. A block of 100 megabytes seems to be a reasonable size. As long as the sequencer signs it, content does not matter much.

4) How efficient does the DA process work? For example, will the cost change as the storage of data increases? The Ethereum full node has hundreds of G, nearly 1T (1T=1000G).

W3. Hitchhiker: Like other chains, Celestia blocks have limited capacity (K*K for block as mentioned above). The more transactions, the greater the cost. Ethereum users Layer 2. So how does Celestia handle it? First of all, it does not have an execution layer. All Rollups transactions are a piece of binary data for Celesita, which is purely a piece of data and has no practical significance. How to expand the block capacity, light nodes can help the entire network to converge. Celestia prefers large blocks (100M vs 16M IN ETH) . So how do I help the spread of large blocks across the network? Through the following two ways: 1) As more light nodes are involved, the block space is linearly incrased 2）During the DA, shares will be forwarded twice by light nodes, which will accelerate the entire network convergence process and improves network efficiency. The bandwidth of light nodes can also be contributed to help spread blocks between consensus nodes. So we need to increase #light nodes rather than the workload for single nodes.

CFG Labs core team: The DA block size can be understood as the bandwidth for Web2. It’s the key metric. The more bytes a DA block can process per second , the more transactions can be dealt with at the execution layer, and hence the faster the blockchain. Bytes per second is bandwidth in Web3.

5) Again what’s the effect on cost and time for light nodes as the data stored on the network increases?

We have mentioned a few times that Celesita has no execution layer. So their consensus is not about verification of transactions, but to gather, confirm and verify the data and order. So this is not related to execution. For the cost, it mainly consists of storage and bandwidth cost, but no computation cost included. The larger the data volume, the higher the overall cost. The official explanation is the more validators, the greater the processing volume. I don't know how you understand this sentence? If I have a fixed number of nodes, I can handle as much as I can, and as nodes increase, all costs increase. So this expands the processing power for the whole network. Celesita mitigates this capacity conflict problem in another way. Celestia block size has a linear relationship with the light nodes. The light node here is not limited to the light node of a certain rollups, but refers to the light nodes of all Rollups participating in the network. For the entire network, although the overall cost increases, it is shared among more light nodes. So if the data is 100 megabytes, and then becomes 200 megabytes. The number of light nodes required will also double. For a single light node, the cost will not be much differentiated. Hence, we believe the impact on light nodes is limited. Blocks like 100 megabytes have not yet reached the limit.

CFG Labs core team: Celestia block size increases with number of light nodes. The block header of light nodes is proportional to the square root of the block size. The bandwidth advantage mitigates the problem in the long term. As user demand increases X, block header for light nodes increases for SQRT(X), block capacity increases, light node bandwidth increases for X, Celestia output increases by X^2. The overall effect should be neutral.

6) Questions: How are the incentives being distributed among storage validators, light validators, consensus nodes etc?

W3: The current economy design is mainly payable to full nodes, which store the data for Celestia. Allocations for others are not announced yet. Like we are currently building a set of nodes, we have not thought about how to distribute incentives among different validators. But inspired from the POS, the rewards for Consensus nodes are determined should depend on the proportion of staker delegated on the network. When it comes to security and attack, there must be a balance.

7) Question: We have seen Execution layer, DA layer, Celestia and our existing solutions, such as Ethereum, ZKP, ORU, and other ecosystem projects in Cosmos. For example, if I want to do rollups myself, how should I deploy it?

Answer: There are three ways to deploy on Celestia which we have discussed above. If you go directly to the Celestia mainnet or simple Rollups, then you can directly set up the full node for Celesia. If sovereign Rollups, you need to consider how to design your sequencer and your own network security mechanism. The sequencer is mainly responsible for sending data to Celestia and paying for the storage of the data. Other nodes on your Rollups can act as light nodes on Celestia to send back data. You have your own chain and business logic. Quantum Gravity Bridge is a contract deployed in ETH. If you are an ETH rollup, you will not deal with Celesitia directly.

8) Cevmos Ethereum smart contracts can be deployed in Cevmos, Celesita + Cevmos + Rollups. Cevmos can be understood as the execution layer or/and settlement layer. Other nodes for Rollups obtain the data from Celestia and pass it to Cevmos to execute and update its own state. Depending on your design, your sequencers can choose to execute or not. If you need to verify your transactions, and package the translations, you will leverage cevmos to verify the effectiveness of the transactions before submitting packages.

The entire process should work as follows: The rollups send the transactions to the sequencer, and the sequencer will submit the transitions to Celestia, other nodes on rollups will obtain the data from Celestia by the namespace. Then you will use the VM to execute. The settlement layer mainly works to solve the asset exchange problems and provide the secure guarantee (such as Ethereum). Asset exchange among different chains will require both bridges (trusted or trustless) and settlement layers. The most common rollups today have only one sequencer and will introduce consensus mechanisms such as Tendermint, Avalanche and others in the future. We call it a “sequencer-less” rollup where anyone can propose blocks by Mustafa.

本文由CFG Labs 核心团队和W3 Hitchhiker共同完成编译，大部分内容截取于9月15日晚第十次Office Hour

总览

作者介绍：W3 Hitchhiker，一个独立的加密研究团队，旨在通过第一性原理思维和链上数据支持发现尖端技术和创新项目。此前在二级市场，偏主观，非套保，对冲。从Defi中积累了经验。逐步对一级也开始感兴趣，同时也可以有效地与项目的沟通，找到投资方法和理念。目前整个团队(人员)在50+。团队有三个部门，技术部门，筹码部门，和投研部门。投研部门包括三个负责技术的同事，其中包括任泓毅和刘必成。也是这次的分享嘉宾。我们主要看偏底层的基础设施类项目。我们对于DA层项目，Layer2的Rollups，ZK等下个周期的技术创新比较感兴趣。去年年底了解到Celesita之后，我们希望通过一级市场，技术输出等方式为社区做些贡献。我们花了半个月的时间翻译了Mustafa （Celestia的创始人）的200多页的博士毕业论文，该论文也融合了Lazyledger（Celestia前身）的白皮书。Mustafa对于我们的工作还比较认可的，也在社区积累了很多的朋友，包括Chloe &Frank from CFG Labs。这次受到他们的邀请，为大家解读这个项目。本次主要分享团队成员有Rex, 任泓毅以及刘必成。

数据可用性

DA的提出，也是比较火热的话题。我们可以看到以太坊发展中的性能瓶颈，不仅是交易确认速度（十几秒），高手续费等。所以我们要拓展区块链的性能。以太坊社区里面的讨论方向包括，1）一个是L2，用Rollups做执行和计算，Rollups（执行层）的并行，加速链的效率；2） 第二个是链的扩容问题，目前链都认为区块扩容是最有效的处理整个网络效率的方案（State Bloat）。为了能够使得网络更好地被利用，Vitalik 在end game 中也提到过扩容（降低费用）和Rollups的方案的提出。但是随着扩容方案的提出，性能上升无疑也会给共识节点提出额外的要求，为了保证网络的安全性，验证节点通过（区中心化）验证的方式实现去中心化。共识节点，为了实现1）高性能 2）支持更多的rollups加入，需要通过验证的去中心化方式去实现（全节点 vs 轻节点）。数据可用性（Celestia）是非常契合这些要求的。以太坊合并之后第一步是推广的EIP-4844也就是Proto- Danksharding，以及danksharding 也是强调数据可用性这块，足可见社区对DA的重视。

DA 官方的解释就是通过数据抽样，保证数据在网络上的可用性。数据可用性如何理解呢？回到之前的点，可以理解下之前提到过的去中心化验证。本质上就是轻节点在不参与共识的情况下，不需要存储全部数据，也不需要及时的维护全网的状态。对于这种节点，需要高效的方式确保数据可用性和准确。接下来介绍下DA与共识在数据安全上的差异。因为区块链的核心在于数据的不可更改。区块链能够保证数据在全网的数据是一致的。共识节点为了保证性能，会有更为中心化的趋势。其他节点需要通过DA获得经过共识确认的可用数据。这里的共识（交易内容以及交易顺序的一致性）与其他网络的共识（交易的排序，验证等）并不完全一致。

Celestia 介绍

Celestia遵从了Cosmos的理念，开放，独立主权，是专注于数据可用性的模块化公链，也做了共识（Tendermint）（没有提供执行环境）。主要有以下几个特点：

1）为Rollup提供数据可用性

2）提供结算，共识层分离，需要打造第三层的结算，如果有些应用自己做结算，也是可行的。3）数据可用性的解决方案。二维纠删码+欺诈证明

4）对于轻节点提供高安全性的服务，可以通过欺诈证明，得到相对准确的，被验证，被网络认可的有效数据。

下文介绍包括 Celestia 工作流程、与Danksharding对比、近期大家关心的话题、Mamaki测试网的现状、Optimint、Celestia应用方式、系统的验证、Celestia的费用、社区解答等环节。

Celestia工作流程

Celestia的实现思路主要分为三个部分讲解，与其他链相似的共识，P2P的交互就不介绍了，这里主要着重讲下差异点：

1）区块构建上的一些差异。首先定义一个个shares。shares中包括交易以及这批交易相关的证明的数据。Cosmos SDK (质押，治理，账户体系）,Tendermint里面的共识和执行是分开的。 Celestia本身是没有执行层，也没有结算层。所以交易和状态的关系在Celestia中和以太坊是不一样的，以太坊的状态是交易执行完成之后对整个状态树的变更。而Celestia设想的状态不是交易执行，而是交易整个存储在链上的状态。（share）之前的实现他们已经推翻了，在找新的方案。这个shares 很关键，欺诈证明，抽样都需要。所以Shares可以理解为交易及交易相关的证明数据，构建成了一个固定长度的，固定格式的数据块。

Shares 介绍完以后，就是他的区块和其他链的区块的区别，就是他的data root是什么呢。Data Root我们这里也是按照白皮书来说明（可能跟实际实现不同，只是讲概念）。这个图是2K2K的矩阵。首先看下这个矩阵如何来的。首先是KK的矩阵，K是设定的参数，随时可以修改。我准备好了KK的矩阵之后，我会把之前的shares，包含交易相关的数据，每个shares 放在矩阵的格子里面。这样我会把kk矩阵的格子填充起来。不够的话就补足，补一些无效数据。如果够了的呢，就等下一个区块。这个K的大小意味着Celesita， 单个区块可以容忍的最多的交易容量，即区块容量。Shares里面这个交易可以是一笔，也可以多笔，同一个批次。固定长度意味着交易是有上限的。KK确定了Celestia的单个区块的容量。具体多大需要关注其发展。把这个shares放在KK矩阵之后，首先通过横向的reed solomon的方式进行拓展，从KK变成2KK的矩阵。KK是原始数据，扩展数据是2KK减原来的K*K=K’K’。然后再把原来的KK做纵向扩展，得到K”K”，再把K”K”做横向扩展。通过这种编码方式，最终得到2K2K个行列的方阵，就把shares 编码到了data里面。这个data的构成就是这样进行的。DataRoot是什么呢。我们看到2K2K的矩阵，我们可以把每个行每个列都构建成默克尔树。默克尔树就会有默克尔根。我们就会得到2k+2K的默克尔根。然后把24K的默克尔根再构建成默克尔树，最后得到默克尔树的根。我们就看到dataroot， 就是data的根。Data root放在状态头（区块头）中。Celesita的DA都是围绕DATA root来的，区块的比较关键的数据是Data Root。怎么确认数据和数据相关的交易，怎么生成这些shares，目前在重构。

2）既然我们已经在区块头中准备了这些root，接下来我们看看DA是如何工作的。

共识节点和共识节点的交互这里就不具体阐明了，P2P的方式。DA涉及到的是共识节点和轻节点的交互问题。不能参与共识的节点统一称为轻节点。传播主要看DA 和轻节点之间的流程。我们看是如何交互的。共识节点经历过一段共识 (数据确认）之后，会产生新的区块，会把区块头，包括data root 发送给轻节点。轻节点收到data root之后。就需要进行随机采样，我们看到2K2K矩阵，在2K2K矩阵中其中挑选一组坐标，打包成一组集合。这个集合就是本次抽样的一个集合。将抽样的集合发送给他们相连的共识节点。请求共识节点将坐标对应shares发送给轻节点。共识节点就有两种回复。一种我有你请求的，那么1）shares，以及2）shares在data root中的默克尔证明一起回复给轻节点，轻节点收到回复之后，会去做默克尔证明，证明这个shares 在这个data root里面的，之后就会接受shares。当他把他的抽样都收到回应之后。这个时候就基本上认可了这个区块，认可了这个数据是可用的。Dataroot都是链的交易，能够回应就说明了这些Data 在网络上都是被共识节点认可的。如果某个共识节点没有回应，轻节点会把我收到的相关shares 转发给对应的共识节点，帮助整个网络快速的收敛。P2P网络，网络的扩大，共识节点确实收不到/收到比较慢共识结果。我轻节点可以通过这个机制，快速帮助对网络的传播。

有个问题，轻节点抽样一组坐标，没有说抽样多少个，2K*2K, 二维纠删码，只要抽样K*K, 是可以完全恢复过来的。为什么没有明确的要求轻节点抽样这么多个。为什么没有明确给出呢。如果我们整个网络只有1个轻节点，确保数据一定被恢复过来，那么需要抽样KK，才能保证恢复原始数据。而实际上对于一条网络，肯定会有N个轻节点，可以将任务分摊给N个节点。官方官方文档也给到了计算公式。你抽样多少次，抽样多少个，和你得到数据可用的概率的计算公式。轻节点可以需要根据安全等级需求，选择自己去做一个数据采样的决定。同时在Celestia中，轻节点越多，块越大，网络执行效率就越高。如果只有1个轻节点，采样数据至少KK个。 如果有K*K的轻节点，理想情况下采样不重复，每个节点只需要抽样1次就可以了。整个网络的性能，每个节点的带宽，性能是一致的。节点越多，意味着抽样的总数越大的。这也可以解释节点越多，网络效率越高。

欺诈证明，为什么需要有欺诈证明，我们有了纠删码，抽样，理论上获得的数据。比如说我从十个共识节点抽样获得的数据，通过纠删码可以确定这些数据是十个节点给的。但是这个地方会有些问题，就是这十个节点都有没有给我们正确的数据，我们怎么来做呢。纠删码只能证明这些数据是他们想给我们的。但是需要验证他们想给我们的数据是否是正确，那么欺诈证明确保共识节点是按照设想规则给我们编码的。这就是为什么我们需要欺诈证明。欺诈证明就是来解决这些问题。证明节点通过抽样获得shares，恢复的数据到底是对的，还是无效的。

欺诈证明的组成有三个点。

1）我这次欺诈证明是挑战哪个区块的数据，欺诈证明是乐观的，有一定滞后性的，不一定是对当前块发起的。有可能是对前面几个块。

2）我这个欺诈证明，我要指明你的哪个shares出错了，我要把你出错的shares指出来。以及shares所在行/列的的根以及默克尔证明告诉我，共识节点按照我们设想的规则。

3）我告诉你他的默克尔证明，还需要（有错的share所在的）行/列至少K个share，有了K个以后就能够把行恢复出来的。从而可以进行验证。

接下来我们介绍下欺诈证明是如何交互的？

共识节点给轻节点回应请求的shares数据，轻节点会把shares发送给其他共识节点 （请求其他共识节点帮助验证）。其他共识节点，会判断shares和本地数据是否一致，如果不一致，会发起这个欺诈证明。如何判断欺诈证明的有效性呢？需要进行验证。

1）指定的区块哈希（data root）是我本地有的。你错误的shares，你要把你的shares 的根和默克尔证明告诉我，我做一个验证。

2）你这个shares 的行和列的根确实在我这个data root里面。

3）我会把你给我的shares通过纠删码的方式把整个行恢复过来。跟我本地数据做一次对比，发现数据和我的数据确实不一样。

通过这三种方式，能最终确认欺诈证明是有效的。之前给我shares的共识节点是有问题的。我需要将其列入黑名单，不再接受其发送的任何shares。

这就是欺诈证明交互的流程。到这里，对于DA，数据可用性流程就差不多了。

我们总结下。DA 通过二维的 RS 纠缠码，对于交易数据，shares 进行一次编码，编码之后生成了data, 这个data在共识节点 非共识节点之间通过采样的方式来获取data 数据。获取data数据之后，就可以恢复，可以确认这个data 数据是可用的。比如Rollups恢复自己的交易，去做计算。同时，纠删码，只能保证数据是对方想给的数据，引入欺诈证明，保证对方给的数据是按照预想的规则进行编码。有效的数据，通过这两个部分，一起才能对轻节点，提供快速验证并获取数据有效性的方案。

和Danksharding的对比:

Danksharding 和Celestia的对比。都是通过二维RS纠删码进行编码。但是采用了不同的路径。Danksharding， 用的是KZG 多项式承诺。KZG多项式承诺对于一个多项式他能够提供承诺，证明某个X Y 的 f(x)=y 证明某一组 x y 恰好就是多项式的根，根意味着这个点是经过多项式曲线的。同时，验证者不需要知道多项式的具体内容，也不需要具体去执行这个多项式，能够通过一个简便的方法， 交易证明就能得到，XY就是多项式的一组解的事实。KZG多项式承诺，比较契合RS编码，这里面涉及RS纠删码的实现。RS纠删码的实现把K份数据扩展到2K。怎么把K份数据扩展到2K呢。我们有K份数据，进行排序之后，简单理解为他的索引，对应就是XY。K个点，通过数据计算，傅里叶变换等，可以得到K-1的多项式。可以把这个多项式的图在坐标轴画出来。前面0到K-1是原始数据，我们可以扩展后面K个数据。这2K个数据 任意拿K个，都可以恢复整个多项式，那么意味着可以恢复2K个数据，那么我们可以恢复前面K个原始数据。多项式承诺恰好是对一个多项式以及多项式的证明。他的优势1）比较契合二次编码。2）大小证明是48字节（固定）。3）因为采用了及时证明，轻节点拿到证明，可以立马进行验证，交易的确认是及时的，不像乐观证明，需要等一段时间，如果没有人发起挑战，我才能确认这个交易是OK的。这是KZG承诺的一个优点。

Celestia的欺诈证明是乐观证明，最大优点是我是乐观的，只要这个网络没有人出错，效率是非常高的。没有出错的话，我不会有欺诈证明。轻节点不需要做任何事情，只要收到数据，按照编码进行恢复，整个流程不出问题的情况下，非常高效的。数据可用性上面的一个加分顶。

Danksharding 除了数据可用性以外，PBS。PBS是解决MEV问题。把出块和共识矿工角色分开。PBS这个方案限制了区块打包者审查交易的权利，Crlist也参与了这个工作。这部分和DA相关性不大。Celestia目前没有考虑结算层，MEV 还没有考虑。总结下，Celesita是围绕数据可用性的公链，没有执行性，结算层，所以整个网络的容量用在在数据可用性上。以太坊danksharding 不仅仅是数据可用性，还有结算层。

近期热点话题讨论：

刚才必成将的问题需要纠正下， data root 不是2K*2K根，是2K+2k个根。欺诈证明这块，Celestia 还有个最小诚实节点假设，这意味着当轻节点连接到一个诚实验证者的时候，就能保证安全。这种情况下拜占庭是不能工作的（⅔)。最新的情况更新下：以前认为多个交易放在一个share里面，现在是一个交易分成多个shares。

最近团队第三次电话沟通会议也解释了danksharding的差异。技术上，上文我们已经做了介绍。而从用户角度来讲，有以下差别：

1）区块大小。相较于以太坊的blob, 每个区块16M。Celestia 承诺会达到100兆的大区块；

2）Celesita专注于DA， 块的元数据 (辅助数据）较少，和执行有关的数据比较少。门槛费理论上略低于ETH；

3）Rollups的主权的问题，Celestia偏向于自由，Rollups需要确保自主安全性。ETH有合约检查Rollups提交的数据的有效性；

1. Celestia 通过命名空间的方式，确保你不用获取主链上全部的数据，你只需要获取跟你rollups有关的数据就可以了。

Mamaki 测试网

目前没有激励，年底或者明年初可能会有，下一次测试网的升级大概在十月，计划中更多的是服务开发者，现在的测试网主要是给大家体验Clestia的工作方式。测试网现在节点工作都是正常的。崩溃之类的bug现在已经比较少了。节点能正常运行。轻节点工作情况还不错，符合预期。比如减少下载数据量，执行效率高等。网络方面可能需求稍微高些。主链的运行不太稳定，经常出现卡顿的情况，出一个块需要五分钟，十分钟。出块的顺序, 本来在Tendermint机制中，根据质押数决定出块概率，在抵押额差不多的情况下，应该轮流出，但目前经常会有验证者连续出3–4个块。

目前看到的问题:

1）验证者节点的进入和退出，不管抵押多少，哪怕小的验证节点退出都会造成网络不稳定。

2）不能连接太多的对等节点，只能连接少量的节点，相对比较稳定的节点;

3）交易量不大的情况下，出块时间为五十秒/块，让人担忧之后的吞吐量。目前还比较早期，优化空间还比较大。

4）桥接节点问题比较大。中秋期间，我们节点重启后，发现内存和网络都发生了暴涨的情况。我们也尝试联系了其他验证者节点服务商。有的桥接节点内存已经跑到了个20个G，非常不正常。Celestia落盘的数据量是14个G，桥接节点理应是不存储数据，内存用到20个G，是比较明显的问题（原因还在研究）。

Tendermint是做一个共识。Optimint是Celestia rollup用的。目前市面上的rollups只有一个排序者。不需要做共识，只是比较简单地把排序者打包的数据上传至主网。如果以后rollups也需要做共识的话，还是应该在Tendermint上改吧。做共识的难度还是比做一个数据上传难度大很多的。所以这两个是没有竞争关系的。

合约方面，Celestia目前考虑执行比较少，它也是借用现成的CosmWasm这个技术（和Cosmos结合比较好，现在也是属于一个可用的状态）（将来还可能有Move VM EVM等）。目前做了两个示例, 受到主网不稳定的影响比较大。提交交易有时候需要10分钟，用户体验不太好。

Optimint 和App (Cosmos App是应用链的形式实现) 目前连接通过ABCI，链自己的交易要用共识引擎，上传功能是通过ABCI，以后还会添加其他方式。

现在节点之间的硬连接（tcp连接）是GRPC，技术比较先进。但用的比较多，兼容性更好的是Rest等方式。还有一点点不完善，在补全的过程中。

讲下系统的验证。轻节点不用下载所有数据，就可以验证数据有效性。因为做了4倍纠删码的扩展，它可以保证很高的可靠性。

1）那么如何保障抽样的可靠性如何呢，比如100行*100列，那就是100,00个shares。但每抽样一次，不是万分之一的保证。扩展四倍意味着在整个share至少要有1/4的share不可用，你才可能抽到一个不可用的share， 才表示真正不可用，因为恢复不出来。只有在1/4不可用的情况下才恢复不出来，才是真正有效的发现错误，所以抽一次的概率大概是1/4。抽十多次，十五次，可以达到99%的可靠性保证。现在在15–20次的范围之内做选择。

2）Celesita有没有正确在做DA 验证。比如你一个rollups，你把数据传到Celesita，ETH有合约验证交易的有效性，而Celestia 返还给rollups节点以后，再去验证数据。

这里讲下节点的角色。比如节点在rollups 是什么角色，在Celestia上可能是另外的角色。比如他可能是rollups上的轻节点，全节点，但是可能都是Celestia上的轻节点。只需要作为轻节点，就能够获取数据，没必要像在以太坊中一样重新做一个全节点，可能相对于ETH现在的方案，更为优势些。ETH如果要验证数据发送到主网，你需要启一个主网的全节点。Celesita只需要轻节点。轻节点的话，那么就是说抽样保证可靠性。

刚才提到的最小诚实假设意味着你作为轻节点，只需要连接一个诚实节点，就能保证安全性，如果你连这个都不信呢，万一一个诚实节点都没连上呢？那么你可以启动一个rollups的全节点，你把你rollups的数据全部拿来，跟你的排序者发布的root做一个校验。关于Rollups自己状态的验证，Celesita没有执行能力。比如你账户余额，需要自己验证。如果你的排序者作恶，发两个块高一样的块至Celestia，Celestia只是保证把他发来的这两份数据都发给你Rollups的节点， Rollup节点收到两个块高一样的数据，现在ETH遇到这种情况，那就是分叉了，怎么处理，Rollups自己负责了。

Celestia的费用有两部分

1）Rollups自己的字节费用和执行gas。如果以太坊作为执行层，用ETH结算。

2）Celesita保存交易数据的费用（排序者，自己打包支付，你如何从其他节点，或者说Rollups用户怎么把钱收回来，需要Rollups自己设计。）（可能还有状态根数据等等）。存储费用是celestia本币支付，架构上也支持其他币种。目前也做了更改。你上传的数据与支付的逻辑分开了。

3）目标是做到两部分的数据综合起来也要比单独把数据放在以太坊便宜。ETH是call data 比较贵。ETH做了danksharding之后，KZG 之后成本会更低。但是Celesita承诺费用更低。

4）存储方式 的选择更为灵活，Celestia， ETH，或者线下存储。

Celestia 应用的方式

1）直接上主网或者执行Rollups, 不太关心交易的顺序。让Celestia的验证者做交易排序，你没有主权。

2）主权rollups 排序者和Celesita打交道，其他节点从Celesita获取数据，执行，维护安全交给Rollups 自己

3）ER 直接构建在 L1 规范中，而不是作为智能合约部署。和ETH结合，ETH 作为Celestia结算层，其他rollups连接到结算层。可能不是直接到Celesita，通过结算层和Celesita打交道

4）量子引力桥，完全把Celesita作为ETH的外挂。

理论上都可以实现，ETH作为Celestia的结算层，或者Celestia作为ETH的DA层。可组合型，都是可实现的。

社区问答

1）Celestia有几种节点？

Q&A：Member A

Celestia上的全节点：存储节点，不是ETH 那种全功能节点。存储所有数据的节点。共识节点也好理解。轻节点也好理解。桥接节点，为了做DA， 要提供RPC服务，要给轻节点连接的服务，提供给轻节点做数据采样专门用的功能。这个专门做了节点叫做桥接节点：共识节点，全节点和轻节点间的二传手。类似于网关

2）Q&A: 命名空间是什么？

Rollup上传给Celesia, 存储在Celestia，而每个Rollups只想取自己的数据。命名空间是每个Rollups之间区分标志。Rollups取数据的时候带上这个标志，就可以仅取出自己的数据了。工作方式的不同：主权rollups 就是你把数据传送给我，我只需要验证交易数据签名是排序者的签名，认可你这个数据。我给你Rollups的服务，保证数据原封不动的传送给其他Rollups的节点。就完成了DA的工作。这是rollup的一种工作方式。还有另一种工作方式，ETH的Smart Contract Rollups由一系列合约来定义的。为了区分，给了不同的名称。

3）分片，扩展性如何解决？

区块就是纯数据，不做执行，处理能力比较高，没有很多验证。一个块100兆，现在看来还是有一定把握。纯二进制数据，不关心里面是什么，只要排序者签名，不管里面的内容。

4）Rollups 数据存了一份在Celestia上，数据可用，但是验证有效性，效率如何？抽样验证，会随着你的存的数据越大，成本变化越来越高吗，以太坊全节点几百个G， 将近1T (1T=1000G). 一个Rollups 未来数据量越来越大，所需要花的成本越来越多。其中关系有没有相关研究?

W3回答：Celestia 区块是有容量的，交易越多，成本越大，那么Celestia如何处理的呢？ 首先其没有执行层，所有Rollups交易对于Celesita来说都是一段二进制，纯粹是一段数据，没有实际意义的。对于任何一个链，都是有一个容量大小的。 data root，K*K就是区块容量。怎么扩展区块容量呢，轻节点是可以帮助整个网络来收敛的。Celestia比较钟情于这种大区块。那么我怎么帮助整个网络大区块的传播。我会加速网络的收敛速度，轻节点越多。轻节点抽样的时候会进行二次转发。这个二次转发的过程加速整个网络收敛的过程，提高网络的效率。我的轻节点的带宽也是能够贡献出来的，帮助共识节点之间进行区块的传播。增加轻节点的数量，而不是单个节点的负载。

CFG Labs: DA区块大小就像互联网的带宽，是核心指标。每秒DA区块能容纳的bytes 越多，rollups执行层的交易就越多，区块链速度越快。每秒的bytes，从流量的角度来看就是bandwidth。

5）问：区块存储的数据变大，花费是否成线性关系？轻节点还要参与共识，成本增高，共识的时间也会增多？（时间，成本，实验结果）

回答：Celestia 是没有执行层的。我的共识是什么？我的共识只需要把数据搜集过来。数据确认好，顺序确认好，我的共识就完了。我的共识并不需要执行。那么随着数据量的增加，那么我的开销主要增加在哪里呢？一个是存储，一个是带宽。我的计算是没有的。我们有全节点，专门做存储的节点。还有轻节点是通过抽样部分数据帮助大区块P2P 传播。轻节点带宽帮助共识节点的交互。

问题：Celestia 采样，采样速度是否和数据区块数据区块大小无直接关联。100个区块中，采样 不同位置的10个点，100兆，1000兆，时间一样。消耗的费用更多？

回答：你提到数据量变大了，整体费用上升，而官方解释节点越多，处理量越大。我不知道你对这句话的理解是什么样的？我如果节点数量固定，我能处理的量就那么多了，但可以增加节点增加节点。所以这个轻节点网络扩展了处理能力，Celesita是用了另外一种方式缓解这个容量冲突的问题。Celestia 区块大小，随着轻节点数量扩展，这里的轻节点并不限于某一个rollups 的轻节点，而是指所有Rollups的轻节点共同参与这个事情（不管是哪个Rollups参与）。对于全网来说，成本越多， 但是轻节点分摊下来，每个采样的数据量不会有太多变化。比如说数据现在100兆，之后变为200兆。可能需要的轻节点数量也翻倍了。对于单个轻节点来说，成本不会太大。也是通过数量的扩展，对于单个轻节点，感知不到扩容问题的。对于轻节点的影响是有限的。100兆这样的块，还没达到极限。

没有这个东西，平方根是一个老早就有的，以讹传讹的东西，来源于最早的翻译者没有完全理解，不管区块多大，区块头里面，data root的大小根本不会变化。但以后可能会加上消息索引，那个会随消息数量变化，但是索引嘛，本来就很小，只有数据本身的几百分之一。

问题：存储节点，轻节点，出块节点，这几个节点的激励分配是如何？

W3: 费用考虑的不是特别多。轻节点主要是用户， Celestia存储费用可能分不到，其他与共识节点，存储节点，桥接节点，之间的分配。像我们目前搭节点是搭一套，我们目前也没有想过怎么给自己分钱这个问题。按照POS的机制，是根据抵押数量来决定。涉及安全和攻击，一定要平衡。

问题：执行层，DA层，Celestia和我们现有的方案，比如以太坊，zkrollups, OProllups, 还有Cosmos 其他生态项目，我自己比如想做rollups，应该如何部署？

回答： Celesita的应用方式有三种，如果直接上Celestia主网或者简单Rollups, 那么直接搭Celesia的全节点就好了。如果主权Rollups，就要考虑如何设计你的排序器，考虑如何设计自己网络的安全机制。排序器负责把数据传给Celestia，付存储数据的费用，你Rollups上的其他节点可以作为Celestia上的轻节点, 把数据从Celestia上取下来。你自己的链，做自己的业务，和逻辑。如果是量子引力桥，那是部署在ETH的合约，如果你是ETH的rollups，是不会和Celesitia打交道。

8）问题Cevmos 以太坊智能合约可以部署在Cevmos，Celesita + Cevmos +Rollups

Cevmos可以理解用来做执行层，结算。那么整个工作机制是怎样。

回答：Rollups上其他的节点从Celestia 取得数据之后，传给Cevmos上去执行，执行更新自己的状态。根据你的设计，因为你的排序者可能会执行，也可能不执行。如果要验证你的交易，打包，也需要将你的交易到cevmos中跑一下，确认你的交易是有效的，然后再打包，上传。这取决于你自己的rollups怎么去设计这个机制。Rollups将交易发给排序者，排序者将交易上传至Celestia,你的其他节点再从Celestia上把数据取下来，你再通过一个执行的虚拟机去执行。这是整个循环过程。结算层主要解决不同资产之间的交换问题，并且提供了安全保障（比如以太坊）。不同链间的资产交换需要搭桥（可信任桥和最小信任桥），需要共同结算层。目前典型的Rollups 只有一个排序者，未来会引入共识机制，比如Tendermint，Avalanche等方式，可以实现自主设计。

Chloe: Core contributor for CFG community, Bachelor of Mathematics in UCL, Master of economics in Cambridge. Interested areas include Micro: Game theory, Mechanism design, Macro: Monetary Theory, Credit System, Theory of value, Econometrics. Fallen down into the crypto rabbit hole since 2016.

Frank (Co-founder), core contributor for CFG, starting the crypto business with Chloe back in 2016. He has many years of experience in technology development, artificial intelligence, big data, search engines, and smart contract development. He previously worked in Alibaba as a senior engineer and has accumulated over 6 years of product/operation experience in the blockchain industry. He has solid professional skills in the field of WEB3.0. His interested areas include governance, Web3.0 product tools, on-chain data architecture etc. He is also the Wasm promoter and will take care of the education for Asia Community, such as the modules like Fundamentals for Wasm, Virtual machines runtime for Wasm, Front-end applications for Wasm, Cloud computing, edge computing for Wasm, Blockchain for Wasm

Overview

Several mainstream CEX introduced today include Binance, Crypto.com. OKX and Kucoin. The exchanges are directly and indirectly getting involved in the Cosmos. Of course, the participation strategy and degree of participation varies. Coinbase has made lots of efforts in the staking business through multi-chains and is focusing on developing custody and validators service. Binance and Huobi are strategically getting involved through different ways. This shows the financial conglomerates are beginning to smell the opportunities in this space.

Crypto.com

Crypto.com is a conglomerate crypto company based in Singapore. Its core business includes wallet, transaction, payment, financial management, etc. Crypto.com is the first exchange to strategically deploy through Cosmos. There are two app-chains connected through IBC, of which the one is called Crypto.Org, built on Cosmos SDK, Tendermint (ranked as the 9th), and is mainly used for staking and governance. Another one called Cronos is actually built through the Ethermint. It’s the first chain to be connected through the IBC. Since it’s fully compatible and interoperable with Ethereum, there are many folked Ethereum and Defi applications built on top. The connection to the Ethereum is done through Gravity Bridge (the pegged zone) (will be introduced later). The connection through IBC is done through major ones including Cosmos Hub, Osmosis etc.

Gaming

The current ecosystem building focuses on Gaming. They feel like the products launched so far are not from the actual user needs. There are actually problems for both pay to earn and play to earn models. The pay to earn increases the threshold for daily users. while the play to earn provides more value to speculators and ecosystem extractors. We give lots of insights in our previous discussions on the sustainability of thinking for the economics and social benefits for the crypto community. You can check this article if you are interested in the areas of game design, token incentives etc. The most recent report by Crypto.com says real gamers are willing to purchase the games and services, such as NFT assets, tools, points etc which can be used in the game. However, overestimating the incentive itself rather than understanding the users needs will bring more value extractors to the ecosystem. The problems from Axie Infinity, Stepn has brought us more deeply thinking about how to design a good game. A good game should be reasonably done off chain, but through the on-chain business model. For example, a good business model could be the staking, aggregating data for something like 1) the user behaviors 2) %the bots vs real users 3) education and usage for products.

In the infrastructure side, Cronos has also done a series of development tools, helping developers to build on top of chains, in particular for gaming. This mainly includes infrastructure, API, wallets, SDK extensions etc.

Binance

Binance began to deploy on Cosmos in 2019. The standard for Binance Chain is BEP2. It was mainly used for governance and staking. Binance Smart Chain forks GETH. and the token standard for BSC is BEP20 (Ethereum is ERC20).

Kava is the important partner for Binance entering into the Cosmos. All the major assets on Binance can be accessed on the Kava, through the DApps such as mint, borrowing, trading etc. Kava is a very interesting Cosmos app-chains and is ranked 12th on the map of the zone by time of writing. It is unique in that 1) the first chain to be connected through IBC 2) benefits from the Defi summer 3) fully compatible and interoperable with Ethereum by building through Ethermint

According to the data by DefiLlama, total TVL is 275million USD, which include 1) CDP (minting CDP) 144million US 2) Lending 115 million, 3) 12million AMM DEX on KavaSwap.

Right now, the BUSD supplied on Kava can earn the annual rate of 20%, much exceeding that of 10% in Binance. The explanation given by the community here is that the current rewards are not paid in BUSD (as what has been paid on Binace on a daily basis) or USDX (except for the smallest %). Rewards are paid out in 90% of KAVA tokens and 10% of HARD tokens. Also you must choose a 12-month release period. So the notional APY is the expected return subject to the 12-months vesting which is not comparable to the 10% APY being paid in BUSD every day by supplying the BUSD in Binance.

Besides Kava, Binance is also betting on the Band protocol. It is ranked as the No1 among all the exchanges validators accounting for 8.2% of the voting power. Band protocol is also developed through Cosmos SDK.

The developer incentive programme for Kava will be used to incentivise the developer community for 200 million kava tokens. Of course, there are some problems such as the centralization for validators in Kava is very high, but it’s not a rare phenomena for major chains . We believe some other chains built on Ethermint, such as Cronos, and OKX, Evmos are also very powerful players in this space.

Governance

There is a proposal 96 for Kava recently. The Ethermint developers requested 3million Kava tokens (5.45 million USD equivalently) to continue to maintain and improve the critical infrastructure that powers the Ethermint EVM library and thus one of the core value propositions of the Kava’s platform’s Ethereum co-chain. The validators voted yes, but Kava foundation voted no The proposal was finally rejected. As a result, the validators voting yes were very unhappy and discussed proposing a proposal to cancel the liquidity rewards for Kava Osmosis pair on Osmosis. This also shows the realistic problems (validators attack) for governance.

Huobi

In terms of Cosmos, Huobi Incubator chose EVMOS, a appchain that aims to bring the world of Ethereum-based applications and assets to the interoperable networks of the Cosmos ecosystem, while aligning developer and user incentives as their important strategic partner. They are currently hosting a hackathon event until September, as well as regular online twitter space events and workshops. The important partners include IRISNET, Ignite, Interchain, Hashkey, Figment, Kucoin Labs, Web3 Scholarship etc. The Hackathon is judged by Liam Evmos, Rain & Coffee (Mads) Maven 11, Rraneeth Srikanti from Ethereal ventures, Jim Parillo from Figment Capital, Jeffrey from Hashkey capital, Anna Carroll, Protocol Lead from Nomad, Unity Lucia Chaos CEO from Validating Chaos, Esther Guo, Investment Lead from KuCoin Labs, Onur Akpolat, Builders lead from Interchain, Jademont Zheng Co-founder from Waterdrip Capital etc.

From Multichain to Interchain

In order to solve the liquidity fragmentation problems, Evmos is going to launch the interchain accounts functionality which is EVM compatible. Also, Evmos tries to become the Hub by providing the upcoming Interchain security to the EVM chains. This interchain security is similar to the one proposed by the Cosmos Hub. In terms of on-chain governance, Evmos is good in terms of the active community by hosting the weekly community call. The engineering background for the team is also impressive. If you are interested in governance, you can check our previous articles for the latest governance development for Cosmos on mirror or medium.

Cosmos Hub validators

There are two Cosmos Hub validators for Huobi (within the 175), including the one ranked 109, another for 118.

OKX

Multchain strategy

The strategy for OKX is very clear and impressive. Our team was inspired by the multi chain strategy in the developer document. There are few things:

1. The OKX Chain is based on the Cosmos SDK Tendermint and Ethermint.

2. Their strategy is helping develop some middleware tools such as infrastructure, API, wallets,Explorers,etc. This year their strategy changed a bit, including 1) from Move EVM chains to non-EVM chains,

3. actively connecting through the IBC 3）deploying through VasmVM 4） and collaborating with Tether, aiming to bring USDT to IBC through its 5） EMV-compatible feature. Also, it’s said the TPS is higher ,reaching 4000k with lower transaction cost, hence bringing a better user experiences. orer etc.

4. The core business for OKX is trading, other competitors such as dYdX, Sei, Network, Kujira are touching this space via derivatives, spot, AMM order books etc.

5. Collaborate with Tether to issue USDT (native Cosmos SDK token version vs CosmWasm standard CW20 as OKX implements CosmWasm ).

6. Connects with the EVM bridge through the Gravity Bridge, we call it peg zone. Connects with Bitcoin through the wrapped version, multichain tools. Nomic Bitcoin Bridge is interesting as it aims to bring Bitcoin to Cosmos via peg zone. We will introduce it later.

7. Cosmwasm is also a very important part of its strategy. From the official document from Interchain Academy, we understand how the pegged zone is defined. “ How do we connect our chain to a non-Tendermint chain? The IBC connection is not limited to Tendermint-based chains. If another, non-Tendermint blockchain uses a fast-finality consensus algorithm, a connection can be established by adapting IBC to work with the non-Tendermint consensus mechanism.” The examples I think include Ethereum 2.0, Polkadot, Near, Solana etc. If the other chain is a probabilistic-finality chain, a simple adaptation of IBC is not sufficient. A proxy chain called a peg-zone helps establish interoperability. Peg-zones are fast-finality blockchains which track chain states to establish finality. The peg-zone chain itself is IBC-compatible and acts as a bridge between the rest of the IBC network's chains and the probabilistic-finality chain. A peg-zone implementation exists for Ethereum and is named the Gravity Bridge (opens new window).”

Nomic is the first bridge to bring Bitcoin to Cosmos. Bitcoin is based on the POW probabilistic finality, hence a pegged zone is required. Axelar is also a very important player in space. OKX targets to use Multi-chain tools to bring bitcoin into OKC, and hence the entire IBC ecosystem. Correct me if I understand right, it should be done through a pegged zone, in a wrapped version.

The logo for OKC's on the official website of Cosmwasm is very obvious, which shows that OKX is working closely with the CosmWasm Team. Compared with BSC (fork Geth), which is more like the Ethereum side chain, OKC is a more EVM chain developed based upon Cosmos SDK and Tendermint Core, and Ethermint. Gamefi Strategy

OKC achieves TPS through vertical scaling. At the same time, it utilizes IBC to access more chains through the horizontal scaling method. They think a good Gamefi should be “play and earn” rather than “play to earn”. Real users have the willingness to pay but, incentivised wrongly or overly will change the origin intention from the real users. So two outcomes, 1) real uses become speculative investors. 2) speculative investors are coming into the game to extract value, such as bots etc. So the strategy for OKX for 1) middleware development 2) the design for Gamefi looks very aligned with what we have been putting on Crypto.com.

Kucoin

The current information for Kucoin for Cosmos is not publicly available. We believe they are still focusing more on building their ecosystems and apps, including the EVM development tools, wallets, trusted bridges, API (Scan, infor, explorer) during the current bear market. Kucoin is the No 52 validator in the Cosmos Hub.

Coinbase

Compared with other exchanges developing their own app-chains, Coinbase decided to create the infrastructure services for validators, projects, such as white labeling, RPC services etc. Of course they have wallets, exchanges, payment, investing and other services, but Coinbase Cloud should be the interesting one to check by providing valued added infrastructure services. It also acquired the validator service Bison Trails back in Q1 in 2021. Others important validators include Stake.fish, Doki Capital, SG1, Zero Knowledge Validator, Game etc. Game is based in Japan and got much attention in Proposal 16 for Juno. We will introduce more in our next deep dive articles.

Community Questions:

1）Shushu: I saw CFG 's articles from Mirror, I like CFG 's articles very much, and I think they are very professional. I have also gone through every office hour video. Currently I am working as a product manager in the Web2 insurance industry, and also a freelancer developer. I am a game enthusiast and will myself run some scripts. I am currently learning about arbitrages bot, curious what do you think about the order book exchanges in Cosmos, such as dYdX, Sei, Crescent, Kujira etc. For example, the main thing Crescent mentioned for its order book is the liquidity range pool. I would love to know more about the competitiveness of these types of exchanges.

Frank & Ganthisway: dYdX, Sei is a leveraged perpetual contract product. Crescent is spot one I believe, and I think his flagship product should be the liquid staking.Kujira includes liquidation, order books, bridges and more product lines. So you can understand it as a Defi Hub. It is now ranked as the 7th by mapofzone, growing very quickly. Each product targets different users. For example, dYdX has many bots users right now. Sei is just getting alive and has obtained 5 million funding. Its block time is being reduced to 1 seconds, with a few thousand TPS, very close to Solana now. There are three types of models for derivatives now 1) For example, adding a pool directly to Uniswap V3 represented by the projects such as Perpetual Protocol deployed on xDai . The problem with this model is the liquidity can’t be well managed all the time, and it may be fine when the market is relatively moderate. If the market fluctuates violently, v3 will have problems causing price and slippage. 2) The other ones include Injective, dYdX, etc. This is the same problem with centralized exchanges. Whoever makes the market for it, it can attract users. The recent collaboration between Injective and Jump is also very interesting. Jump is already a strong market maker in the traditional field. The strategy for crypto is also very successful. 3) The third one is called GMX and Mxdex (now called MUX). If a user opens a position and the price for an opening position is based on the price of the oracle. For example, the oracle price of Ethereum is $1,600. When the prices want to open long or short, who is competing with him? The liquidity pool is designed called GLP (GXM) and MULP (MUX). Liquidity providers unconditionally make counterparty orders with users who trade. Users who do provide capital can get 70% of 1) funding rates and 2）transaction fees. The rest will be provided to stakers. The problem with this model is that it will impose restrictions on trader’s opening positions. For example, if a user who has been continuously trading and made lots of money, then the user who funds the pool might lose money. Therefore, there are restrictions on the amount of open positions for traders. So in conclusion, there are three types of derivatives. As for the spot, it started with AMM, and Uniswap launched V3. V3 increased the utilization of capital liquidity by targeting the specified range . There have been lots of order book model businesses on Solana. I think generally the way works is that when there is a pending order, it’s not on chain until the order will be matched. If you are interested, you can read Solana’s technical understanding, design framework, latest updates and ecosystem summary, Solana is ready for counterattack SQLANA, Monolithic vs modular chains: the recent discussions for Founders of Solana and Celestia. Anyone interested in the derivatives, you can check the article called the war among decentralized protocols. We will continue to iterate our research on this part in the future.

Hongyi from Web3 Hitchhiker: Learned a lot during this office hour.I am the tech guy. I want to talk about the Gamefi problem. The current consumption type of gamers are still very concerned about the blockchain. There is a game directly copied from the game Minecraft, and they are issuing the NFTs. The officials said it doesn’t support this event. The future is clear but we are still in the very early stage. In this bear market, I believe gaming has huge opportunities.

Reference:

https://okc-docs.readthedocs.io/en/latest/oec/overview.html

https://cosmwasm.com/

https://datastudio.google.com/reporting/565a5220-e0ff-4fe7-a67a-d3a54e070cb9/page/KbangY9rC?s=hZz66VencPk

https://twitter.com/The_Boring_DAO/status/1552048974915407873

https://blockdaemon.com/blog/how-blockdaemon-supports-cronos-crypto-org-chain/

https://app.kava.io/home

https://academy.binance.com/en/articles/proof-of-authority-explained

https://www.mintscan.io/cosmos/validators

Chloe: CFG 社区核心贡献者，伦敦大学学院（UCL)数学系本科，剑桥大学经济系硕士，擅长方向：微观经济：博弈论，机制设计，宏观经济：货币理论，信用体系，价值理论，计量经济学。

Frank：CFG社区核心贡献者，产品和运营专家，拥有多年技术开发，人工智能，大数据，搜索引擎，智能合约开发经验。曾就职于阿里任高级工程师。积累了6年区块链行业产品/运营经验，具备了WEB3.0领域的相应专业技能。兴趣点是社区治理，Web3.0产品工具，链上数据架构。

总览

今天介绍的几家主流CEX包括Binance,Crypto.com,OKX，Kucoin。这些交易所都是直接或者间接参与Cosmos。当然参与方式，参与程度有所差异。Coinbase在staking业务发力，大力发展托管和节点服务。另外Binance Labs和Huobi Incubator在战略布局Cosmos生态相关项目。但是一定程度上反映了这些金主爸爸们看到了一些潜在的机会和发展趋势。那么今天我们就来为大家重点解析一下这些CEX的版图和计划。

Crypto.com

Crypto.com是一家位于新加坡的综合性金融加密公司。其核心业务包括钱包，交易，支付，理财等。Crypto.com 是交易中最早布局Cosmos的链。根据mapofzone 交易量排名，截止目前，Crypto.Org排名第9，Cronos排名第11。Crypto.Org是基于Cosmos SDK，Tendermint 开发的链。这条链用于治理和质押。Cronos 是一条最早接入IBC的, 搭建在Ethermint（其实Cosmos 上很多链都是基于Ethermint开发的）上的EVM兼容链。Cronos 上分叉了很多以太坊的Defi应用。这条链最高峰的TVL在几十亿美金，很多用户来自于Crypto.com的用户。其与以太坊的资产打通主要采用了目前市场上较为主流的Gravity Bridge。同时其通过IBC接入了包括Cosmos Hub, Osmosis等主流链(只有五条）。

其目前的生态重点在Gaming这块。现在Gamef的问题，伪需求，不可持续性。无论是pay to earn 以及play to earn都存在潜在问题。Pay to earn 为用户提高了一定的门槛，play to earn 给投机者，生态榨取者带来了巨大的价值机会。我们在之前的文章加密社区的经济和社会可持续性思考 - CFG Labs中进行了深度的解析。当然Crypto.com最近的报告认为：真正的游戏玩家是愿意花钱去购买相关游戏和服务的，比如NFT虚拟资产，道具，Web2游戏积分等等，而本身过于强调经济激励而非从用户端切入进行产品优化本身会给生态带来过多的价值提取者，影响生态的长期发展。Axie Infinity， STEPN的问题让我们对目前Gamefi的可持续性进行了深度思考。而游戏可持续的问题不仅仅来源于项目，play to earn中激励的放大化（用户其实具有较强的愿意去购买核心资产，参与游戏，真正的游戏在链下，商业模式在链上，比如质押，比如通过行为，数据（链上+链下）追溯用户行为），机器人的参与（薅羊毛的人，真实用户比较少），也包括加密产品的使用/教育等问题。目前的portfolios包括链游项目+链游工会等。

在基础设施层面，Cronos 也做了一系列开发工具，帮助开发者在链上搭建应用, 这里主要指游戏。钱包，基础设施，API 服务，SDK插件等。

币安

币安在19年开始布局Cosmos，首先Binance chain ，其代币标准为BEP2。主要用于治理和Staking。Binance Smart Chain, 主要是Fork GETH (Go语言的节点客户端，作为以太坊的Side chain，上面很多以太坊的Fork项目，其代币标准为BEP20 （以太坊是ERC20）。

Kava是币安进入Cosmos生态很重要的合作方（当然也包括Terra, Band等）,目前币安的主流资产都在Kava上。包括Mint, 借贷，交易等。Kava是一条非常有特色的Cosmos生态链。截止最新数据，按照交易量排名第12名。1）很早接入IBC 2) 在19年参与Defi 3）基于Ethernint 开发了以太坊兼容链。

根据DeFillama数据显示，Kava的TVL目前有2.75亿美金，主要产品分三大块，分别是1）Kava铸造其中CDP（铸造USDX）有1.44亿，2）Kava借贷,: 市场有1.15亿3）KavaSwap AMM DEX目前是0.12亿美金。

CDP铸造USDX, 目前在BUSD可以赚取的年化超过20%，大于币安上的10%。这里面社区给到的解释是目前的奖励并不是以 BUSD （在币安中每天支付） 或 USDX 支付的（除了最小的 %）。奖励以 KAVA 代币的 90% 和 HARD 代币的 10% 支付，您必须选择这些奖励的 12 个月释放期才能获得名义上的 APY。所以你在一定程度上推测这些奖励代币在 12 个月后的未来价值。

Kava 上线的开发者计划将会将财政库的2亿的kava token用于支持生态的开发者社区。当然目前Kava的节点分布中心化程度目前在Cosmos SDK链里面非常高，这是个常见的问题。同时搭建和Kava一样基于在Ethermint搭建的其他团队综合实力也非常强劲，比如Evmos， Cronos等。

最近一个Kava 96号提案也是非常抢镜。Ethermint的开发者要求从kava国库里拨款300万个Kava （500多万美金）支持他们开发Ethermint，理由是因为Kava使用了他们的代码。社区投票都是同意，然后Kava自己用大量代币给一票否决了。结果一些投支持票的节点，扬言要取Osmosis, 给Kava和Osmosis的奖励通过提案撤销。这也反映了现实中很大的治理问题（红军大叔）。最后再简单介绍下Band Protocol。Binance Validator 质押的band token数量目前是所有交易所中最多的，约占据到8.2%。Band Protocol 也是基于Cosmos SDK 开发的。

Huobi

对于Cosmos生态，火币孵化器选择EVMOS作为重要战略合作伙伴。在今年8到9月份主办Evmos的重要活动Hackathon,以及定期面向Huobi和Cosmos社区的线上twitter space活动。其重要参与方包括IRISNET， Ignite, Interchain, Hashkey，Figment, Kucoin Labs，Web3 Scholarship等。EVMOS目前是Cosmos生态最活跃的Zone,他们的核心团队也来自Ethermint,OKX， Cronos, Kava也都采用了该技术实现EVM兼容的功能。该黑客松的评委有Eric from fundamental labs, Jeffrey Hu from HashKey， Esther Guo from Kucoin Labs等。

从Multichain到InterChain战略

为了解决多链的流动性割裂问题，Evmos将上线interchan accounts功能（基于基础功能，做了EVM兼容功能）。同时，Evmos致力于成为所有EVM链的Hub，通过其即将推出的Interchain security 来对一些中小EVM链来提供区块生产的跨链安全服务，这个功能类似于Cosmos Hub的Interchain security。关于链上治理的问题，Evmos目前仍然属于Cosmos生态较为活跃的社区之一。同时团队的工程背景也是可圈可点的。有兴趣的童鞋可以看我们之前的文章Cosmos 最新的治理发展。

Cosmos Hub节点

火币pool目前有两个节点在175个节点以内，一个是排109名，另外一个是118名。

OKX

OKX的布局比较清晰和激进。我们团队也阅读了开发者文档，这里面提到了其多链战略（Multi-chain)。1）首先OKX Chain是基于Cosmos SDK和Tendermint Core以及在Ethermint基础上开发了OKX Chain。2）他们主要目标开发一些中间件，基础设施，比如API， 钱包，浏览器等。3）OKX核心的业务在交易，这在Cosmos上的其他应用链也并不少见。比如dYdX, Sei Network，Kujira, Osmosis等 （衍生品，AMM，orderbook）4）并且与Tether 合作发USDT （CW20，CosmWasm标准?wrapped，中心化）5）和以太坊的链接 通过EVM桥(比如Gravity Bridge)，和比特币网络通过wrapped（中心化），pegged zone (nomic) 6）CosmWASM模块也是其战略中非常重要的一块。

这里借用下官方的解释。我们如何将我们的链连接到非 Tendermint 链？IBC 连接不限于基于 Tendermint 的链。如果另一条使用快速确定性共识算法的链也可以通过 IBC 与非 Tendermint 共识机制一起工作来建立连接。（包括以太坊.0 波卡平行链2，Near，Solana）

如果另一条链是概率确定链，那么简单的 IBC 是不够的。称为 peg-zone 的代理链有助于建立互操作性。Peg-zones 是快速确定性区块链，可跟踪链状态以建立确定性。peg-zone 链本身与 IBC 兼容，并充当 IBC 网络的其余链与概率确定链之间的桥梁。比如Gravity Bridge 就可以理解为是一个连接IBC和EVM的Peg Zone。

Nomic 是一个将比特币网络接入IBC的桥，比特币是基于POW的共识机制（概率确定性），所以需要通过Pegged Zone接入。Axelar也是桥这块的重要玩家。而OKX将用一些Multi-chain的工具将比特币网络接入OKC。我理解应该是基于wrapped资产的形式接入。

Cosmwasm官网上OKC的logo位置比较显眼，这说明了OKX近期在积极布局Cosmos生态。相较于以太坊侧链的BSC来说 (fork Geth)，OKC是基于Cosmos SDK和Tendermint Core开发的链，而且在Ethermint基础上改造的EVM链 （类似于Cronos）。今年的重心要逐步转向至非EVM生态，比如积极接入IBC，布局Wasm VM, 通过与Tether公司合作，将USDT通过IBC引入其他生态。相较于币安，其TPS也号称可以高达4k。

GameFi布局

OKC通过在技术上垂直扩展提升来TPS，同时通过IBC来水平扩展让资产流通到其它链，他们在GameFi领域的想法是Play and Earn,而不是Play to Earn,他们觉得paly to earn并不是一个用户的真正需求，很多是机器人在参与，真实用户是比较少的。他们更多是想发掘真正给用户带来价值的GameFi产品。无论是1）中间件的开发，2）Gamefi的设计，这个理念和上文提到的Crypto.com 比较一致。

Kucoin

目前KCS的公开Cosmos相关信息相对较少，主要还是专注在搭建自己生态的产品和应用，包括一些EVM兼容的开发工具，钱包，可信桥等。API (Scan, info, explorer (数据产品）Kucoin是Cosmos Hub的第52大节点。

Coinbase

相较于其他交易所独立开发链的战略，以及钱包，交易，支付，理财等服务，Coinbase Cloud 是其最具有特色的产品。目前Coinbase选择为各种链搭建基础设施，其中包括白标服务，RPC等节点服务。2021年第一季度以8000万美金收购了专业节点服务商Bison Trials。目前排名是Cosmos Hub节点第一位。其他的积极参与治理的包括Stake.fish, Dokia Capital。SG1, Zero Knowledge Validator, Game等。Game是base在日本，在Juno 提案16中备受关注的节点。

社区提问：

1） 书书：从Mirror上看到CFG 的文章，非常喜欢CFG 的文章，觉得写得很专业。并且相关的office hour视频也都看完了。目前在Web2保险行业做产品经理，同时也是业余开发者。链游爱好者，自己会运行一些脚本。最近在学习套利机器人。我想聊聊Cosmos中order book的交易所,dYdX, Sei, Cresent， Kujira等。这部分怎么看？

Cresent的特色在于提供流动性的Range pool，我想了解这种类型的交易所的核心竞争力。

Frank &Ganthisway:dYdX，Sei是永续合约，杠杆。Crescent现货为主，他的主打产品我理解是liquid staking。Kujira包括清算，产品线更多，你可以理解为是一个Defi Hub。每个协议的产品，以及面向群体不一致。比如dYdX的用户很多都是机器人， 真实交易用户并不多。Sei目前刚上线，获得500万美金融资。衍生品是个很大的赛道，Cosmos这块很有优势，Sei出块时间1s, TPS也有几千/s，很接近Solana了。最近研究的期货有三种模式 1）比如直接在Uniswap V3 上加池子，代表有在xDai上部署的Perpetual Protocol。这种模式的问题就是首先，流动性不太好，可能行情比较缓和的时候还好，如果出现行情剧烈波动，v3会出现引发价格和滑点的问题。这种模式有问题。2）另外一种就是Cosmos上的Injective，dYdX等。这个就跟中心化交易所的问题是一样的。谁给其做市，谁就能吸引用户。Injective和jump最近的合作也非常有趣。Jump是很强的，传统领域过来的做市商。3）还有一种模式叫做GMX和Mxdex（现在叫MUX）的项目。如果用户来进行开仓，按照预言机的价格开仓，比如预言机显示价格以太坊现在是1600美金，用户要开多或者开空的时候，谁来和他做对手盘？他设计了一个资金池，叫GLP （GMX), MULP (MUX)。流动性提供商无条件和做交易的用户做对手盘。做资金池的用户可以获得收益1）永续合约的资金费率，交易手续费（很大一部分）。这种模式的问题，交易用户是有开仓限制，比如一个用户一直在交易挣钱，那么做资金池的用户就会亏钱。所以对用户开仓量有限制。所以期货这块就这三种。至于现货这块，最开始是AMM，Uniswap 又推出了V3, V3在之前的基础上增加了资本的流动性的利用率。Solana又出现了链上挂单的, order book的交易方式。我并没有深度研究，但是感觉挂单的时候可能并不上链，撮合成交以后的结果才上链。对于Solana想了解的童鞋，可以看Solana 的逆袭之路 - SQLANA，Solana的技术理解、设计框架、最新产品以及生态简介 (一)，单片链 vs 模块链- Solana 和Celestia创始人最新辩论等。对衍生品感兴趣的朋友也可以看去中心化衍生品协议之战，我们也会在之后继续输出这块的观点。

Hongyi: W3.Hitchhiker: 听下来很有收获。我想补充下Gamefi的问题。目前消费型的游戏玩家对区块链还是非常抵触的。之前模仿我的世界游戏，也出了些NFT。官方表明并不支持该活动。所以要实现这个愿景还是比较漫长。在这个熊市可能是最先起来的应用。

Reference

[https://okc-docs.readthedocs.io/en/latest/oec/overview.html

https://cosmwasm.com/ ](https://okc-docs.readthedocs.io/en/latest/oec/overview.html

https://cosmwasm.com/ )

https://cosmwasm.com/

https://datastudio.google.com/reporting/565a5220-e0ff-4fe7-a67a-d3a54e070cb9/page/KbangY9rC?s=hZz66VencPk

https://blockdaemon.com/blog/how-blockdaemon-supports-cronos-crypto-org-chain/

https://app.kava.io/home

https://academy.binance.com/en/articles/proof-of-authority-explained

https://www.mintscan.io/cosmos/validators

https://mobile.twitter.com/CoinbaseCloud/status/1557426628275212288

https://www.coinbase.com/cloud/discover/insights-analysis/interchain-accounts-cosmos

https://mobile.twitter.com/EvmosOrg/status/1489282541836124163

** **

** **

Content contributor Andy: With many years of experience in the products of major Internet companies, he is currently working in the core product position of a leading global blockchain company. He has deep minds and logic on Web3.0 products and governance.

Overview

Our governance philosophy comes from traditional enterprises and emerging organizational structures (DAOs) including on-chain + off-chain, Chainlink's DAO research reports, etc., which are valuable for our in-depth thinking. MakerDAO is a pioneer in the industry. Its underlying protocol Maker is one of the largest Defi protocols in the space developed based on Ethereum, and its stable currency is Dai. They learnt from the way traditional companies operate. The Constitution is similar to the Articles of Incorporation, and committees are designed in much the same way as a company's board of directors. The current company's board of directors is composed of stakeholders such as shareholders, and the committees in MakerDAO are not necessarily Maker holders, but professional experts (such as lawyers, risk management, technology management, operations) elected by Maker token holders). The mechanism here is similar to the people's Congress, professional talents and full participation from Optimism's Two token house model, Osmosis will also soon adopt it. MakerDAO's existing voting mechanism is to use off-chain signatures tools (such as snapshots), and collect corresponding wallet addresses and balances using on-chain snapshots, obtaining corresponding voting weight, activity and other information. Although the mechanism itself is still a game controlled by big players, and at the same time the committee consisting of professionals also has significant power. Maker DAO is still a very good DAO prototype in the industry. So in conclusion, the governance of DAO is relatively flat organized where smart contracts are deployed on-chain, while the governance for the company is more focused on the hierarchical structure .Cosmos's minimalism, altruism, modularity and other characteristics are the evolution and progress from the monolithic chain. Ethereum is essentially a block competition, which is of great significance for the value capture of the protocol itself (fat protocol, thin application thesis), but it is not very friendly from the user's point of view. We believe that when the next bull market comes, it may still be difficult to achieve an order-of-magnitude drop in Ethereum gas costs . The previous Twitter discussion on Ethereum by Three Arrows Capital and Paradigm engineers (Flashbots) was quite forward-looking. Cosmos probably focuses more on developer/user friendly. It tries to solve the problem of block competition through the design of the application chain, and reduce the impact gas has brought about, so as to provide on-chain governance efficiency and greatly improve the voting participation (average 50% vs single digits on Ethereum). The governance of Ethereum is still centralized off-chain , and involves nodes/players. It implements the corresponding governance process through less direct on-chain behaviors (such as the Genosis Safe tool, which uses multi-signature for governance).

An trablizer for this within Cosmos is the Cosmos Hub, which focuses on credit neutrality. The number of nodes expanded from 125 to 150, and then to 175 . Cosmos Hub introduced the incentive model of stakedrop (airdrop), incentivizing Atom stakers to delegate to nodes (rather than exchanges). Osmosis, Evmos, and Juno are the pioneers for Stakedrop. For all the appchains, we can divide them into Permissionless Chain and Permissioned Chain. Both Evmos and Juno focus on permissionless, as well as some new projects such as Lido, Neutron, Archway (which focus on developer friendliness, incentive consistency, etc.), while Osmosis belongs to the Permissioned one.

DAOcentral tries to classify the DAOs currently on the market, investment sector, protocol sector (MakerDao), product-driven DAO (Party DAO), social networking (DAO), Grants DAO (donations to project parties Osmosis DAO, Gitcoin DAO), NFT collection, education, media, enterprise services (DeveloperDAO does talent output and training for projects, etc.).

Before we discuss DAO cases and governance issues in detail, here are some questions raised by Andy Hall of Stanford University about DAOs that are more centralized in the market today :

1.Participation: Low participation of token holders in governance

2.Information and expertise: Most token holders are unlikely to have sufficient time or the requisite expertise to make informed decisions on complex governance topics such as complex technical issues.

3.The problem of robot voting, which happened a lot for Juno. Osmosis is also more frequent, with more than 300 proposals already.

4.The stakers, committees, and multi-signature wallet signers in the DAO have different rights and incentive mechanisms. During the development of the DAO, it is necessary to actively adjust the corresponding incentive measures. For example, how to motivate people discussing the chain, For example, for Commonwealth discussions on Osmosis, users are connected to the Keplr wallet. The Osmosis can be incentivized through data sampling, for example, for active activity. Other channels such as discord are also good places to incentivise through either robots/points upgrade. Governance of the Cosmos Hub In the past more than three years of operation of Cosmos Hub, the number of nodes has been expanded twice from the initial 125, to 150 first, and to 175 second. Each node expansion requires a permissioned governance proposal. Each proposal requires a draft by a community such as the threshold for node sets, the geographical location of the node server , the audit standards of the Interchain Foundation, etc., and then initiates a formal proposal on the chain , and Atom stakers can participate. At present, Cosmos Hub has two governance modes: the first is the internal governance of active nodes, similar to the traditional company shareholders meeting mentioned above. It is generally used to deal with crisis events and discussions on governance proposals on the chain. Major nodes/talents express their own different opinions. This is similar to the voices of Members of Parliament in different regions representing the voters in their own regions. The second is to initiate proposal governance on the chain, and all stakers can vote. For example, Proposal 69 and 72 are governances with relatively high community participation this year. In Proposal69, it is proposed that the Cosmwasam module should be added to the Cosmos Hub. For those who are interested in this piece, you can read our previous article Cosmos12 Fireside Discussion: A Cosmos Community Event You Can't Miss - with Cosmwasm Proposal69 Interpretation , CosmWasm on Osmosis, Cosmoverse Cross-chain smart contract engine and others. Jae Kown used Gnoland to try to bribe votes, and only those who voted No could get the airdrop, and the proposal was rejected (in May). However, after only 2 months, there was a change. Proposal 72 is about using the treasury funds for ICF to support the consumer chain, and the launch of the contract consumption chain (vs customized consumption chain ) requires CosmWASM to be deployed on the Cosmos Hub, so the CosmWasm function will eventually be launched thanks to the introduction of consumption chain . The consumer chain testnet will be launched in the second half of the year, and the official launch will be in January next year. The consumer chain maintains security via Cosmos Hub validators. The launch of cross-chain security will bring value capture to Atom and give the corresponding value (25% of total revenue) to Atom stakers. The results of these two proposals have far-reaching implications for the future direction of the Cosmos Hub.

The value capture of Atom tokens is one of the most challenging aspects of the Cosmos Hub. At the recent meeting in Seoul , ICF members also stated that their three pillars as the Cosmos Hub mainly include: Currency (payment), public goods (Bitcoin, Ethereum), Cross-chain security. Many people will continue to debate the issue for value capture, which goes back to the question of how to define value capture. Is value capture a simple reflection of the price of Atom or a reflection of the overall value of long-term ecological development? Although Atom token price itself was not particularly prominent in Layer 1 mafia , Hub has always maintained its trustworthy and neutral principle which other app-chains find it's hard to be replaced. At the same time, this also allows us to see the altruism in "Atom", which is a trade off of short-term pain for sacrifice of its own price vs long-term win for the ecosystem benefits.

Governance of Osmosis

OsmosisDAO was the first team to fund CFG Labs . Its core protocol, Osmosis, is the first Interchain DeFi liquidity protocol and the core application chain within the Cosmos ecosystem. It is launched through the Fair Launch, and 25% of the tokens are airdropped to Atom stakers. The main forms of Osmosis's first step of governance include internal discussions among nodes (which have not yet introduced expert teams), as well as open public discussions. The current process and method are similar to Cosmos Hub, which is currently happening in Commonwealth (a governance Web3 product), and Osmosis motivates on-chain users who participate in governance according to the activity for posting proposals. After a discussion of 3–7 days, voting will happen on the chain. Analyzed based on the recent Osmosis voting, among a total of 135 validators, an average of 50–60 validators did not participate in voting. More than half of the top ten nodes did not vote for more than 50% of the proposals, which may be related to the frequent voting by Osmosis. However, compared to other protocols, the overall participation of the top 20 nodes is still relatively high, exceeding 40%? There are several nodes that are good at governance, such as Notional , Emperor Osmo (Hathor Nodes, Imperator, Oni validator ) who often express their opinions, and their voices on social media have a greater impact on the outcome of governance proposals. The mechanism/strategy of posting relevant political opinions/interactions is similar to the democratic election. The results for the recent proposals 307 and 309 are also unexpected. The big players voted No, and other investors voted Yes. The final result is No. Here we think there are still a lot of bots getting involved. Whether it's airdrops, trading, or voting , bots are very common in this industry. I think this form of open discussion is ultimately positive for the long-term development of the protocol, including the previous CosmWasm protocol 69. Finally, a module (Protocol 72) was added. At present, Osmosis's proposal is still greatly influenced by the top 20 nodes/big players. Of course, this centralization problem is expected to be alleviated by the design of Citizen House (introduced below). Osmosis has plans to implement the Two token house model from Optimism. At present, it is mainly divided into Citizens house and Token house where it's similar to the House of Lords and House of Commons in democratic elections. Token house is a regular DPOS/PBFT mechanism for the selection of representatives, then the representatives vote. Citizen house, on the other hand, mainly promotes and manages the distribution of funds for retrospective public goods. Professional Citizen status will be granted by "soulbound", the collection of citizens will grow over time, and there will be corresponding incentives. The mechanism for allocating citizenship will be determined by the Foundation based on the opinion of Token House. (

https://gov.optimism.io/t/working-constitution-of-the-optimism-collective/55 ) The current problem is that although the OP proposed this model, the mechanism for assigning citizenship has not yet come out. The current governance is also the conventional DPOS voting governance. The recent discussion https://gov.optimism.io/t/lets-talk-about-identity-in-the-citizens-house/2170 . It seems that there are still many issues to be discussed and unresolved, such as how to prevent corruption,sybil attacks etc. The plans for governance of Osmosis is as follows: governance proposals are mainly proposed by some professionals such as technical experts/theoretical experts/economic experts/protocol experts/governance experts/active community members/legal governance who will together manage the direction of the chain , and they will also put the discussions on the Commonwealth for discussion. Only after the certain threshold has been reached, on-chain voting can be accessed by the community. Osmosis currently has three sub-DAOs: 1) Osmosis Grants, which use USDC/Osmosis to fund ecosystem projects. 2) Marketing DAO, such as meeting, producing content. 3) Operation DAO, to help users use the product. There may also be a developer DAO, CosmWasmDAO, etc. in the future.

Governance of the Juno Network

Juno Network is the most representative permissionless blockchain in the Cosmos ecosystem, with a relatively high degree of decentralization. The governance activity on the chain is relatively high, and the number of real users is also considerable. The number of developers is 50–100 (some are from Terra, Terra developers either stay, or build another App-chain (Mars protocol) or contribute to Juno, Osmosis. The main active nodes include Notional DAO, Strangeloves, Oni, Dimi @dimiandre (Core 1 contributor), etc. Up to now, it has been attacked many times by the Wasm contract. There was one in April this year, and one most recently. The reason is that the team knows that there is a bug that needs to be updated. Before the update, someone took advantage of this bug and attacked through the contract. Because of the underlying characteristics of Wasm consensus, the mechanism of Tendermint in Cosmos is changed. This will lead to the stop of the chain. As a result, every time the chain is restarted, all nodes of Tendermint are required to participate in the operation, ( this is the design that Tendermint pays more attention to security vs. Ethereum that pays more attention to liveness ). Although user funds will not be threatened, it will greatly affect the user experience. We think the two downtowns might be the spoofs from the core team. Some of the current governance issues with Juno DAO include:

Juno DAO's Proposal16 is one of the most controversial governance proposals in the history of DAO. The content of the proposal is to deal with the stakedrop amounts of a centralized institution called Game participating through the Sybil attack, using 50 accounts, each of which has 500,000 Juno. It was widely discussed on twitter, and the proposal was finally passed. Later on the corresponding proposals on how to allocate the funds such as returning to the treasury were raised.

The proposal 9 is about the decision to close the chain of Cerberus. Although the vote did not pass, it reminds everyone that it is immature to directly upload the proposal without deep thinking and pre- discussion. The community has also proposed some solutions. For example, the Evmos team said that only some proposals with an intensive community discussion will be considered to be put further on-chain for voting. To sum up, there are four points:

The governance of Juno DAO has a lot of power, and the code can be directly modified by governance or released by the new one. The power of Cosmowasm can directly change the state of the blockchain. Juno has been attacked twice by malicious Wasm smart contracts before, causing the chain to stop running.

Some controversial proposals are less discussed on internal forums, but are discussed as hot topics on twitter ( Is it possible to do off-chain governance through Twitter Discord, crawler? )

Regarding the governance for some crisis events, nodes and core teams normally skip the governance.It is difficult to find the right person for bugs issues. Juno is ready to solve existing problems with SubDAO. Proposal25 (Juno SubDAO Principles: https://www.mintscan.io/juno/proposals/25 ) has passed relevant proposals and is managed by DAODAO ( the cross-chain function of DAODAO is expected to be launched after interchain security ) . For example, the recent proposal 27, " Hack Juno SubDAO " is the first SubDAO, developer DAO, it's transparent and easy to manage. It can initiate proposals, vote, through the DADAO. The management right of SubDAO belongs to Juno community DAO (that is, Juno Chain Governance), that is, the establishment of SubDAO, fund request, management , etc. all require the approval of Juno's on-chain proposal. SubDAO is mainly responsible for the execution of specific issues, and SubDAO's behavior represents the Juno community DAO. (Reference: Juno SubDAO Principles: https://www.mintscan.io/juno/proposals/25 ). Disadvantages of this model include:For some core issues, such as fund processing and chain upgrade, SubDAO cannot be passed well alone to improve efficiency, it's still required to vote on the main chain.

• Insufficient user participation, although Juno's participation rate in the entire ecosystem has been relatively high, its part-time feature for majority core developers has also made Juno a legend in the industry. Under the DPOS mechanism, the node obtains the ownership of the staker by default, but if the user's vote is inconsistent with the node's stakers, the user's vote can always override the node's stake. For this part of governance in Cosmos , you can check our previous article , the pioneer of Cosmos - Osmosis, after IBC, see how ICS and ICA reconstruct the encryption industry , Cosmos Thesis- The rise of Osmosis application sovereign chain Osmosis Beyond Coinbase? What are the cutting-edge technologies and new features in 2022. The future governance direction will introduce weighted governance (including voting based on 1) nodes vs. user voting , 2) based on content, such as chain upgrades, contract deployment, use of funds etc. vs. others , 3) such as governance through the main DAO or SubDAO ) . Ultimately the weighted governance will be based on the comprehensive score . This is also a way to improve decentralized governance.

  Governance of Evmos

  Evmos' stakedrop covers most wallets in crypto history (most of them are Ethereum wallets) (2 million addresses). At present, 25% of the 100 million tokens have no claim (if everyone forgets to claim it, it should be still available now, but subject to decaying function along the time). In addition to the basic governance plan, Evmos will have a governance chat every week in the Comonwealth, Discord channel, where community members can ask questions, and proposal proposers will answer questions. Normally tens of people will participate in each meeting. At present, proposals are mainly made by active community members, teams, and stakeholders (proposals related) . The voting participation of Evmos is relatively high. About 2/3 of the nodes participate in the each proposal, and many nodes discuss the governance proposal in the discord governance channel. Their governance has recently been a lot about products, for example ERC20 modules, and the launch of ecological dapps. Recent controversial proposals include 32 (

1. https://www.mintscan.io/evmos/proposals/32 ) Evmos dapps' Bootstrap Liquidity Proposal, which was voted on-chain a month after being proposed on commonwealth, but not enough discussion on Commonwealth. Because the proposal is too general and the content is not detailed enough, it has caused a lot of discussions and questions. This also shows a problem, most people do not have the time and energy to pay attention to the proposals on commonwealth. Proposals tend to attract everyone's attention only in the voting stage of on-chain either through twitter or other channles. Proposal 30 ( https://www.mintscan.io/evmos/proposals/30 ) Exswap Bootstrap Proposal (Uniswap V2 folk) ended up being Yes: No 40% : 42% were rejected. Chinese community participation is high. Some of the team's actions have led to suspicion among members of the Chinese-speaking community. Although the Chinese community reminded some validators of some potential risks at the first time, several major ones insisted on voting Yes. Less than two hours before the end of the proposal, a Chinese community member found a core piece of evidence and issued evidence that the Exswap developer's wallet address was associated with a rug project wallet previously. Then the results changed for the last minute. The result of this proposal is not important, but we can feel the relatively active atmosphere for the Evmos community is still relatively active. Also the participants are relatively focused on governance of their interests (this may be a common problem that needs to be solved in the industry, vote yes if it benefits me, vice versa) . Participating in governance is meaningful, and individual community members can even influence the outcome of governance proposals. Of course, the degree of centralization of Evmos governance is relatively high but it's normal for an early stage protocol in the industry. A total of 19 nodes voted yes for this proposal, and 50 nodes voted no. In the end, the ratio of yes and no is very close, which shows that the big players still have a lot of control over the voting results. Summery Some of the above governance views on several protocols in the Cosmos ecosystem come from Stakefish and the slim validator ; Optimism's Two house model gave us a lot of inspiration where Osmosis Dao intends to take the inspiration on the model as well. Juno instead directly uses Sub Dao to refine governance. In the future for governance, we will focus on the following solutions such as:

2. The Sub DAO will use the DAO DAO. After the interchain security is launched, the on-chain governance of the entire Cosmos ecosystem can be governed by DAO DAO tools. 2.Some education should be done during the period after the draft discussions but before the formal chain-proposals, in order to make sure the people understand what they are voting for, especially for more complex governance proposals.

3. Discussion for controversial topics tends to have more strategic reasons to be voted on-chain instead of using the voting for all strategy.

4. How to prevent governance attacks: vote bribery, node collusion, bot swiping, sybil attack Reference What can DAOs learn from traditional corporate governance? https://forum.makerdao.com/t/research-driven-insights-about-dao-governance/12471 https://whimsical-lightning-304.notion.site/Osmocon-Panel-Osmosis-SubDaos-and-Governance-Mike-Barb-OSL-mod-Stephen94K-OMM-EmperorOsm-3694234fd3c5498caa39ffed5fbea78d Better Governance With SubDAOs - Andrea Di Michele https://medium.com/a41-ventures/governance-memo-osmosis-july-week-4-2022-ec2f51bec523 https://blog.chain.link/daos/ https://silentvalidator.com/

内容贡献者Andy简介：拥有多年互联网大厂产品经验，目前就职于全球区块链企业核心产品职位，对Web3.0产品，治理有着深度的思考和逻辑

总览

我们的治理理念来源于从传统企业以及从新兴的组织架构（DAO）包括链上+链下，Chainlink对DAO研究的报告等，对于我们的深度思考都有参考价值**。MakerDAO是行业的践行者，其载体Maker是基于以太坊开发的Defi领域最大的协议之一，稳定币为Dai。他们借鉴了传统公司的运营方式。Constituion（宪法）类似于公司章程，而委员会的设计与公司的董事会有异曲同工之妙。现行的董事会是由股东等利益相关者而构成，而MakerDAO中的委员会并不一定是Maker持有者，而是由Maker持有者选出来的智囊团（比如律师，风险管理，技术管理，运营管理人才）。这里的机制类似于人民代表大会，Optmisim的Twotoken house model 中的专业人才和全员参与，Osmosis也很快会采用。MakerDAO的现有投票机制，是通过链下工具签名(比如snapshot)，运用链上快照搜集对应钱包地址以及余额，并且获得相应投票权重，活跃度等信息。尽管机制本身还是一个大户掌控的游戏，智囊团也有很大的权利，但是MakerDAO是行业中非常好的DAO雏形案例。相比而言，DAO的治理相对扁平化，通过链上实现合约部署，而公司的治理更类似于层级架构。**

Cosmos的极简主义，利他主义，模块化等特性都是从单片链到模块化领域的演变和进展。以太坊本质上是一场区块竞争的游戏，对于协议本身的价值捕获有很大意义（胖协议，瘦应用理论），但是从用户角度来讲并不非常友好，我们认为下个牛市来临的时候，以太坊的燃料费用可能还是很难实现数量级的下降。三箭资本和Paradgim工程师（Flashbots）之前针对以太坊的Twitter讨论还是很有前瞻性的。Cosmos在这方面可能考虑得更多，更为开发者/用户友好。其试图通过应用链的设计解决,分流区块竞争的问题，并且降低gas的影响，从而充分发挥了链上治理的优势，大大提升了投票参与度(平均50%vs以太坊上的个位数比例）。以太坊的治理目前还是集中在链下，并且介入节点/和信任，通过不太直接的链上行为实现相应的治理过程（比如GenosisSafe 工具，利用多签实现治理）。

Cosmos中比较早的践行者是CosmosHub，其主打creditneutral(中立性)。节点数一度从125拓展到150个，再到175个。CosmosHub开创了stakedrop（空投）的激励模式，激励Atom质押者将代币质押给节点（而不是交易所），比如Osmosis，Evmos，Juno是Stakedrop中最有代表性的。这其中我们将其分为PermissionlessChain 和PermissionedChain。Evmos和Juno都是主打permissionlesschain，还有一些新晋的Lido,Neutron, Archway(主打开发者友好，激励一致性等）等项目，而Osmosis则属于Permissionedchain的特色应用链。

DAOcentral 试图给目前市面上的DAO进行分类，投资板块，协议板块（MakerDao），产品驱动的DAO(Party DAO), 社交（DAO),Grants DAO (给项目方做捐赠OsmosisDAO, Gitcoin DAO), NFT 收藏，教育，媒体，企业服务（DeveloperDAO给项目做人才输出和培训等）。

1）参与度：代币持有者在治理中的参与度低

2）信息量和专业知识：大多数代币持有者不太可能拥有充足的时间或必备的专业知识的情况下，就复杂的技术问题做出明智的决定。

3）机器人投票的问题，Juno之前出现了很多。Osmosis也比较频繁，已经有300多个提案。

4）DAO里面的质押者，委员会，多签钱包签名者，每个人的权利也不一样，激励机制也不一样，DAO的发展过程中需要积极调整相应的激励措施。比如链上讨论的人，如何激励（Osmosis上Commonwealth（连着Keplr钱包，比如项目方Osmosis会去采样数据进行激励）对于活跃度有激励，比如Discord我们现在有机器人/积分升级的激励）。

CosmosHub的治理

CosmosHub运行的这三年多，节点从最初的125个扩展了两次，第一次扩张到150个，第二次到目前的175个，每一次节点扩张都需要社区治理提案，提案最初都由社区提出一个草案，比如进入节点集合的门槛，节点服务器的地理位置，InterchainFoundation的审核标准等等，然后在链上发起正式的提案,Atom质押者都可以参与投票。

目前CosmosHub有两种治理模式：第一种活跃节点内部治理，类似上文提到的传统公司股东大会，一般用于处理危机事件以及链上治理提案的讨论，各大节点发表自己不同意见，这就类似不同地区的国会议员议员代表自己地区选民的声音。

第二种通过链上发起提案治理，所有质押者都可以进行质押投票。比如Proposal69和72是今年社区参与度比较高的治理。在Proposal69中提议Cosmwasam模块应该添加至CosmosHub，对于这块有兴趣的朋友，可以看我们之前的文章Cosmos12炉边对话：你不可错过的Cosmos社区活动-附CosmwasmProposal69 解读，CosmWasmon Osmosis, Cosmoverse的跨链智能合约引擎等文。JaeKown用Gnoland,试图贿赂选票，投No的才能获得空投，最终提案被拒拒了（5月份）。不过事过才2个月之后，就有了很大反转。Proposal72 关于利用ICF财政库的资金去资助消费链，并且合约消费链（vs定制化消费链）上线是需要CosmWASM部署在CosmosHub上的，所以最终CosmWasm功能还是会通过消费链的形式上线。消费链测试网会在下半年上线，正式上线会在明年1月份。消费链通过CosmosHub节点维护安全，跨链安全的上线将为Atom带来价值捕获同时会把相应价值（25%）给到Atom质押者。这两个提案的结果对CosmosHub的未来走向比较有深远意义。

Atom代币的价值捕获是CosmosHub最有挑战性内容之一，在最近首尔的会上，ICF的成员也表示了其作为CosmosHub的三大支柱主要包括：货币（支付），公共商品（比特币，以太坊），跨链安全性；很多人也会一直争议其价值捕获的问题，这回到了如何定义价值捕获的问题，价值捕获究竟是Atom价格的体现还是生态长期发展整体价值的体现?尽管从表面上看，Atom代币走势在去年的Layer1mafia中并没有特别表现突出，但是Hub一直在保持自己可信中立的原则，而这个也是Cosmos生态其它应用链目前还不能替代的部分。同时这也让我们看到了Atom身上利他主义的体现，这是一个短期牺牲自己价格painvs 长期生态系统获益win的tradeoff。

Osmosis的治理

OsmosisDAO是第一个资助CFGLabs的团队。其核心协议Osmosis是第一个Interchain的DeFi流动性协议，是Cosmos生态最核心的一条应用链，以FairLaunch的形式上线，其中25%的代币空投给Atom质押者。

Osmosis的治理第一步主要形式包括节点（还没有引入专家团队）内部讨论，以及开放式公开讨论。目前这个流程和方式这个类似于CosmosHub,目前放在Commonwealth（Web3产品）,而且Osmosis通过发帖活跃度来激励参与治理的链上用户。在经过一段时间后（3-7天）进行链上投票。从最近Osmosis的提案来看，一共135个验证节点，平均50-60个验证节点并没有参与投票。前十名节点，有一半以上没有投50%以上的提案，这个可能和Osmosis投票比较频繁有关。不过相对于其他协议，前20名节点的整体参与度还是相对比较高的，超过40%?。有几个擅长治理的节点比如Notional，EmperorOsmo (Hathor Nodes, Imperator, Oni validator经常发表意见，他们的在社媒上的发声对于治理提案的结果有比较大的影响。这里类似于国会议员在竞选前发表相关政见/互动，机制/策略和民主竞选比较像。最近提案307和309的结果也比较意外,大户投的是No，其他投资人投的是Yes。不过最终结果是No。这里我们认为还是有很多机器人参与在其中。不管是空投，交易，还是刷票，机器人在这个行业都很常见。我认为这种公开讨论的形式最终对于协议的长期发展是正向的，包括之前的CosmWasm的协议69，最终还是添加了模块（协议72）。目前Osmosis的提案还是受前20大节点/大户影响比较大，当然这个中心化问题有望通过CitizenHouse的设计缓解（下文介绍）。

Osmosis计划采用Opitimism的Two token house model。目前主要分为Citizenshouse和Tokenhouse。类似于民主选举中的上议院和下议院。Tokenhouse就是常规的DPOS/PBFT选取代表，再由代表去投票。而Citizenhouse则主要促进和管理追溯公共产品资金分配。专业的Citizen身份将由“soulbound”授予，公民的集合会随着时间的推移而增长，并且会有相应激励。分配公民身份的机制将由基金会根据TokenHouse的意见确定 。目前的问题是OP虽然提出了这个模型，但分配公民身份的机制还是没有出来。目前的治理也还是常规的DPOS投票治理。最近的讨论目前看来还是有很多问题待讨论，尚未解决，比如如何防止腐败，防止sybil。

Osmosis目前的治理大致是以下的思路：主要由一些专业人才例如技术专家/理论专家/经济学专家/协议专家/治理专家/活跃社区成员/法律治理（管理链的走向）提出治理提案，并且将其放在commonwealth提出讨论，达到一定共识后，再上链进行全名投票。Osmosis目前主要有三个子DAO1）OsmosisGrants, 利用USDC/Osmosis资助生态相关的项目。2）MarketingDAO，比如开会，生产内容。3）OperationDAO, 帮助用户使用产品。之后可能还可以有开发者DAO，CosmWasmDAO等。

Juno网络的治理

JunoNetwork是Cosmos生态最有代表的一条permissionlessblockchain,去中心化程度比较高。链上治理活跃度比较高，真实用户量也很可观。开发者人数为50-100人（有部分转移来自Terra开发者，Terra生态开发者发展路径Osmoss,Juno, Appchain）。主要活跃节点包括NotionalDAO，Strangeloves,Oni, Dimi @dimiandre(core 1 contributor)等。截至如今，被Wasm合约攻击过多次。今年4月份有一次，最近也有一次。本质是由于团队知道有个bug需要更新，更新之前有人利用这个bug，通过合约进行攻击。因为Wasm共识的底层性，改变了Cosmos中Tendermint的机制。结果每次链重启都需要Tendermint全部节点参与运行，这会导致链的停止（这个是Tendermint更加看重安全的设计VS以太坊更加看重活性的设计）。尽管用户资金并不会受到威胁，但是会很大程度上影响用户体验。并且这两次的宕机很有可能是团队/节点恶搞。

目前JunoDAO的一些治理问题包括:

1.Juno DAO的Proposal16是DAO历史最有争议的治理提案之一，提案内容是对一个参与stakedrop的中心化机构Game（女巫攻击，利用50个账户，每个账户有50万个Juno，社区定义其为违规的airdrop）的资产进行处理，在twitter上被广泛讨论，最终提案通过。后来关于如何分配这部分资金，又发起了相应的提案，比如回归财政库。

2.Cerberus项目的Proposal9提案内容是关闭该链的决定，尽管投票最终也没有通过，但这个事件也提醒大家直接上传这种没有经过深度思考，激烈讨论的提案是不成熟的做法，所以目前社区也提出了一些解决方案，比如Evmos团队表示仅考虑将一些社区讨论度比较高的提案正式上链投票。

总结下来有以下四点：

1.JunoDAO的治理有很大权力，代码能直接被治理修改或者发布新代码。Cosmwasm的强大，可以直接改变区块链的状态。之前Juno被恶意Wasm智能合约攻击过两次，导致链运行停掉。

2.一些有争议的Proposal在内部论坛上被讨论的比较少，但是在twitter上（大V）被作为热门话题讨论。（那有没有可能通过TwitterDiscord 做链下治理呢,爬虫？）

3.关于危机事件的治理，节点和核心团队基本是跳过治理。

4.代码的bug很难找到具体负责人。

Juno准备通过SubDAO来解决现有的问题。Proposal25 已经通过了相关提案，并且通过DAODAO这种工具进行管理（DAODAO的跨链功能预计会在跨链账户上线之后实现）。比如最近的提案27，HackJuno SubDAO是第一个SubDAO，开发者DAO，透明，易于管理，通过DADAO发起提案，投票。SubDAO的管理权属于junocommunity DAO(即JunoChainGovernance），即SubDAO的成立，资金请求，管理等都需要Juno的链上提案批准。而SubDAO主要负责具体方面的事务的执行，SubDAO的行为代表了junocommunity DAO。（参考：JunoSubDAO Principles）。

这个模式的不足之处包括：

1）在核心问题，比如资金处理，链升级情况下，并不能很好的通过SubDAO，提升效率，仍然需要在主链进行投票

2）用户参与度的不足，尽管Juno在整个生态的参与度已经相对理想，同时核心开发者兼职的特性也让Juno一度成为行业的佳话，但是仍然需要相关的，专业性的内容教育，对用户进行教育。在DPOS机制下，节点默认获得质押者的所有权，但是如果当用户的投票和节点的质押结果不一致时，用户的投票可以override节点的质押。关于Cosmos中治理的这部分，有兴趣的朋友可以看我们之前的文章Cosmos的开拓者-Osmosis，继IBC之后，看ICS,ICA如何重构加密行业, CosmosThesis- Osmosis应用主权链的崛起Osmosis,Beyond Coinbase? 2022有哪些前沿技术和新功能等文。未来的治理方向会引入权重性治理（包括根据节点投票vs用户投票，根据内容，比如链升级，合约部署等vs其他，比如通过主DAO还是SubDAO治理）最终是根据综合评分决定最终性权重。这也是去中心化治理提升的一种方式。

Evmos的治理

Evmos的空投是史上触及钱包最多的空投（大部分是以太坊钱包）（200万个地址），目前1亿个代币，仍然有25%没有claim(如果大家忘记领，现在应该还可以，不过subjectto decaying function)。Evmos除了基本治理方案外，每周在Comonwealth,discord频道会有一个governancechat，社区成员可以问问题，会有提案的相关方回答问题，每次会议会有几十个人参与。目前提案主要由活跃的社区成员，团队，以及提案利益相关方提出。Evmos的投票参与度相对比较高，每个提案大概有2/3的节点参与投票，也有很多节点在discord治理频道讨论治理提案。

他们的治理最近很多是关于产品的，ERC20模块，以及生态dapp上线。最近有争议的提案包括Proposal 32 ,Evmos dapps的引导流动性提案，这个提案是在commonwealth上提出一个月后上链的，但在commanwealth的讨论不够充分。由于提案过于笼统，内容不够详细，引起了很多讨论和质疑。这也说明了一个问题，大部分人是没有时间精力关注commonwealth上的提案的(不一定是内容本身，而是工具的问题？）。提案往往是在上链的投票阶段才能引起大家的关注。

提案30主要围绕ExswapBootstrap Proposal （UniswapV2 folk）的讨论，最终是Yes：No40% : 42%被否决的。中文社区的参与度很高。**团队的一些行为引发了中文社区成员的怀疑。**尽管中文社区在第一时间将此风险提醒了各大节点，但几个大节点坚持投Yes。离提案结束不到两小时，一名中文社区成员找到了一个核心证据，发出了Exswap开发者钱包地址和一个rug项目方钱包有关联的证据,几个验证人看到后,在最后的时刻更改了投票结果。

这个提案的结果并不重要，更多的是让我们看到了目前Evmos社区还是比较活跃的。并且参与者相对关注于切身利益相关的治理（这可能行业内需要解决的共性问题）。参与治理十分有意义，单个社区成员甚至都能够影响到治理提案的结果。当然，Evmos治理的中心化程度也很高，大节点所占权重过多。这个提案共有19个节点投yes，50个节点投no。最终yes和no的比例却很接近，说明了大节点对于投票结果的掌控力。

总结

以上关于Cosmos生态中几个Hub的治理观点部分来自于Stakefish还有slientvalidator

Optimism的Twohouse model给了我们很大启发，以上OsmosisDao也借鉴这个模型，而Juno直接采用SubDao来精细化治理。未来的治理方向我们将着重在以下方面寻求解决方案：

1.SubDAO的实施采用DAODAO, 跨链账户功能上线后，整个Cosmos生态的链上治理都可以采用DAODAO工具来治理。

2.链下草案讨论和链上正式提案的衔接上，质押者背景各不相同，教育成本参差不齐。

3.有争议的草案/提案讨论，更具有投票上链的战略意义。

4.如何防止治理攻击：贿赂选票，节点勾结，机器人刷票，女巫攻击

Reference

DAO能从传统企业治理中学到什么？

Research driven insights about dao governance

https://whimsical-lightning-304.notion.site/Osmocon-Panel-Osmosis-SubDaos-and-Governance-Mike-Barb-OSL-mod-Stephen94K-OMM-EmperorOsm-3694234fd3c5498caa39ffed5fbea78d

https://medium.com/a41-ventures/governance-memo-osmosis-july-week-4-2022-ec2f51bec523

https://blog.chain.link/daos/

https://silentvalidator.com/

Author introduction: Changbin, senior technical director of a global blockchain company, has more than ten years of R&D development experience, and has accumulated more than 5 years of blockchain engineering experience. The consensus protocols that he personally implemented include POW, POS, POS+BFT, Tendermint, etc. His main interest areas include high-performance public chains, blockchain big data, and decentralized application platforms. Most of the content in this article is compiled from the sixth Office Hour of CFG Labs. For those interested, you can watch the sixth office hour of CFG Labs@0x_Atom Scalability method for high-performance public chain (Monolithic chains) via the links below: https://www.youtube.com/watch?v=BBsrFZFkNBg Reminder: The content insights and perceptions of this article are partly derived from the research of the speaker's organization, which only represents the speaker's own views, not the views of cfg labs and the speaker's organization, nor any investment advice, DYOR. The content of this article comes from the video transcription and compilation. After the first release, the speaker found that many information was distorted and made comments. In the spirit of seeking truth from facts, this article is republished after proofreading by invited speakers. Interested community members are welcome to join our community to communicate.

Overview

The opinions and insights of this office hour are the joint research of many students from the current organization @stars_labs, no financial advice, DYOR.

This office hour will introduce L1 performance tuning from four aspects.

1. The first is the model, because we want to optimize, so we must understand what the business model, network model, and mathematical model are, and then we know where and which parts can be optimized.

2. Secondly, we should pay attention to the environment. When we are doing performance tests or reading ultra-high-performance data, the first question is to ask what the test environment looks like.

3. With the support of these two backgrounds, we will introduce what methods are currently available in the industry for optimization, and what are some good examples.

4. Finally make a conclusion

Model

The first is the model, this is the blockchain model for Ethereum, and other public chain frameworks are similar to this. The first step, proposer of the block, proposes a block, and is responsible for packaging, which involves two parts, 1) the order of the transaction and 2) the result of the execution of the transaction. The traditional Ethereum model proposes POW miner (miner) to package the transaction and combine several Hundreds of transactions, how many transactions, each transaction will be executed once. The state of the Ethereum world is essentially a state tree. The content of the state tree changes according to the content of the transaction, and finally the root of the Merkle tree is generated.The second step is to broadcast the block together with the block header or block body. There are different methods for broadcasting. For example, the entire block can be broadcast, but the efficiency may be relatively slow. The block header can also be broadcast, which includes the block hash, which can identify the uniqueness of the block, and some blockchains use a compromise between the two. Finally, block transactions must be broadcast. The third step, consensus, also involves two parts, because other nodes need to verify that your ledger is correct before consensus, and to verify whether there are double-spending transactions, malicious transactions, and wrong transactions. If it is the BFT consensus, it involves two more rounds of voting with more than 2/3 votes including pre-voting and commit voting. In this process, you find that the first and third steps are both executed. The same transaction is executed multiple times on multiple nodes, which brings a lot of room for optimization. The fourth step is to write to the blockchain. If it is POW, the verification of the nonce and the root of the hash state number after the transaction is executed are also legal, and finally written to the local database (ledger). In such a model, there are a few things that can be optimized. After the block proposed, the broadcast content can be optimized, and the block hash is used to replace the complete block. Algorand is the first to do this. Solana also adopts a similar Turbine broadcast method to make the broadcast of blocks and transactions faster.

Environment

I think the blockchain has to solve the limitations of the physical environment through three ways: computing, bandwidth, and storage before mass adoption.

Computing (CPU)

The first layer is the computational bottleneck. If we observe the CPU consumption of blockchain programs, we will find that the verification/signature process consumes more CPU, because the calculation of elliptic curves is CPU-intensive. We have done tests and it takes about 30% of the CPU. That is to say, the number of transaction signatures verified by the home computer in one second is limited, for example, several thousand/10,000 transactions, or a little higher. Optimization method: It can be optimized through the progress of cryptography itself, customized hardware, hardware acceleration, etc.

Bandwidth

When you break through the computational bottleneck, you need to send out blocks and broadcast the state to other nodes, which will bring about time problems. For example, the propagation of a 1MB block on the Bitcoin network requires the average time of 6-12s. Therefore, if the blockchain is built on civilian bandwidth (without dedicated lines), assuming we use the classic way of broadcasting blocks, the performance that can be achieved is limited. Here if we calculate, assuming that the civilian bandwidth we use is the median of 50Mb-100Mb, and calculate the size of each transaction, we know that the TPS is in the thousands. Nowadays, many high-performance blockchains do not use civilian bandwidth, but use high-speed direct connections between IDCs. If there are multiple data centers, there are also dedicated lines for intercommunication. If you have never deployed a blockchain, you would see a blockchain as an ideal state, but it is not. Generally, many POS blockchains have low liveness, and if you are not careful, the entire network will terminate. But this is off topic. Optimization method: Use block hash instead of full block, or use organized broadcast method instead of full gossip.

Storage

The third bottleneck is the storage bottleneck, because you have done all the optimizations, including thousands of TPS, tens of thousands of TPS, and finally all your data will fall on the disk, bringing storage pressure. At the same time, the hardware performance of disk is much worse than that of CPU and memory. So you will find that in the gas consumption table of Ethereum, the sload/sstore instruction, the call instruction to the storage, consumes a lot of gas. He needs to be controlled in this way, or protected from DDOS attacks, otherwise when a transaction comes up, I desperately call storage, which may stop the entire chain. Blockchain data consists of several types:

1. Transaction data, original transaction data, this part of historical data can be deleted without affecting normal consensus.

2. The data for the account information, such as the event status of Ethereum, this data cannot be deleted. If it is deleted, the availability of the node will be low. The expansion of this part of the data will bring about the problem such as state bloat. The current data of Ethereum is more than 1T, and it will be larger if the running time is longer. Optimization method: 1) Optimize according to the organizational structure of MPT and the characteristics of statedb. Using the pruning rule can reduce some space occupation, and some new clients (erigon) will adopt different organization methods, which reduces the pressure on disk reading in the process of data organization.

3. The storage billing model is optimized. For example storage leases. Storage leasing means that the internal space is not like Ethereum, which can be permanently stored on it if it is put on it, but is stored in a leased manner. If you don't renew, the space becomes unavailable. The earliest examples can be traced back to the Nervos project, and Sui, which we have written about last week, uses a similar mechanism. This mechanism incentivized players to store but in essence I think it does not solve the problem, so eventually the data will bring the problem of state explosion. For example, in BSC, we will run BNB nodes on a daily basis. Ordinary nodes are at 10T, and archive nodes are also at 10T and 20T (if the running time is long). The archive node is the node starting from block 0 and will always increase. Most of the ordinary nodes are nodes that have been cut to save some space. This structure is actually not sustainable. However, there is currently no good solution for BSC, so it adopts a multi-chain structure. In the modular blockchain thesis, you can use the app-chain structure where the storage for different app-chains is separated. We have also seen some similar solutions for the Consortium Blockchain. Sui and Aptos are also good examples. I believe there will also be some scalable solutions for the consortium blockchains. For example, distributed storage is an efficient and direct mechanism for data scalability.

Environmental Summary

The above is the problem of the environment. So, if we see who has proposed tens of thousands, hundreds of thousands of TPS, we need to see what the test environment is like.

1. First of all, what kind of hardware does it use, such as what CPU, how much memory, what hard disk, and what network bandwidth.

2. The number of nodes, this indicator is very critical. We checked Sui's documents and test data, and they only used 4 or 10 nodes on 1 IDC, this is not very convincing. We will also pay attention to such data when we are doing data stress testing. If you set up a network with 3 nodes and a network with 100 nodes, the concepts are different.

3. The node distribution method, your nodes are all distributed in the world, on multiple continents, or several machines in the same availability zone of an IDC on Tencent Cloud, which is completely different. We need to check the specific data testing environment, which will be helpful. When we check the indicators, we need to understand its real data test environment which will help us to identify its real performance.

4. At the same time, we also need to look at the transaction (TPS). For example, Solana has a voting mechanism and will also include the voting transaction into the TPS, so the TPS is around 5000 (including transactions), but this will also have potential problems (introduced below) .

Method

Flow

There are more roles in the design of Flow. For example, the collector, the transaction is received, the collector can do pre-verification. In Ethereum, the easiest way is to verify its signature. Of course, this will consume a lot of performance. At the same time, you can do some basic verification, such as when transferring money, you can verify whether the balance is enough. So these basic contents can be checked. Collector will then send a batch of transactions to Consensus for consensus, execution, and then get the result, which we will call Receipt. This execution does not mean verification. Execution means that you have a result, and you use this result to verify whether your execution is correct. So there is an additional role for the verifier. In the second part, it is also mentioned that the entire consensus process is made into a pipeline. It is not necessary to wait for a block to complete the consensus. After the verification is performed, the next block can be made. You can do two blocks at the same time. It can be delayed, which is what Flow does.

Solana

Let's take a look at Solana's approach. Solana is a different project. The global clock is not a new thing in the computer, but it is the first time that the global clock is implemented through a way of calculating hashes, and it is the first time that it is used on the blockchain, which is conducive to the ordering of transactions. The turbo mechanism is also used, which essentially solves the performance bottleneck problem during the network broadcast process by passing blocks through this special transmission mechanism. Guild Steam is the same. When each node knows when to produce blocks in the next stage, and what content should be included in the block, I don’t need to do P2P broadcasting like Ethereum, and I don’t need to do so many transaction comparisons. . But there are also some problems here. For example, Solana has introduced a lot of parallel execution. The premise of parallel execution is that your transactions, the read and write sets, and the modified content don’t conflict. Only content that does not conflict can be put on the GPU for execution. For example, the GPU has 4096 cores, but here comes the problem. If you are making cash withdrawals on Binance, there may only be one or a few main hot wallet accounts on Binance, so everyone's accounts will be blocked here. When some well-known NFT projects Mint, the situation is the same. Because all are rushing to the same NFT project, it will involve the problem of input/output data in the NFT project itself, and it is impossible to enter the transaction into so many cores of 4096. It can only be executed on one core. Suppose there are too many transactions, which will cause your leader to collapse and need to be re-chaotic. Because the rules must be formulated, in order to optimize performance and reduce redundancy, the next step is to skip the lead and re-execute the transaction. So basically The premise that multiple transactions can be executed in parallel is that transactions do not have the same set of input and output.

Sui

Sui is innovative, Narwhal & Tusk. Narwhal is the protocol of Mempool, and Tusk is the consensus protocol, which connects the Mempool pool and the consensus itself for optimization, which is also the future direction for blockchain optimization. In essence, in the process of packaging or consensus, you need to organize these transactions reasonably and ingeniously, so that these transactions appear appropriately on some of these producers that should appear, preferably here The loss of messages is at least O(1), or O(nlogn), in this way, the overhead of network messages is minimized and the speed of transaction finalization is accelerated. https://arxiv.org/pdf/2105.11827.pdf This article has won the best academic paper of EuroSys 2022, the top academic conference. Its main contributions include the DAG structure to organize the mempool, and used this Tusk to transform based on the Narwhal-HotStuff consensus. When you make a consensus algorithm, you need to consider the applicable environment of the Consortium Blockchain and the public chain. In the Consortium Blockchain, there will be no malicious nodes that propose illegal blocks, but a public chain is permitted, so it needs to be considered.

DAG

Here let’s revisit DAG.

The core of the DAG is:

1. Transactions can be sent at will, but each transaction needs to include confirmation of some previous transactions, and blocks need to confirm some transactions, which is naturally organized into a mesh model. The above is a blockchain, each block has only one parent, and can only confirm for the previous block, and the bottom is a DAG structure. One block will reference multiple blocks, so the question arises. DAG becomes an effective acyclic graph, a concept in graph theory, why do you resist this concept? When we learn data structure and discrete mathematics, this will become more difficult, discrete mathematics will be more difficult than probability, and for data structure, graph theory algorithms will be more difficult than list algorithms.

2. There needs to be a mechanism to find the real canonical chain, otherwise your ledger structure doesn't know how to express it. This leads to the second coordinate, the introduction of the center, and the structure of the coordinate is mostly centralized, hence the assumption that no malicious attack is required. So the consensus of pure DAG is not perfect. DAG is not easy to understand, and it is more difficult than general algorithms when it involves graphs. Not so intuitive.

Conclusion

1. At present, many implementations need to introduce centralized components to support smart contracts. For example, suppose an account may have different content at different nodes and at different times, which is caused by the absence of a central chain. Suppose it is the account structure of the ledger structure, not UTXO, and needs to support smart contracts. At this time, a centralized mechanism is required to realize the center. The optimization of Sui, DAG is used in the mempool, which is then embedded in the consensus of BFT.

2. When discovering a new project for the ultra-high performance, we must first understand its structure, how to achieve ultra-high performance, such as modularization, or a pure L1

3. Secondly, the performance is dependent on its test environment. What things have been done to achieve such high performance. If a mempool has not been optimized, broadcast has not been optimized, no pipeline has been done, and no parallel execution has been done. It will be unlikely to achieve the performance.

4. I believe in innovation. I have been in the industry for 17 years. I have been working for the public chains in the past few years. The consensus protocols that I have implemented for the Turing Award include POW, POS, POS+BFT, Tendermint, etc. In the past two years, new public chains are in full swing, such as Solana, Libra public chains, etc., the performance has been improved by orders of magnitude. After careful analysis, we are entering the era of intensive cultivation, and each stage of the blockchain needs to be adjusted to the extreme according to the design requirements. In the future, we will continue to work for the public chain performance improvement, and strive to improve the L1 performance by another order of magnitude to millions of TPS.

Reference

Information Propagation in the Bitcoin Network: https://sites.cs.ucsb.edu/\~rich/class/cs293b-cloud/papers/bitcoin-delay Ethereum->Solana->Aptos: Where is the end of the competition for high-performance public chains? : https://mp.weixin.qq.com/s/07MlRKpL6IqACRRI26KHzg DAG introduction: https://www.zhihu.com/column/c_1430668549379903488(https://www.zhihu.com/column/c_1430668549379903488

Community questions:

1. Frank: How to understand the high degree of decentralization of Ethereum? Changbin: If you go to the developer conference and read the research, they take decentralization as a basic guarantee.

2. The number of nodes Take the Ethereum 2.0 node as an example. The degree of decentralization depends on the number of nodes. There are 6000-7000 Ethereum miners and more than tens of thousands of validators (of course, one machine can run several). A sufficient number of validators brings enough randomness, and the possibility of collude to attack the network or part of it is greatly reduced.

3. The requirements for nodes should be as low as possible, so that more ordinary people can enter the network with their computers on quickly. The improvement of Ethereum 1.0, in order to allow users to quickly synchronize the latest state in a very short time, such as a few hours, they have spent much of the engineering effort. So decentralization is the core capability. Therefore, the progress of Ethereum has been relatively slow.

4. Look at EOS, Tron, HECO, BSC, reduce the consensus to 21 nodes, and super nodes normally require high configuration, which will bring about the problem of centralization. These networks all have core intranets, and because these network nodes are very few. If there is no core intranet, any DDOS will stop the network, so the network liveness is very low, so there must be an intranet. The connection between the intranet is interconnected, the block-producing node and the block-producing node are connected through IP addresses and whitelists, which cannot be accessed from the outside. Extreme centralization in exchange for performance business Let's look at Solana again, and take a step forward. It claims to have hundreds of nodes. What's the problem? The block production sequence for nodes in each epoch is fixed. If you are idle, you can really DDOS. Do you know when? , which nodes are producing blocks. As you know which nodes are producing blocks in which epoch. If you send DDOS traffic, you send a few hundred gigabytes. If you kill it, you won't be able to get a block. Once there is no randomness in the block generation candidate stage, a fixed order is used for speed, for performance, there is no randomness, the activity of the network, the possibility of being DDOS is high, and the degree of decentralization is low. The Ethereum network is fully redundant, and if one node is killed, other nodes can continue to work. Ethereum 2.0 has tens of thousands of validating nodes, and the order of producing blocks is relatively random. In the future, they will use the VDF function and the delay function to decide. You cannot predict in advance which shard a node is temporarily assigned to. On each block-producing committee, the high degree of randomization will be possible and it significantly increases the security. This is very different.

5. Chloe: How to explain Solana's mechanism problems and DDOS attacks, as well as many voting transactions on the network? Changbin: Solana does not have a market competition mechanism. Unlike on Ethereum, you need to increase the gas fee to move the transaction forward. Solana places transactions directly in the mempool. Assuming that millions of people joined the particular mint, the transactions can only be done by one Core, and the transactions are piled on one lead node.This lead node will be difficult to become available again. It's not an attack to be precise, but a proper mechanism is not actually introduced. In fact, the Ethereum gas market adjustment mechanism is a good solution to the problem of network availability. 1) When there are too many transactions, Ethereum caches the transactions sent by a user, the number is limited, and will not cache transactions indefinitely 2) If you want to make the transaction faster, the packaged transaction will be reversed according to the transaction gasprice, naturally There is a market that can resist this DDOS attack. 3) In the gas consumption mechanism, relatively slow instructions are also well protected. It is mentioned that the access to storage is very high. The problem of Solana attack has nothing to do with intranet deployment. It is caused by receiving a large number of these transactions and being unable to process them. Voting transactions are included in TPS. Because of the BFT-type consensus, there must be a consensus voting process. Most of the consensus chains using BFT do not put votes in the mempool. Generally, there is a type of consensus message, which is independent. Solana is a special practice. This optimizes the performance with a complete set of solutions such as the faster consensus. The voting transaction is also regarded as a transaction and included which is based on his own design principle. There are also many types of DDOS attacks. Before the emergence of the blockchain, some special TCP commands were used, such as initiating a connection sync command, but nothing was done, occupying server resources and making your server useless. After that, a lot of transactions will be sent to stop the block, which is also called the DDOS method. The cost of attacking Ethereum is higher than that of attacking Solana. If a lot of transactions are sent to block Ethereum, it will consume too much money. Solana generates too little transaction fees every day, and the attack is easier.

6. Jazzlost: Talking about consensus, L1 has some public chain pipelines and innovations in concurrent processing, including Avalanche and Solana. I think innovation at the consensus level will have a better effect on the improvement of the entire L1 than the improvement from the pipeline alone. Changbin: Actually, nothing new has been produced in the past two years, and we have entered an era of intensive cultivation.

The seventh Office Hour of CFG Labs will be held at 9:00 pm on August 17th. Please scan the code to join the group if you are interested.

本次内容大部分来源于编译于CFG Labs 第六次Office Hour，对内容感兴趣的童鞋可以看CFG Labs@0x_Atom第6次office hour-高性能公链（单片链）的扩展方法 =》https://youtu.be/BBsrFZFkNBg

提示：本文的内容洞察和认知，部分来自演讲者所在的组织的研究，仅代表演讲者本人观点，不代表 cfg labs 和演讲者所在的组织的观点，也无任何投资建议，DYOR。本文内容来自视频转录编译，第一次发布之后，演讲者发现诸多信息失真提出意见。本着实事求是的态度，本文在邀请演讲者校对后重新发布。欢迎感兴趣的同学进入我们的社群交流。

总览

本次 officehour 诸多观点和 insight 是来自目前所在的组织@stars_labs多位同学的共同研究，无财务建议，DYOR。

本次 officehour 将会从四方面介绍L1 性能调优。

1）首先是模型，因为我们要做优化，所以我们必须了解业务模型、网络模型、数学模型是怎么样的，之后我们才知道在哪些地方，哪些部分可以做优化。

2）其次要关注环境，当我们在做性能测试或者读到超高性能的数据的时候，第一个问题就要问这个测试环境是怎么样的。

3）有了这两个背景支持之后，我们介绍下现在工业界都有哪些办法去做优化，有哪些比较好的例子。

4）最后做个总结

模型

首先是模型，这是以太坊公链的区块链模型，其他的公链大框架跟这个也是类似。

第一步，区块的proposer，提议一个区块，负责打包，涉及到两部分内容，1）交易的顺序 2）交易的执行的结果 传统以太坊模型 propose POW miner(矿工）打包交易，将几百个交易，多少笔交易，每一笔交易都会执行一遍。以太坊世界状态本质是一棵状态树，状态树上的内容，根据交易的内容做改变，最后会生成默克尔树的根。

第二步，需要将区块，连同区块头或者区块体，一起广播出去，广播有不同的做法，比如说，可以把整个区块广播出去的，不过这个效率可能比较慢，也有可以把区块头广播出去，这里面包括区块哈希，可以标识到区块的唯一性，也有部分区块链是两者折中，最终区块的交易要广播出去。

第三步，共识，也涉及到两部分，因为别的节点在共识之前，需要去验证你的账本对不对，需要去验证这里面有没有双花的交易，恶意交易，错误的交易，需要去执行一遍。如果是BFT共识的话，又涉及到两轮超过2/3的投票。在这个过程中，你发现第一步和第三步，都有执行的过程，同一笔交易在多个节点上执行了多次，带来了优化的空间。

第四步，写入区块链，如果是 POW，nonce的验证、交易执行之后哈希状态数的根也是合法的，最后写到了本地数据库（账本）。

周而复始。

在这样的模型中，有一些事情是可以做优化的。区块提议出来之后，广播内容优化，使用区块哈希取代完整的区块，Algorand 最早就是这个做法，Solana也采用了类似的树状广播方式，让区块、交易的广播会变得更快。

环境

本人入行区块链的一位老师认为，区块链无非要突破的是三个层次的物理环境局限：计算、带宽、存储。

计算（CPU）

第一层是计算的瓶颈，如果我们观察区块链程序运行的CPU消耗，我们会发现，验签/签名的时候是比较消耗CPU的，因为椭圆曲线的计算是 CPU 密集型。我们曾经做过测试，占据30%左右的 CPU 时间。也就是说，家庭电脑1秒钟验证的交易签名数量是有限的，例如说几千/1万笔交易，或者更高一点。

优化方式：可以通过密码学本身的进步、定制硬件、硬件加速等方式进行优化。

带宽（bandwidth）

当你突破了计算的瓶颈之后，你要将区块发出去，需要将状态广播到其他的节点上去，这里会带来时间的问题。比如说1MB的区块在比特币网络上的传播，需要的时间是有统计数字的，平均时间大约是 6-12s时间。因此，如果区块链是搭建在民用带宽（不用专线），假设我们用的是经典的广播区块的方式，能达到的性能也是有限的。这里我们计算下，假设我们用的民用带宽是50Mb-100Mb的中位数，计算一下每个交易的大小，可知道TPS是数千的级别。现在很多的高性能区块链，其用的并不是民用带宽，用的是IDC之间的高速直连，如果是多数据中心的话，也是有专线互通的。

如果没有部署过区块链的话，会将区块链看做很理想的状态，但其实不是。一般很多POS区块链活性很低（liveness), 如果不小心，整个网络会挂掉。不过这是题外话。

优化方式：上文提到的，用区块 hash 替代完整区块，或者使用有组织的广播方式，而不是完全的 gossip。

存储（storage）

第三个瓶颈，就是存储的瓶颈，因为你做了所有的优化，包括几千TPS，几万TPS，最后你所有的数据都会落到磁盘上面，带来存储空间压力。同时磁盘相对于CPU和内存来讲，硬件性能是差很多的。所以你会发现在以太坊的gas消耗表里面，sload/ sstore 这种指令，对存储的这种调用指令，是非常消耗gas的。他需要通过这种方式控制，或者免受DDOS攻击，否则一个交易上来，我拼命调用存储，可能会让整个链停掉。

区块链数据包含几种类型：

1）交易数据，原始的交易数据，这部分历史数据可以删除，不影响正常的共识。

2）账户的信息数据，比如以太坊的事件状态，这个数据是无法删除的，如果删除的话，该节点可用程度就低了。

这部分数据的膨胀会带来状态爆炸的问题（state explosion)。以太坊目前的数据超过1T，如果运行时间长些会更大。

优化方式：1）根据 MPT 的组织结构和 statedb 的特性进行优化。采用剪枝的规则，可以减少一些空间占用，也会有一些新的客户端（erigon）采用不同的组织方式，使得数据组织过程中对磁盘读取的压力降低。

2）存储的计费模型优化。例如存储租赁。存储租赁意味着内空间不像以太坊，如果放上去就可以永久存储在上面，而是以租赁的方式存储。如果不继续续费，空间就变得不可用。最早的案例可以追溯到nervos这个项目上，我们上周介绍的 Sui也采用了类似这样的机制。这个机制在一定程度上在经济上激励去关注存储，但本质上我认为并没有解决问题，所以最终数据都会带来状态爆炸的问题。

比如BSC, 我们日常会运行BNB的节点，普通的节点在10T，archive节点也会在10T，20T, （运行时间长的话），这样的结构其实是不具有可持续性的。不过目前BSC目前也没有很好的解决方案，所以其采用了多链的结构。也就是说你有个超火的应用，他就会推荐你使用Appchain。将不同的应用存储进行分离，不会竞争。我们在联盟链上，也看到解决方案。Sui，Aptos也都是联盟链出身的，我相信之后他们也会采用联盟链的一些扩容的做法，比如说在存储上做分布式，可能看起来很中心化，但是一个有效、直接的实现数据扩容的机制。

环境小结

上述就是环境的问题。所以，如果我们看到谁提出了几万，几十万TPS的，我们需要看测试环境是怎么样的。

1）首先它用的是什么样的硬件，比如什么 CPU、多少内存，什么硬盘，什么网络带宽。

2）节点数量，这个指标非常关键，我们查看了Sui的文档和测试数据，只用了4个或者10个节点，在1个IDC上面，这个并没有很强的说服力。我们自己在做数据压测的时候也会很注意这样的数据，你组一个3个节点的网络和100个节点的网络，概念是不一样的。

3）节点分布方式，你的节点都是分布在全球、多个大洲，还是腾讯云上一个IDC的同一个可用区下的几台机器，这里面是完全不一样的，我们在看到指标的时候要看具体数据测试环境，有利于我们辨识到其真正性能。

4）同时我们也要看交易里面(TPS),有很多水分，比如Solana有投票环节，也会将投票交易算到TPS里，所以TPS在5000左右，但这个也会有潜在问题（下文介绍）。

方法

Flow

接下来我们看办法来优化性能。比如说我们看到的Flow这个链，他比较早的做了共识和执行的拆分，也就是说一个区块他的执行，和共识是可以拆开的，不一定放在一起，或者可以组成一个流水线，可以执行多个区块，接下来再延后去做共识，这样产块可以一直往前产。甚至还有一些方法，比如在一个Epoch里面选定了一个排列顺序，那么验证节点按照顺序去产块，每个节点知道自己什么时候该去产块，我就去产块，或者下一个epoch我去产块，这也可以帮助提高性能。还有一个方法就是一个生产者可以同时多产几个区块，一般以太坊是轮着来，但是一个验证节点可以产十个区块，再往前移一个，这也是扩容的方式。生产区块之后，结果对不对，能否成为真正成为权威区块链的一员，需要交给共识延后去执行，因为共识很慢的，假设你是投票式的，那肯定需要几轮的投票，时间肯定是比较长的，可以将共识和执行拆开。

Flow的设计中还多了些角色，比如说collector, collector收到交易之后，可以做预校验，在以太坊中，最简单的就是校验其签名，当然这里面会很消耗性能。同时，你可以做些基础校验，比如转账的时候，可以校验余额有没有这么多。所以这些基本的内容都可以做校验。Collector 接下来会把一批的交易给Consensus做共识，执行，之后得出结果，我们称为Receipt。这个执行并不代表验证，执行就是你有结果，你拿着这个结果验证你这个执行对不对，所以这里面可以再细分为Verifier。这里是拆分多个角色。第二部分，也提到了将整个共识过程做成流水线，没必要等完一个区块，共识，执行验证之后再做下一个区块，可以同时在做1，2的产块，同时共识的过程可以延后，这是Flow的做法。

Solana

图片来自 @andrew 、@sevenupdao

我们再看下Solana的做法。Solana我们认为是一个眼前一亮的项目。全局时钟在计算机中并不算一个新东西，但是第一次用这种计算哈希的方式实现了全局时钟，用到了区块链上是第一次，有利于交易的排序。也用到了turbine机制，本质上将区块通过这种特殊的传输方式，解决在网络broadcast阶段的性能瓶颈问题。Guild Steam也是，当每个节点知道接下来哪个阶段改产区块了，区块里面该包含哪个内容的时候，我不需要像以太坊那样做P2P广播，也不需要去做这么多的交易对比。

但这里也会带来一些问题。举个例子，Solana引入了比较多的并行执行，并行执行的前提是你这些交易，他的读写集，修改的内容，是不冲突的。只有不冲突的内容才能把它放到GPU上去执行。例如GPU有4096个核，但是问题来了，假如你现在在币安上做提现，币安的主要的热钱包账户可能只有1个或者几个，所以所有人的账户都会堵在这里。

有些知名的NFT项目Mint时候，发生情况是一样的。因为所有的都在冲同一个NFT项目，会涉及到NFT项目本身读写数据的问题，无法将交易进入到4096这么多核中去。只能放在一个核去执行。假设交易特别多，会导致你的 leader 崩掉，需要重新混乱。因为规则一定制定了，为了优化性能减少了冗余性，所以接下来需要费劲的过程重新跳过这个lead，重新执行交易。

Sui

Aptos这个项目，我没有提，因为我看了白皮书和论文，基本原理，还是基于高度交易并行化改造，我认为相对于Solana没有那么强的革新性。

但是我认为，Sui是革新的，Narwhal & Tusk。Narwhal是Mempool的协议，Tusk是共识协议，将交易池和共识本身连在一起进行优化, 这也是我个人认为区块链优化的一个方向。之前我也想过这样类似的思路，本质上打包或者共识的过程，你需要合理的巧妙的去组织这些交易，使得这些交易恰当的出现在某些该出现的这些生产者上面，最好这里面消息的损耗至少是O(1)的，或者说是O(nlogn)，这样的话最大减少网络消息的开销，加快交易的最终化的速度。

https://arxiv.org/pdf/2105.11827.pdf 这篇文章拿了EuroSys 2022, 顶级学术会议的最佳学术论文。贡献点引入了DAG结构组织交易池子，并且用这个Tusk基于Narwhal-HotStuff 共识做了改造，这些人就是Libra的同一拨人。当你做共识算法的时候，需要考虑联盟链和公链适用的环境。联盟链中，不会出现恶意作恶的节点，提议非法区块的情况，但是在公链，是无准入的，所以需要考虑。这个协议可能没有考虑公链，这种情况下该如何处理的这个问题。下周会继续分享这篇文章。

DAG

这里我们重温下DAG, 很多新入行的同学，或者对这个概念不是那么清晰，同时也会有一定的抗拒。

• blockchain

• dag

我在第一次读相关概念的时候，也产生了同样的想法。Conflux运用了DAG。

DAG的核心是:

1）交易可以随便发，但是每个交易你需要去包含对前面一些交易的确认，区块需要对一些交易的确认，这样自然组织成了网状的模型。上面是一个区块链，每一个区块只有一个parent, 只会对前面一个区块进行确认，而下面则是一个DAG结构。1个区块会reference多个区块，那么问题就来了，DAG成为一个有效无环图，图论里面的一个概念（大学学习），为什么会抗拒这个概念？在我们学数据结构，离散数学的时候，这个会比较难，离散数学会比概率要难，数据结构的时候，图论算法比列表的算法会更加困难。

2）需要有个机制，能够找到真正的规范链，否则你的账本结构不知道如何去表达。这导致了第二个coordiate，引入中枢，coordiate这个结构，大部分是偏中心化的。所以要假设，公正不作恶的情况，所以纯DAG的共识是打折扣。DAG 不好理解，本身涉及到图的东西，比一般的算法要难。不那么直观。

3）目前很多的实现，都需要引入中心化的成分才能去支持智能合约，因为需要最终的状态，否则会跟我们日常的感知很不一样。举个例子，假设一个账户，可能在不同节点，不同时刻，内容是不一样的，没有一个中枢链的情况而导致的。假设是账本结构的账户结构，不是UTXO，还需要支持智能合约，这时候需要偏中心化的机制实现中枢。Sui的优化，DAG用在了mempool 中，将DAG嵌入到BFT的共识。

总结

1）当发现新项目的时候，听说其超高性能的时候，首先我们要了解其结构，超高性能是如何实现例如模块化的，还是个纯L1，不一样的

2）其次性能要看他的测试环境，做了哪些事情，可以有这么高的性能，如果发现交易池子，也没有做优化，广播也没有做优化，也没有做流水线，也没有做并行执行，就不太可能。需要了解环境

3）相信创新，我是17年入的行，这几年一直在做公链相关的事情，亲自实现的共识协议包含 POW、POS、POS+BFT、Tendermint等。经历过几个图领奖项目之后，一度觉得没有什么可做的。例如 Algorand，论文中将VRF引入区块链惊为天人，但是最终看代码实现的时候，也退化到普通的类PBFT的实现。

这两年新公链如火如荼，例如Solana、Libra系公链等，性能上取得了数量级的提升，信心和兴趣又回来了。细致分析发现，已经进入到了精耕细作的时代了，区块链的每个阶段都需要根据设计需求进行极致调整。在接下来，我们还是会坚持在公链性能提升这个道路上去继续深入，力求将 L1 性能再提升一个数量级，到百万TPS。希望与各位朋友一起同行。

Reference

Information Propagation in the Bitcoin Network：https://sites.cs.ucsb.edu/\~rich/class/cs293b-cloud/papers/bitcoin-delay

以太坊->Solana->Aptos：高性能公链竞争的终局在何方？:https://mp.weixin.qq.com/s/07MlRKpL6IqACRRI26KHzg

DAG介绍: https://www.zhihu.com/column/c_1430668549379903488(https://www.zhihu.com/column/c_1430668549379903488

社区提问：

1）Frank：怎么理解以太坊的去中心化程度高?

Changbin：如果你去参加过开发者的大会，看过research的东西，他们是将去中心化这个东西作为基本的保证。

1）节点数量举个例子以太坊2.0节点，去中心化程度取决于节点的数量，以太坊矿工6000-7000个，验证者超过几万个（当然1个机器可以跑好几个）。验证者的数量足够多带来的足够的随机性，合谋攻陷网络或者一部分的可能性大大降低

2）节点的要求要尽量低，才可以让更多的普通人，开着电脑，很短的时间进入网络。以太坊1.0的改进，为了让用户在很短时间内，比如几个小时内，快速同步最新的状态，他们花了多大的工程量。所以去中心化是核心能力。所以也导致了以太坊的进度发展比较慢。

3）再看EOS,Tron, HECO, BSC， 缩小共识规模，21个节点，并且超级节点，需要很高配置，这个会带来中心化的问题。这些网络都有核心内网存在，这些网络节点非常少，如果没有核心内网，随便一个DDOS会把网络打挂，所以网络活性非常低，所以必须有内网，内网和内网之间是相互连通的，产块节点和产块节点之间是联通的，通过IP地址，白名单进行联通，外部访问不到。极致中心化换取性能。我们再来看Solana,往前走了一步，号称几百个节点，有什么问题呢，1个epoch里面节点的产块顺序是固定的，如果闲着没事情，真的可以DDOS，你知道哪个时间，哪些节点在产块。你发DDOS流量好了，发了个几百G，打死了，就出不了块了。一旦产块候选阶段没有随机性存在，用一个固定的顺序是为了速度，为了性能，这就没有随机性，网络的活性，被DDOS的可能性就高了，去中心化程度就低了。以太坊网络是充分冗余了，如果一个节点被打死了，还有其他节点能继续工作。以太坊2.0 有几万个验证节点，而且产块的顺序也比较随机的，未来他们用的VDF函数，延迟函数来决定，你没法提前预知，一个节点被临时分配到哪每个分片上，每个出块委员会上面，带来的高度随机化，安全性就提升了。这个是很不一样的。

2）Chloe：Solana的机制问题和 DDOS攻击，以及网络上很多的投票交易，怎么解释？

Changbin：Solana 没有一个市场竞争的机制，不像在以太坊上，你需要提高gas费，才能将交易往前排。Solana直接将交易放在交易池。假设特别火的NFTmint 几百万人冲进来，交易相关，只能在一个Core上，交易堆在一个lead节点上，把lead节点打挂，这个节点很难起来。准确来说不是攻击，而是没有引入合适的机制。其实以太坊gas 市场调节机制，很好地应对网络可用性的问题。1）交易特别多的时候，以太坊缓存一个用户的发出来交易，数量是有限的，不会无限缓存交易2）如果你想让交易快的，打包交易会根据交易gasprice，会倒排，天然有一个市场存在，可以抵抗这个DDOS攻击，3）在gas消耗机制，对于速度比较慢的指令，也是做了比较好的保护，提到了对于存储的访问，非常高的gas。Solana攻击的问题，和内网部署没有关系。是接收了大量这些交易，处理不过来导致的。

TPS中包含了投票交易。因为BFT 类共识，必然会有共识投票过程。大部分用BFT这种共识的链，都不会将投票放在交易池，一般是有一类叫共识消息，共识消息是独立的。Solana是特殊的做法。这个跟他优化性能，一整套解决方案是一起的，共识变得更快，将投票交易也作为交易，并且计算在里面，这是有他的设计原理的。

DDOS攻击也有很多类型，区块链出现以前，是通过一些TCP一些特殊的指令，比如发起一个连接sync指令，但是什么事情也不干，占用服务器资源，让你服务器没法用，在区块链之后，会发送很多交易，把区块给站住，也叫DDOS的方法。攻击以太坊的成本比攻击Solana高，发很多交易把以太坊堵住的话，消耗的钱太多，Solana每天产生的交易费太少，攻击比较容易。

3）Jazzlost: 聊共识的话题，L1有些公链 流水线，并发处理的创新，包括Avalanche，Solana。我认为共识层面的创新对于整个L1的改进会比单纯从流水线的改进有更好的效果。

Changbin：其实这两年本质上没有出新的东西，进入了精耕细作的时代。