当你输入提示词后，它就会输出优化后的「最美提示词」
不论是 ChatGPT、GPT 3、Stable Diffusion 还是 Dall·E 等，都可以这么做
常见LLM的表现
| COST IN | 接收数据或请求的成本 |
| COST OUT | 发送数据或响应请求的成本 |
| RATE LIMIT | 速率限制，用来限制客户端可以在特定时间内发送的请求数量 |
| THROUGHPUT P50 | 吞吐量的50百分位数。这是一个性能指标，表示在一定时间内系统能够处理的请求数或事务数的中位数。P50通常意味着在所有测量中，有50%的吞吐量低于或等于这个值。 |
| THROUGHPUT P90 | 吞吐量的90百分位数。与P50类似，但表示有90%的吞吐量低于或等于这个值。这是衡量系统在较高负载下仍能维持性能的一个指标。 |
| TTFT P50 | Time to First Byte 50百分位数 第一字节时间的50百分位数。这是一个衡量系统响应速度的指标，表示从发送请求到接收到第一个响应字节所需时间的中位数。 |
| TTFT P90 | Time to First Byte 90百分位数 第一字节时间的90百分位数。与TTFT P50类似，但是表示有90%的响应时间低于或等于这个值，是一个衡量在更高要求下系统响应速度的指标 |
消费级显卡的内存和算力
开源开放基础大模型 汇总
Open LLM Leaderboard
网站笔记：huggingface——can you run it？-CSDN博客
网站笔记：huggingface model memory calculator-CSDN博客