LLM模型

LLM大模型

1.好用的ai:

2.不同语言模型的Token是不一样的

3.每次答案都不一一样 是因为ai回答具有随机性

你输入文字后他会**“文字接龙”**，选择提示词后面可能出现概率最高的字进行接龙

为什么这个回答有点像掷骰子？因为如果每次都选概率最大的，那么ai会不断重复自己的话语，而随机性就可以让ai较自然的回答

4.语言模型怎么学习文字接龙？

任何文句都可以是教材！

Eg.“人工智慧真神奇” 语言模型接收到这句话后，通俗来说，就是增强了“人”后面接龙”工”的概率。

5.语言模型的背后实质就是类神经网络，里面有上亿个参数

具体神经网络和参数如何被造出来的—见”李宏毅的机器学习2021“

6.以前的gpt学习就是通过爬网络上的资料–预训练（自督导式学习） 后面的chatgpt学习会通过人类的话来进行学习（督导式学习）

GPT—(通过微调)—ChatGPT

7.有预训练后，督导式学习不用大量的资料

在多种语言上做预训练后，只要教某一个语言的某一个任务，自动学会其他语言的同样任务。

8.预训练—督导式训练—增强式训练（模型要有一定能力才能接入RLHF）

9.面对ai的语言

—1.把需求说清楚

—-2.提供资讯给ChatGPT(以防gpt胡乱发挥)

—-3.提供范例（以防他不熟悉潮流词汇）

—–4.鼓励ChatGPT想一想（不要他直接给答案 让他列出过程）

—–5.找神奇咒语

—–6. 不断输入详细的需要

eg.先叫他给你文本内容—制作每张幻灯片的内容—可以下载幻灯片

—–7.ChatGPT可以使用其他工具（用其他ai工具嵌入chatgpt)

不要认为chat+搜索引擎就无敌 了解他的原理你就知道他是可能就某一个标题缩写后得成的

——8.拆解任务 （拆解+大纲—让他加强）

—–9.自主进行规划

大任务—chat—多个小任务—每个小任务对应gpt

—–10.chat是会自我反省的 但需要4以上的模型

两个思路：

—改变自己来强化模型

—训练自己的模型

—–11.语言模型是怎么使用工具的呢？

—–12.模型合作：让模型彼此讨论

—–13.overfitting

是指训练成功但测试失败

机器学习时只管找到的参数有没有符合训练资料，不管有没有道理—–需要增加训练资料的多样 性