Skip to content

AI basic

如果是 大模型应用，做builder 而不是 researcher 的话，可能对attention，encoder，decoder 有个感性认识就先够了？ 然后更重要的比如prompt，构建agent，工作流，能写500行以上的prompt，能调用公开接口做一些事情，可以RAG，可以有记忆，然后记忆是可更新的，这就算是一个简历上能说的小项目了。有这样的经历之后，至少你知道大模型什么能做，什么不能做，他的能力的边界在哪里。然后像 pretrain , SFT, RLHF 这些可能有机会做可以，没机会做可以先放放。可能每天1个多小时，一个月下来，你可能就已经前10%的人了。 一个10年的行业专家和一个2年的行业新手但是有半年大模型经验的人，可能很多用人单位会选择后者。现在大模型出来，相当于把所有人都拉齐了，毕竟行业才一两年的事情，所以如果入行做了半年的project，从一个自己的小项目变成真的有做出一个实际的东西出来的经验，那这个可能就是一个比较值钱的简历了。

train reinforcement learning

back propagation

Generative pre-training transformer

model type

  • text-text
  • text-image
  • image-image
  • image-text
  • speech-text
  • text-audio
  • text-video

Multi-modal

RAG

token is too expensive

  • Document
  • Embeddings
  • put into storage
  • Retrieval Process
  • turn user said in to an embedding
  • do calculating by vector database's algorithm