This 2-Hour Stanford Lecture Explains How ChatGPT & Claude Are Built (Must Watch)

Resumo

Pontos principais

• Large Language Models (LLMs) são redes neurais baseadas em transformadores que alimentam chatbots como ChatGPT, Claude e Gemini. 0:18
• A tokenização converte texto em sub‑palavras ou tokens, equilibrando generalidade e eficiência, e a perplexidade ainda serve como medida interna de incerteza. 30:26
• O treinamento depende crucialmente de dados de alta qualidade, métricas de avaliação robustas e otimizações de sistemas, além da arquitetura e algoritmo de treinamento. 33:55
• As leis de escala, como a de Chinchilla, indicam que o número ideal de tokens é 20 vezes o número de parâmetros, orientando a alocação eficiente de recursos. 49:44
• O custo de treinar modelos de grande porte pode chegar a dezenas de milhões de dólares e gerar milhares de toneladas de CO₂, destacando a importância de otimizações de hardware. 59:01
• O pré‑treinamento modela a probabilidade de sequências de tokens a partir de grandes corpora da internet, enquanto o pós‑treinamento (fine‑tuning supervisionado, RLHF e DPO) alinha o modelo para funções de assistência. 62:16
• Questões éticas e legais, incluindo uso indevido, multimodalidade e coleta de dados, são fundamentais ao desenvolver e aplicar LLMs. 89:42
• A avaliação de LLMs alinhados utiliza comparações humanas ou automáticas, como Chatbot Arena ou AlpacaEval, em vez de métricas como perplexidade. 91:48
• Técnicas de otimização como precisão mista (FP16), fusão de operadores e torch.compile podem dobrar a velocidade de treinamento ao reduzir transferências de memória. 102:39
• Estratégias como tiling, paralelização e mixture of experts são essenciais para melhorar o desempenho de grandes modelos. 103:08