Build a Large Language Model (from Scratch)
Learn how to create, train, and tweak large language models (LLMs) by building one from the ground up! In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and ... Lue lisää
Learn how to create, train, and tweak large language models (LLMs) by building one from the ground up! In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and ... Lue lisää
Learn how to create, train, and tweak large language models (LLMs) by building one from the ground up! In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks. Build a Large Language Model (from Scratch) teaches you how to: - Plan and code all the parts of an LLM
- Prepare a dataset suitable for LLM training
- Fine-tune LLMs for text classification and with your own data
- Use human feedback to ensure your LLM follows instructions
- Load pretrained weights into an LLM Build a Large Language Model (from Scratch) takes you inside the AI black box to tinker with the internal systems that power generative AI. As you work through each key stage of LLM creation, you'll develop an in-depth understanding of how LLMs work, their limitations, and their customization methods. Your LLM can be developed on an ordinary laptop, and used as your own personal assistant. Purchase of the print book includes a free eBook in PDF and ePub formats from Manning Publications. About the technology Physicist Richard P. Feynman reportedly said, "I don't understand anything I can't build." Based on this same powerful principle, bestselling author Sebastian Raschka guides you step by step as you build a GPT-style LLM that you can run on your laptop. This is an engaging book that covers each stage of the process, from planning and coding to training and fine-tuning. About the book Build a Large Language Model (From Scratch) is a practical and eminently-satisfying hands-on journey into the foundations of generative AI. Without relying on any existing LLM libraries, you'll code a base model, evolve it into a text classifier, and ultimately create a chatbot that can follow your conversational instructions. And you'll really understand it because you built it yourself! What's inside - Plan and code an LLM comparable to GPT-2
- Load pretrained weights
- Construct a complete training pipeline
- Fine-tune your LLM for text classification
- Develop LLMs that follow human instructions About the reader Readers need intermediate Python skills and some knowledge of machine learning. The LLM you create will run on any modern laptop and can optionally utilize GPUs. About the author Sebastian Raschka is a Staff Research Engineer at Lightning AI, where he works on LLM research and develops open-source software. The technical editor on this book was David Caswell. Table of Contents 1 Understanding large language models
2 Working with text data
3 Coding attention mechanisms
4 Implementing a GPT model from scratch to generate text
5 Pretraining on unlabeled data
6 Fine-tuning for classification
7 Fine-tuning to follow instructions
A Introduction to PyTorch
B References and further reading
C Exercise solutions
D Adding bells and whistles to the training loop
E Parameter-efficient fine-tuning with LoRA
- Prepare a dataset suitable for LLM training
- Fine-tune LLMs for text classification and with your own data
- Use human feedback to ensure your LLM follows instructions
- Load pretrained weights into an LLM Build a Large Language Model (from Scratch) takes you inside the AI black box to tinker with the internal systems that power generative AI. As you work through each key stage of LLM creation, you'll develop an in-depth understanding of how LLMs work, their limitations, and their customization methods. Your LLM can be developed on an ordinary laptop, and used as your own personal assistant. Purchase of the print book includes a free eBook in PDF and ePub formats from Manning Publications. About the technology Physicist Richard P. Feynman reportedly said, "I don't understand anything I can't build." Based on this same powerful principle, bestselling author Sebastian Raschka guides you step by step as you build a GPT-style LLM that you can run on your laptop. This is an engaging book that covers each stage of the process, from planning and coding to training and fine-tuning. About the book Build a Large Language Model (From Scratch) is a practical and eminently-satisfying hands-on journey into the foundations of generative AI. Without relying on any existing LLM libraries, you'll code a base model, evolve it into a text classifier, and ultimately create a chatbot that can follow your conversational instructions. And you'll really understand it because you built it yourself! What's inside - Plan and code an LLM comparable to GPT-2
- Load pretrained weights
- Construct a complete training pipeline
- Fine-tune your LLM for text classification
- Develop LLMs that follow human instructions About the reader Readers need intermediate Python skills and some knowledge of machine learning. The LLM you create will run on any modern laptop and can optionally utilize GPUs. About the author Sebastian Raschka is a Staff Research Engineer at Lightning AI, where he works on LLM research and develops open-source software. The technical editor on this book was David Caswell. Table of Contents 1 Understanding large language models
2 Working with text data
3 Coding attention mechanisms
4 Implementing a GPT model from scratch to generate text
5 Pretraining on unlabeled data
6 Fine-tuning for classification
7 Fine-tuning to follow instructions
A Introduction to PyTorch
B References and further reading
C Exercise solutions
D Adding bells and whistles to the training loop
E Parameter-efficient fine-tuning with LoRA
- Kustantaja / Valmistaja Manning Publications
- ISBN 9781633437166
- Tuotekoodi 9781633437166
- Kirjoittajat Sebastian Raschka
- Kieli Englanti
- Ilmestymispäivä 29.10.2024
- Vuosi 2024
- Tuoteryhmä Ulk talous, it, yhteiskunta
- Tuotepääryhmä Ulkomaiset kirjat
- Tuotelinja Kirjat
- Sivumäärä 368
- Avainsanat Data Science - General; Artificial Intelligence - Expert Systems
- Kirjastoluokka COM
- Pituus (mm) 234
- Leveys (mm) 188
- Korkeus (mm) 23
- Paino (g) 612
- Tuotemuoto Pehmeäkantinen
- Tuotemuodon lisätiedot Trade pokkari (US)
Tämä tuote kuuluu tuoteryhmiin
Lue lisää tuotearvosteluista
Tuotearvostelut Suomalainen.comissa
Tutustu tuotearvostelujen käytäntöihin ja ehtoihin ennen kuin jätät arvostelun.
Suomalainen.com -verkkokaupassa on mahdollista jättää tuotearvosteluja siellä myynnissä olevista tuotteista. Tuotearvosteluja voivat jättää sekä tuotetta Suomalaisesta Kirjakaupasta ostaneet asiakkaat että muut sivuston käyttäjät. Arvostelijan nimimerkin jälkeinen teksti kertoo, onko kyseessä vahvistettu ostaja vai muu asiakas/sivuston käyttäjä.
-
Vahvistettu ostaja - Kyseinen arvostelu on jätetty käyttämällä tuotteen ostajalle lähetettyä sähköpostilinkkiä. Kyseessä on siis vahvistettu ostaja eli arvostelun jättänyt henkilö on ostanut todennetusti kyseisen tuotteen.
-
Vahvistettu suosittelija - Kyseinen arvostelu on jätetty suomalainen.com -verkkosivustolla. Arvostelijan sähköpostiosoite on vahvistettu, jotta on voitu varmistua siitä, että arvostelun on jättänyt oikea henkilö. Suomalainen.com ei kuitenkaan ole vahvistanut, että kyseinen henkilö on ostanut tuotteen.
- Ei tekstiä nimimerkin jälkeen - Kyseinen arvostelu on jätetty suomalainen.com -verkkosivustolla, mutta arvostelun jättäjän sähköpostiosoitetta ei ole vahvistettu.
Tuotearvostelussa pakollisia tietoja ovat tuotteen pistemäärä (tähdet), otsikko sekä arvosteluteksti. Jos jätät arvostelun sinulle lähetetyn sähköpostilinkin kautta, arvostelu julkaistaan käyttämällä etunimeäsi sekä sukunimen ensimmäistä kirjainta.
Jos jätät arvostelun sivustollamme, voit käyttää arvostelussa myös nimimerkkiä. Arvostelun jättämisen yhteydessä sinulta kysytään sähköpostiosoitetta, jonka avulla vahvistamme, että arvostelun on lähettänyt oikea henkilö, eikä esimerkiksi robotti. Tuotearvostelujen palveluntarjoajana toimii Yotpo. Katso Yotpon tietosuojaseloste.
Arvostelut julkaistaan tuotteen kohdalla automaattisesti ja ne tulevat esiin viiveellä. Suomalainen.com pidättää kuitenkin oikeuden poistaa kommentit, jotka sisältävät epäasiallista, herjaavaa tai halventavaa kieltä, vihapuhetta tai ovat muuten hyvän tavan vastaisia, tai joissa markkinoidaan muiden toimijoiden sivustoja tai tuotteita.
Jättämällä arvostelun annat Suomalaiselle Kirjakaupalle oikeuden käyttää kyseisiä arvosteluja omassa markkinoinnissaan (sekä painettu että digitaalinen) ilman erillistä korvausta. Arvosteluja käytetään myös analysointiin ja markkinoinnin kehittämiseen.
Tuotearvostelun jättäneiden kesken arvotaan säännöllisin väliajoin tuotepalkintoja. Tutustu arvonnan sääntöihin täällä.
Mikäli haluat poistaa jättämäsi tuotearvostelun verkkokaupastamme, pyyntö tästä tulee ohjata asiakaspalveluumme: asiakaspalvelu@suomalainen.com.
Tuotearvostelut eivät ole tarkoitettu asiakasreklamaatioiden tai tilauskyselyjen tekemiseen. Reklamaatiotapauksissa pyydämme ottamaan yhteyttä asiakaspalveluumme: asiakaspalvelu@suomalainen.com.
Jättämällä arvostelun suomalainen.com -verkkokauppaan hyväksyt yllämainitut käytännöt ja ehdot.
Lue lisää tuotearvosteluista.