The spelled-out intro to language modeling: building makemore

What You Will Learn

*言語モデルの基本概念とその重要性を理解する *キャラクタレベル言語モデルの実装方法を学ぶ *PythonとPyTorchを使用して言語モデルの開発方法を理解する

Key Concepts

キャラクタレベル言語モデルとは、テキストデータの各文字を個別の単位として扱い、次の文字を予測することです。言語モデルの基本的な概念は、与えられたテキストデータからパターンと構造を学習し、次の文字を予測することです。ビグラム言語モデルは、2つの文字の組み合わせを考慮して次の文字を予測する簡単な言語モデルの一種です。

Code Examples

import torch

PyTorchをインポートして、Tensorの操作を可能にします。

n = torch.zeros((28, 28))

28x28のゼロ行列を作成して、ビグラムのカウントを格納します。

s2i = {c: i for i, c in enumerate(chars)}

文字とそのインデックスのマッピングを作成して、文字をインデックスに変換します。

Lesson Summary

このレッスンでは、言語モデルの基本概念とキャラクタレベル言語モデルの実装方法を学びました。言語モデルの基本的な概念は、与えられたテキストデータからパターンと構造を学習し、次の文字を予測することです。ビグラム言語モデルは、2つの文字の組み合わせを考慮して次の文字を予測する簡単な言語モデルの一種です。PyTorchを使用して、ビグラム言語モデルの実装方法を学びました。

Practice Exercise

ビグラム言語モデルを使用して、与えられたテキストデータから次の文字を予測するプログラムを書いてみましょう。テキストデータは「hello world」とします。

What Is Next

次のレッスンでは、ワードレベル言語モデルの実装方法を学びます。また、より複雑な言語モデルの開発方法についても学びます。