AI

AI

Hugging Face と WSL2 で ローカルPCにAI環境構築

昨今(2023年4月)は ChatGPT の話題で持ち切りです。ですが、やはり、自分用にチューニングしたAIを作るために、自分のPC上でAIを構築したくなってきます。文章を作成したり 絵を描いたりする生成AIには学習済みモデルが必要です。ま...
AI

文書生成AI(rinna/japanese-gpt-1b)

プログラミング環境が構築できたら、実際に文章の生成を行います。今回は、Hugging Face の rinna/japanese-gpt-1b を使用させていただきます。 学習済みモデルをダウンロードし、文章の出だしをプロンプトとして与えて...
AI

画像生成(andite/pastel-mix)

画像生成は Stable Diffusion が有名です。ローカルPC上で画像作成を行います。学習済みモデルは andite/pastel-mix を使用します。プログラミングと出力結果事前学習データのダウンロードオフラインでも実行できるよ...
AI

画像生成(DALL・E 系)

前回は Stable Diffusion で画像を生成しました。しかし、最近(2023年4月)は、Bing Image Creator が使用している DALL・E が優秀過ぎるので、今回は DALL・E 系で画像生成してみます。プログラミ...
AI

文書生成AI(モデル毎の特徴-使用目的)

ChatGPT は翻訳や要約、質疑応答まで、入力の仕方を変えるたけでシームレスにユーザーの要求に応えてくれます。そんなAIを構築するときにお世話になるのが、Hugging Face です。Hugging Face のサイトにはたくさんの学習...
AI

文書生成AI(モデル毎の特徴-アーキテクチャ)

最近の生成AIは、Google の Transformer という技術を使っています。しかし、同じ Transformer でも、計算の仕方が異なるモデルが並列して存在しています。代表的なものは、ChatGPT で使われている GPT系列の...
AI

文書生成AI(続 アーキテクチャ)

生成AIの根幹技術である Transformer は、入力を「エンコーダ」が受け取り 「デコーダ」から出力する技術です。この技術は膨大な計算リソースを要求するため、実際の運用では計算量を軽減するための工夫が必要になります。Hugging F...
AI

文書生成AI(テキストファイルからのファインチューニング)

単語を覚え、文法を学習するAIは2段階で学習します。それは人間の学習に似ていて、「単語」を学び、その後「文法」を学びます。単語は「トークン」として覚えます。たとえば、「これはペンです。これはリンゴです。」という文があると、rinna/jap...
AI

pipでインストールしたパッケージの一括アップデート

プログラミング中、エラーがどうやっても消えないことがあります。その場合、パッケージをアップデートすることで解決することがあります。Ubuntu全体のパッケージ管理は、apt コマンドを使用します。管理者権限で管理者ならapt updatea...
AI

文書生成AI(datasetからのファインチューニング)

前の記事では事前に用意したテキストデータを学習データとして用いました。しかし、Hugging faceのウェブサイトには興味深い学習用データがたくさんあります。ただし、これらの学習用データは全部が同じ構造をしているわけではありません。用途ご...