AI Hugging Face と WSL2 で ローカルPCにAI環境構築
昨今（2023年4月）は ChatGPT の話題で持ち切りです。ですが、やはり、自分用にチューニングしたAIを作るために、自分のPC上でAIを構築したくなってきます。文章を作成したり 絵を描いたりする生成AIには学習済みモデルが必要です。ま...
AI
AI AI 文書生成AI（rinna/japanese-gpt-1b）
プログラミング環境が構築できたら、実際に文章の生成を行います。今回は、Hugging Face の rinna/japanese-gpt-1b を使用させていただきます。 学習済みモデルをダウンロードし、文章の出だしをプロンプトとして与えて...
AI 画像生成（andite/pastel-mix）
画像生成は Stable Diffusion が有名です。ローカルPC上で画像作成を行います。学習済みモデルは andite/pastel-mix を使用します。プログラミングと出力結果事前学習データのダウンロードオフラインでも実行できるよ...
AI 画像生成（DALL・E 系）
前回は Stable Diffusion で画像を生成しました。しかし、最近（2023年4月）は、Bing Image Creator が使用している DALL・E が優秀過ぎるので、今回は DALL・E 系で画像生成してみます。プログラミ...
AI 文書生成AI（モデル毎の特徴-使用目的）
ChatGPT は翻訳や要約、質疑応答まで、入力の仕方を変えるたけでシームレスにユーザーの要求に応えてくれます。そんなAIを構築するときにお世話になるのが、Hugging Face です。Hugging Face のサイトにはたくさんの学習...
AI 文書生成AI（モデル毎の特徴-アーキテクチャ）
最近の生成AIは、Google の Transformer という技術を使っています。しかし、同じ Transformer でも、計算の仕方が異なるモデルが並列して存在しています。代表的なものは、ChatGPT で使われている GPT系列の...
AI 文書生成AI（続 アーキテクチャ）
生成AIの根幹技術である Transformer は、入力を「エンコーダ」が受け取り 「デコーダ」から出力する技術です。この技術は膨大な計算リソースを要求するため、実際の運用では計算量を軽減するための工夫が必要になります。Hugging F...
AI 文書生成AI（テキストファイルからのファインチューニング）
単語を覚え、文法を学習するAIは２段階で学習します。それは人間の学習に似ていて、「単語」を学び、その後「文法」を学びます。単語は「トークン」として覚えます。たとえば、「これはペンです。これはリンゴです。」という文があると、rinna/jap...
AI pipでインストールしたパッケージの一括アップデート
プログラミング中、エラーがどうやっても消えないことがあります。その場合、パッケージをアップデートすることで解決することがあります。Ubuntu全体のパッケージ管理は、apt コマンドを使用します。管理者権限で管理者ならapt updatea...
AI 文書生成AI（datasetからのファインチューニング）
前の記事では事前に用意したテキストデータを学習データとして用いました。しかし、Hugging faceのウェブサイトには興味深い学習用データがたくさんあります。ただし、これらの学習用データは全部が同じ構造をしているわけではありません。用途ご...