1. Self-Attentionの概要 Self-Attentionは、各トークンが他のすべてのトークンとの依存関係や文脈情報を計算する仕組みです。たとえば、文「I am a student」の場合、4つのトークン（"I", "am", "a", "student"）それぞれが、他のトークンとどれだけ関連し…

エンコーダーの流れの確認 提供されたエンコーダーのプロセスは、Transformerの標準的なアーキテクチャを正確に反映しています。以下に各ステップを簡潔に確認します： 位置エンコーディング 入力トークンの埋め込みベクトルに位置情報を加算します。これに…

Googleの本気AI「Gemini」は、手書きの領収書のOCRとして使えるのか

強化学習とは何か、簡単に説明

Azure OpenAI Service ChatGPT モデル微調整について。ファインチューニングと転移学習とフューショット学習（Few-shot Learning）について整理

DALL-E3で作った女性画像に対して、HeyGenを使って声と動作を吹き込みました

ChatGPTの仕組みを簡潔に整理した。Trasformerの仕組み、ChatGPTの学習方法、使い方を整理した

OpenAIのChatGPTなど自然言語処理が引き続き流行ってますが、同じく生成系の画像生成AIもかなり注目を集めています。 多くのAIサービスが出ていますが、Open AIのDALL-E 3とGoogle CloudのImagenについて比較を試みてみました。

ベクトル検索とは、コンテンツ（テキスト、画像、音声）をベクトルに変換（エンベディング（埋め込み））し、これらのベクトル間の類似度や距離を基に、類似したベクトルを見つけることができる手法です。従来のキーワード検索では対応できなかった、ユーザ…

大規模言語モデル PaLM2、GPT-4、GPT-3.5の比較。ハルシネーション、コード生成の比較など。palm2 vs gpt4

生成系AI サービス・モデル整理した。LLM、DALL-E、CLIP、Diffusionモデル、imagen、Stable Diffusion、Midjourney、Transformer、PaLM 2、DuetAI、Codey、T5、ChatGPT、Titan、Pulumi AIなど関係性を整理した