NVLINK Bridgeで接続した2台のRTX6000 GPUをFalcon 4205 を介して2台の1Uサーバから接続して LLM + RAG を動作させる実験です。

ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介します。

「ディスアグリゲーテッドコンピューティング」関連のYouTube講演を時系列に紹介するgithubプロジェクトを作りました。 本稿では、RAG技術で上述のCDI Infoプロジェクトの情報をローカルLLMの知識として与え、「ディスアグリゲーテッドコンピューティング」…

「ディスアグリゲーテッドコンピューティング」＝「一次記憶の共有」という側面に注目し、登場しつつあるテクノロジや議論されているそのユースケースを調査するために、YouTube で公開されている講演 174 本を視聴しました。 その過程で、略語が多く登場す…

「ディスアグリゲーテッドコンピューティング」とは何か? (4) で言及した略語リストです。

「ディスアグリゲーテッドコンピューティング」とは何か? (4) で言及した講演リストです。

前回記事 「ディスアグリゲーデッドコンピューティング」とは何か? (3) の執筆時点で参考にしたYouTubeコンテンツの一覧をまとめました。

BlueField-2 DPU を使って、サーバに RNIC (ConnectX) を搭載し、あるタスクを VM 上で行う従来構成と、VM は起動せずにタスクを DPU 上で行う構成とで性能を比較し、DPU があると何が嬉しいのかを考察しました。

BlueField-2というDPUの開発環境を作るために、オークションサイトでいろんなアイテムを購入して動かしてみました。

「メモリセントリックアーキテクチャ」や「ディスアグリゲーテッドコンピューティング」とはどのようなものなのか、従来のアーキテクチャやコンピューティングに対してどんなメリットがあるのか、実現に向けた課題にはどんなものがあるのかを、GigaIO社製品…