おばんです、AIソリューション事業部の花島です。

最近、AIによって、ライターの仕事がなくなる〜とか、もうプログラマ不要？？とかフリーランスの単価が下がったとかネガティブな話が多いですよね。

でも、AIはチャンスとして捉えて、ポジティブでいきたいですね。

おばんです、AIソリューション事業部の花島です。

さっそく、Claude Opus4.6を使ってみました。

AIソリューション事業部の花島です。

2025年12月12日に健康診断に行ってきました。

この健康診断では2つのポイントがありました。

まいど

AIソリューション事業部の花島です。

最近、チャットボットの回答でどうやったら数字を含めた検索に対して良い回答ができるかを考えています。

ベクトル検索は数字が苦手なんです。Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Modelsの論文の4.2 Main Resultsに以下記載されています。

The retrieval accuracy, averaged over the 13 embedding models under evaluation, is merely 0.54, slightly above random guessing (0.5). We believe this is mainly because current embedding model training practices typically focus on capturing semantic similarities or differences at the sentence or paragraph level, with fine-grained but potentially important details, such as numbers as part of the text, often overlooked. This aligns with Liu et al. (2024), who find that embedding models generally fall short in distinguishing nuanced differences between texts.

Deeplで翻訳しました。

評価対象の13の埋め込みモデルで平均した検索精度はわずか0.54であり、ランダム推測（0.5）をわずかに上回る程度である。これは主に、現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされるためと考えられる。これはLiu et al. (2024)の知見と一致しており、同研究では埋め込みモデルがテキスト間の微妙な差異を区別する能力に概して不足があると指摘されている。

現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされる

それを言っちゃあおしめえよという感じです。。。。

ベクトルと一緒に保存されているメタで検索する？？とも思いましたが、

やはり、そろそろMCPを導入し、RAGではなく、検索をMCPで強化したいと思いました。

そしたら、Vercelの以下の記事を見つけました。

こんばんわ

AIソリューション事業部の花島です

ハロー

AIソリューション事業部の花島です。