こんにちは。

伊藤ひ　です。

今回も恵比寿です！
餃子専門 八宝亭を食しました！

まいど

AIソリューション事業部の花島です。

最近、チャットボットの回答でどうやったら数字を含めた検索に対して良い回答ができるかを考えています。

ベクトル検索は数字が苦手なんです。Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Modelsの論文の4.2 Main Resultsに以下記載されています。

The retrieval accuracy, averaged over the 13 embedding models under evaluation, is merely 0.54, slightly above random guessing (0.5). We believe this is mainly because current embedding model training practices typically focus on capturing semantic similarities or differences at the sentence or paragraph level, with fine-grained but potentially important details, such as numbers as part of the text, often overlooked. This aligns with Liu et al. (2024), who find that embedding models generally fall short in distinguishing nuanced differences between texts.

Deeplで翻訳しました。

評価対象の13の埋め込みモデルで平均した検索精度はわずか0.54であり、ランダム推測（0.5）をわずかに上回る程度である。これは主に、現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされるためと考えられる。これはLiu et al. (2024)の知見と一致しており、同研究では埋め込みモデルがテキスト間の微妙な差異を区別する能力に概して不足があると指摘されている。

現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされる

それを言っちゃあおしめえよという感じです。。。。

ベクトルと一緒に保存されているメタで検索する？？とも思いましたが、

やはり、そろそろMCPを導入し、RAGではなく、検索をMCPで強化したいと思いました。

そしたら、Vercelの以下の記事を見つけました。

こんにちは、2Gのロンです。

最近、日本の音楽を聴くのがとても好きです。今日は、よく聴いているアーティストと、彼らのおすすめの曲について紹介したいと思います。