生成AIを活用したSaaSサービス提供企業

  • Company
    • Company
    • 会社概要
    • グループ会社
  • Service
  • Work
  • News
  • Recruit
  • Blog
  • Contact

ブログBlog

  • ALL

  • お知らせ

  • 技術/デザイン/制作

  • ベトナム

  • ごはん

  • 日常/プライベート

  • AI開発は課題解決思考がますます必要になる

    まいど

    AIソリューション事業部の花島です。

    最近、チャットボットの回答でどうやったら数字を含めた検索に対して良い回答ができるかを考えています。

    ベクトル検索は数字が苦手なんです。Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Modelsの論文の4.2 Main Resultsに以下記載されています。

    The retrieval accuracy, averaged over the 13 embedding models under evaluation, is merely 0.54, slightly above random guessing (0.5). We believe this is mainly because current embedding model training practices typically focus on capturing semantic similarities or differences at the sentence or paragraph level, with fine-grained but potentially important details, such as numbers as part of the text, often overlooked. This aligns with Liu et al. (2024), who find that embedding models generally fall short in distinguishing nuanced differences between texts.

    Deeplで翻訳しました。

    評価対象の13の埋め込みモデルで平均した検索精度はわずか0.54であり、ランダム推測(0.5)をわずかに上回る程度である。これは主に、現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされるためと考えられる。これはLiu et al. (2024)の知見と一致しており、同研究では埋め込みモデルがテキスト間の微妙な差異を区別する能力に概して不足があると指摘されている。

    現在の埋め込みモデル訓練手法が文や段落レベルでの意味的類似性・相違の捕捉に重点を置く一方で、テキスト内の数字など、細かくて重要な詳細がしばしば見落とされる

    それを言っちゃあおしめえよという感じです。。。。

    ベクトルと一緒に保存されているメタで検索する??とも思いましたが、

    やはり、そろそろMCPを導入し、RAGではなく、検索をMCPで強化したいと思いました。

    そしたら、Vercelの以下の記事を見つけました。

    The second wave of MCP: Building for LLMs, not developers

    MCPといえばだいたいWEB検索しますとか天気のAPIを使いましたとかAPIの置き換えの例え話がメインです。

    MCPはツールなので、小さく作るのが正解かなぁと思っていたんですが、Vercel曰く、そうじゃないと。

    MCP works best when tools handle complete user intentions rather than exposing individual API operations.

    MCPは、個々のAPI操作をツールと使用するのではなく、ツールがユーザーの意図全体を処理する場合に最も効果を発揮する。

    理由としてはLLMがコンテキストや状態の管理があり、会話を踏まえ、適切な順番で適切なツールを使うことが難しいと。

    納得。

    1つのワークフローとして各処理を内包し、制御された状態でツールとして使う。

    この記事がなかったら、Google Drive、DB検索を別々でMCPで作ることを考えていたと思います。

    検索を一つのワークフローとしてその中で適切なものを選ぶよう実装した方が良い。

    MCPの開発の粒度は意識したいと思いました。

    LLMが何を使うかを判断するためのMCPのtoolのdescriptionも重要です。

    一つのAPIの説明ではなく、ユーザーの課題、目的を解決するツールのdescription、切り分けが必要だと思いました。

    AIの開発はプロンプトも重要であり、descriptionも重要。

    最近、プロンプトもAIで作るという流れがあり、プロンプトもAIがやってくれるとなっていますが、ありきたりの指示だとありきたりのプロンプトができあがります。

    ちゃんとユーザーの課題、目的を踏まえた上でプロンプト、指示をすることが大事。

    課題をヒアリングし、この課題を解決する言語化、思考がますます重要になってきていると感じています。

    そもそも、AI開発はプログラミング言語だけではなく、プロンプト等の自然言語の合わせ技なので、当たり前といえば当たり前なのですが。この2つを同時に使って開発を行うというのが難しい。プログラムを変えるか?プロンプトを変えるか?とそういえばこの判断は今までの開発ではないなぁと。。。

    AIも使う人で差が出ているのは痛感し、ここも大きく違うのではと思いました。

    引用記事

    Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Models

    The second wave of MCP: Building for LLMs, not developers

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    花島君俊投稿者 花島君俊

    投稿日: 2025/09/28

    カテゴリー 日常 / プライベート
  • 最近よく聴いているアーティストと曲たち

    こんにちは、2Gのロンです。

    最近、日本の音楽を聴くのがとても好きです。今日は、よく聴いているアーティストと、彼らのおすすめの曲について紹介したいと思います。

    “最近よく聴いているアーティストと曲たち” の続きを読む

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    Le HaiLong投稿者 Le HaiLong

    投稿日: 2025/09/26

    カテゴリー 日常 / プライベート
  • LLMのシステムプロンプトはガード策も大切

    こんばんわ

    AIソリューション事業部の花島です

    “LLMのシステムプロンプトはガード策も大切” の続きを読む

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    花島君俊投稿者 花島君俊

    投稿日: 2025/09/252025/09/27

    カテゴリー 日常 / プライベート
  • 終活No3 又…犬を飼いました

    4年程前に愛犬のパピヨンが16歳で旅立ちました

    気が強くて、頭が良くて、やんちゃだった「卯岳(うたけ)」君

    今は大学生の娘も「卯岳」がいる頃は小さかった

    旅立つ日は、家族が一人づつ帰ってくるのを待っていてくれて

    全員に見守られながら、すーっと目の色がなくなりました

    死に際もカッコいい子

    その後、もう二度と悲しいお別れをしたくなくて、犬や猫は

    ペットショップで見るだけと決めていました

    見て満足、抱っこしても執着もわかなかったのですが・・・

    娘が一人でお留守番するのは寂しいと言い出し

    息子が自分の犬が欲しいと言い出し

    犬や猫の寿命を考えると看取ってあげるには最後の時期だと自分に言い訳をし

    独りぼっちのお留守番が可哀そうなで

    お友達同士で我が家にお迎えしてしまいました

    この子↓は、寝ている姿がお掃除の「もっぷ」みたいだから「もっぷ」♂

    マルプー(マルチーズとトイプードルのミックス)

    こちら↓は、お腹がまん丸で豆みたいな形をしていたので「卯豆(うまめ)」♀

    チワポメ(チワワとポメラニアンのミックス)

    あっという間に大きくなって大分落ち着いてきました。

    子ども達が犬たちを可愛がる姿も可愛くて

    この子達がいてくれるとみんなが優しい気持ちになれます

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    小林紀子投稿者 小林紀子

    投稿日: 2025/09/252025/09/25

    カテゴリー 日常 / プライベート
  • 映画『8番出口』観てきました。8️⃣🚶‍♂️ ※ネタバレなし

     

    お疲れ様です。
    8月にAIソリューション事業部へ異動になった島貫です。

    皆さん、いかがお過ごしでしょうか?
    私は絶賛、推し活が充実しすぎる日々を送っております。
    そもそも私、推しが複数いるのですが、その推したちがこぞって8月9月にいろんなイベントを開催しまくった結果、大忙しでお休み(休息の日)がありません。

    そんな推しが主演を務める映画『8番出口』。やっと観に行くことができました。
    (ずっと前からムビチケは持ってたんですがね…)
    今回は映画『8番出口』についてお話ししようと思います。

    “映画『8番出口』観てきました。8️⃣🚶‍♂️ ※ネタバレなし” の続きを読む

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    島貫愛弓投稿者 島貫愛弓

    投稿日: 2025/09/252025/09/26

    カテゴリー 日常 / プライベート
  • コグニティブツールとコグニティブデザイン + ACP連携のどっちが良いんだろう?

    ハロー

    AIソリューション事業部の花島です。

    “コグニティブツールとコグニティブデザイン + ACP連携のどっちが良いんだろう?” の続きを読む

    このエントリーをはてなブックマークに追加
    Share on Tumblr
    Tweet

    花島君俊投稿者 花島君俊

    投稿日: 2025/09/142025/09/16

    カテゴリー 日常 / プライベート

投稿ナビゲーション

ページ 1 ページ 2 … ページ 556 次のページ