まいど
花島 君です。
今日、自社サービスであるチャットボットのFirstContactに開発でアートを感じたので残したいと思いました。
FirstContactはただの質問を回答するだけでなくユーザーの目的、ゴールに近づけられる会話になるよう改善をしています。LangGraphを使ってます。
今日、ユーザーの質問をどうLLMに入力するかを議論していたチャットを見ている時になんか点が線につながっていくようなつながらないような感じで、でも少し良くなるような感覚がありました。なんかいつもと違う感覚でした。
最近、プロンプトエンジニアリングからコンテキストエンジニアリングというワードに注目していて、エージェント開発にはコンテキストエンジニアリングが必要不可欠だとは思っていました。
コンテキストエンジニアリングを調べてたら、コンテキストエンジニアリングは科学と芸術だというのを見つけました。
エージェントに限らずチャットボットでもそうなのですが、LLM単体だけではなく、RAG、プロンプト、データ、文脈、過去の履歴、ツールという技術的な要素を使います。完全に制御できるものとLLMみたいに完全に制御できない技術が混在し、それをどう理解し、何を与え、どう繋げるかが重要です。削ることも時には必要。(削るのにもLLMを使いますが)
KarpathyのポストではLLMの最適化は難しいと。LLMの心理学的側面に関する直感的な理解が求められるため、芸術なんだと。
ぶっちゃけ直感が大事。ただ、この直感でもしうまく行ったら、それはすごいのではと思いました。そもそも直感って経験からくるものであって、LLMを考えてきた先に出てくるものだと思っています。考えての直感。何も考えていない場合は直感は出ない。苦労した先にあるもの。
AIの前までは書いた通りに動くプログラムだったと思いますが、AIだとプログラムは書いた通りですが、LLMによりそこから良くも悪くも外れます。完全に制御できない。これも新しい感覚です。
この各要素技術の点が線になり、LLMと調和し、うまく行った時は快感なのではと思いました。
点と線といえば、ジョブズの動画が有名だと思うので共有します。この動画は好きです。過去があっての未来。最近、歳のせいもあるのか、人生を振り返る事が多く、これを痛感しています。
https://www.youtube.com/watch?v=XsRpvWHIVw0
参考にした記事を紹介します。
https://qiita.com/takuya77088/items/579cce606799e207a2c4
まさにと思いました。
そして、確実にLangChainが述べた実装戦略を1個ずつ登ってきている。
では。
以前、家族をチームラボに無理やり連れてったのですが、芸術鑑賞も行こうと思います。
チームラボは僕は一人で興奮していたのですが、妻含め子供はなぜか冷めてました。なんででしょう！？
