原典は[こちら](https://note.com/naotoota/n/n262479624bdc?sub_rt=share_h) ![[LLMプロダクト開発のベストプラクティス.pdf]] LLM（大規模言語モデル）を活用したプロダクト開発は、従来のソフトウェア開発や機械学習プロジェクトとは大きく異なる特性を持つ。この新しい開発パラダイムを理解し、適切なアプローチを採用することが、成功への鍵となる。 ## LLM開発と従来の開発手法の違い ### 従来のプログラミングとの対比 従来のプログラミングは、明示的なロジック記述と厳密な入出力定義に基づいていた。開発プロセスは線形的で、要件定義から設計、実装、テストという段階を順に進んでいく。入力と出力の関係は一対一で明確であり、機能の複雑さに比例して開発時間が増加する傾向にあった。 ### 機械学習開発との違い [[AIと人間の協働：実行はAI、課題設定は人間の役割]]においても触れられているように、LLM以前の機械学習開発では、データからパターンを学習するアプローチが主流だった。開発プロセスは繰り返しが多く、データ収集、前処理、モデル選択、学習、評価、チューニングというサイクルを何度も回す必要があった。入出力関係は確率的であり、初期開発に時間がかかるものの、データ追加による継続的な改善が可能だった。 ### LLM開発の特徴 一方、LLM開発では、プロンプト設計、ファインチューニング、統合、継続的評価と改善というプロセスが中心となる。入出力関係は高度に柔軟で創造的であり、基本機能の迅速な実装が可能だが、最適化には時間を要する。従来の「バグ」の概念が曖昧化し、代わりに出力の質や一貫性が評価の中心となる。 ## LLMプロダクト開発の特徴と課題 ### 迅速なプロトタイピング LLM開発の大きな特徴は、驚くほど速いプロトタイプ作成が可能な点だ。適切なプロンプトと少量のコードで、複雑な機能を短時間で実現できる。これにより、アイデアの素早い検証とユーザーフィードバックの早期取得が可能になる。しかし、プロトタイプの完成度と本番環境での実用性を混同しないよう注意が必要だ。 ### 柔軟な出力と「バグ」概念の変化 LLMの出力は高度に柔軟で予測不可能な特性を持つ。これにより、従来の「バグ」定義の適用が困難になり、代わりに出力の質、一貫性、適切性、創造性が新たな評価基準となる。開発者は従来のエラーハンドリングよりも、出力品質の管理と改善に注力する必要がある。 ### 継続的な改善と評価の重要性 [[AIを活用したZettelkastenの活用法]]でも示されているように、LLM開発では初期プロトタイプ後も継続的な改善と評価が不可欠だ。プロンプト調整、ファインチューニング、出力フィルタリングなどの継続的プロセスが必要となる。これは単なる性能向上だけでなく、新たな用途や機能の発見にもつながる可能性がある。従来の開発と異なり、「完成」の定義が曖昧で、継続的な改善が前提となる。 ### ユーザー体験（UX）の重要性 LLMプロダクトでは、技術的性能とユーザー体験のバランスが特に重要となる。LLMの柔軟性と創造性を活かしつつ、理解しやすいインターフェースの設計が求められる。予測不可能な出力によるユーザーの混乱を防ぐ工夫も必要だ。ユーザーフィードバックの積極的な収集と、LLM出力との期待ギャップの解消に努めるべきである。 ## LLM開発における新たな課題 ### 進捗の可視化と報告の難しさ LLM開発では、従来の進捗管理・報告方法が適さない場合が多い。「完成」の定義が曖昧で継続的改善が必要な特性上、上層部や利害関係者への進捗説明が困難になりがちだ。質的指標を重視した報告方法の採用や、短期・長期目標の明確な区別が必要となる。 ### 従来の開発マインドセットからの脱却 [[AI時代のデザイン思考は、AIによる大量アイデア生成と人間の判断力の融合により進化する]]で論じられているように、LLMを従来の機能開発の延長線上で扱うことは問題を引き起こす可能性がある。「完璧な製品を作ってからリリース」という考え方はLLM開発に適さない。LLMの柔軟性や創造性を、従来システムの不安定さやバグと混同するリスクがある。チーム全体でのLLM特性の理解と、早期リリース・継続改善文化の醸成が重要だ。 ### ユーザーフィードバックの重要性と収集方法 LLM出力の多様性により、ユーザー体験の一般化が難しくなる。ユーザーの期待値が従来システムと異なることへの対応も必要だ。迅速な改善サイクルに対応したタイムリーなフィードバック収集が求められる。定量・定性データを組み合わせた多角的評価方法の採用が有効だろう。 ### テストと評価指標の重要性 LLM開発では、初期段階からのテストケースと評価指標設定が極めて重要となる。スコア形式の評価が一般的で、従来のTrue/False形式のテストが適さないことが多い。テストケースなしでのリリースは方向性を見失うリスクがある。評価指標に基づく対応の優先順位付けや「やらないこと」の決定が可能になる。 ## LLM開発の成功に向けて ### 新しいアプローチの採用 LLMの特性に適した開発手法を積極的に導入する必要がある。従来の開発手法の良さを活かしつつ、LLM特有の課題に対応することが求められる。これには組織文化や開発プロセスの変革が必要となる場合もある。 ### 継続的な学習と適応 [[AI時代に取り残されないためには、継続的学習と適応力が不可欠である]]で指摘されているように、日々進化するLLM技術への追従が重要だ。最新動向のキャッチアップと自社プロダクトへの適用を常に意識する必要がある。柔軟な思考と実験的アプローチが成功の鍵となるだろう。 ### ユーザー中心の開発 LLM開発では、ユーザーとの密接な対話を重視した開発プロセスが特に重要となる。フィードバックの迅速な反映と継続的な改善に注力し、ユーザーの期待と技術の可能性のバランスを取ることが求められる。 以上の点を考慮し、LLMプロダクト開発に適したアプローチを採用することで、革新的で価値あるプロダクトの創出が可能となるだろう。