Designing Large Language Model Applications

ためになることはそれなりにあったのですが、なんと言いますか「辞書的」な説明がひたすら続くので読むのに体力を必要としました。

大量の論文を引用しつつ網羅的に説明してくれているのですが、流れを感じにくいですし、コラムと実習が頻繁に挟まれるので読みにくさを感じてしまいました。

中盤はプレトレーニング、ファインチューニングに関する話がひたすら続きますが、個人的にはあまり興味がなかったです。読み応えがあったのはPart3: LLM Application Paradigmsでした。

ためになったこと:
・パフォーマンス要件が厳しい際には、文、段落、セクション、文書レベルなどでのエンベディングを作成するマルチレベルエンべディング
・ファインチューニングでのRAGの活用の活用
・RAGの文脈におけるHypothetical Document。LLMに「その質問に答えるであろう仮想的なドキュメント(hypothetical document)」を生成させ、その仮想ドキュメントを埋め込みベクトル化して検索に使用。
・MicrosoftのGraphRAG
・プロンプトをプログラミングして最適化するDSPy