基盤モデル （きばんモデル、foundation model ） は、自己教師あり学習 や半教師あり学習 （英語 : Semi-supervised learning 人工知能 モデルで、 様々な下流タスクに適用することができる[ 1] [ 2] チャットボット やその他のユーザ向け AI の動力源となるなど、AI システムの構築方法に大きな変革をもたらしてきた。The Stanford Institute for Human-Centered Artificial Intelligence (HAI) の Center for Research on Foundation Models (CRFM) がこの用語を広めた[ 1]
基盤モデルの初期の例は、Google の BERT や様々な初期の GPT 基盤モデル（特にOpenAIの「GPT-n」シリーズ）を含む事前訓練された大規模言語モデル（LLM）だった[ 3] [ 4]
The Stanford Institute for Human-Centered Artificial Intelligence（HAI）の Center for Research on Foundation Models（CRFM）は、2021年8月に「基盤モデル」という用語を作り、「（一般に大規模な自己教師学習によって）幅広いデータで訓練され、下流の幅広いタスクに適応できる全てのモデル」に言及した[ 5] 大規模言語モデル という用語では狭すぎることなどを考慮し、基盤モデルという用語に落ち着いた[ 6]
2023年12月、グーグルは新しい基盤モデル Gemini を発表した。同社は、この Gemini は一般的なタスクにおいて専門家の意見よりも優れた正しい基盤モデルであり、科学文献の分析も可能であると主張している[ 7]
基盤モデルは膨大なデータセットによって事前に訓練されているため、特定の「個別化された」概念を扱うことはできない。モデル全体を再トレーニングすることなく、個別化された項目で基盤モデルを補強する手法が様々考案されてきた。例えば、few-shot 画像検索では、視覚言語基盤モデル（CLIP）の語彙に新しい概念を追加することで適応する方法が示された[ 8]
テキスト画像生成 （英語 : Text-to-image generation [ 9]
2021年の arXiv のレポートでは、「言語、資格、ロボット工学、推論、人間との対話」に関する基盤モデルの能力、「モデルのアーキテクチャ、訓練手順、データ、システム、セキュリティ、評価、理論」などの技術的原則、法律、医療、教育などの応用、「不公平、誤用、経済・環境への影響、法的・倫理的考察」などの社会への潜在的影響について述べられている[ 5]
エコノミスト誌の基盤モデルに関する記事では、「経済的・政治的権力のさらなる集中に対する懸念」が指摘された[ 10]
^ a b “Introducing the Center for Research on Foundation Models (CRFM) ”. Stanford HAI . 11 June 2022 閲覧。
^ Goldman (2022年9月13日). “Foundation models: 2022's AI paradigm shift ” (英語). VentureBeat . 2022年10月24日 閲覧。 ^ Rogers, Anna; Kovaleva, Olga. "A Primer in BERTology: What we know about how BERT works". arXiv :2002.12327 cs.CL ]。 ^ Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. (January 2021). “Language models are an effective representation learning technique for electronic health record data” . Journal of Biomedical Informatics 113 : 103637. doi :10.1016/j.jbi.2020.103637 . ISSN 1532-0480 . PMC 7863633 . PMID 33290879 . https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7863633/ . ^ a b Bommasani, Rishi (12 July 2022). "On the Opportunities and Risks of Foundation Models". arXiv :2108.07258 cs.LG ]。
^ “Reflections on Foundation Models ”. Stanford HAI (18 October 2021). 22 May 2023 閲覧。 ^ “Gemini - Google DeepMind ” (英語). deepmind.google . 2023年12月9日 閲覧。 ^ Cohen, Niv; Gal, Rinon; Meirom, Eli A.; Chechik, Gal; Atzmon, Yuval (2022-10-23). “"This Is My Unicorn, Fluffy": Personalizing Frozen Vision-Language Representations” . Computer Vision – ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XX (Berlin, Heidelberg: Springer-Verlag): 558–577. doi :10.1007/978-3-031-20044-1_32 . ISBN 978-3-031-20043-4 . https://doi.org/10.1007/978-3-031-20044-1_32 . ^ Gal, Rinon; Alaluf, Yuval; Atzmon, Yuval; Patashnik, Or; Bermano, Amit H.; Chechik, Gal; Cohen-Or, Daniel (2022-08-02). “An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion” . arXiv:2208.01618 [cs] . https://arxiv.org/abs/2208.01618 . ^ “Huge "foundation models" are turbo-charging AI progress” . The Economist . ISSN 0013-0613 . https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress 2022年10月24日 閲覧。
