GenEng の台頭: AI が変えるデベロッパーの役割

※この投稿は米国時間 2023 年 6 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

大規模言語モデル（LLM）を活用した chatbot などのジェネレーティブ AI が広く使用できるようになったことで、AI が持つ可能性が話題を呼んでいます。企業においては、ジェネレーティブ AI はカスタマー エクスペリエンスや従業員の生産性に大変革をもたらす可能性があります。企業のリーダーが機会と競争上のリスクを見極めようとするとき、この重要な計画を実行するのは誰かということに根本的な変化が見られます。また、そのような変化自体が企業の力をどのように強化するかという点も変化しています。

Microsoft の当時の CEO であった Steve Ballme 氏が、壇上を跳ねまわるように歩きながら「デベロッパー、デベロッパー、デベロッパー！」と連呼したのを覚えていらっしゃる方も多いでしょう。Ballmer 氏はデベロッパー コミュニティに企業のビジネス成果を向上させる力があり、その力がプラットフォーム採用の最大の機会だということを知っていたのです。

Google 社内では、AI でデベロッパーをどのようにサポートするかについて、ありとあらゆる対話を行っています。これは私の個人的な意見ですが、現在は「トレーニング後」の時代に入りつつあると考えられます。つまり、ジェネレーティブ AI を適用してビジネスの問題を解決するイノベーションの大部分をアプリケーション デベロッパーが推進する時代です。

これは、データ サイエンスや MLOps はもう関連性が低いとか、過去のものであるということを意味するものではありません。逆に、大規模なイノベーションや迅速な反復によりインフラストラクチャが構築され、多様なユースケースの要件に合致するドメイン固有で軽量なモデルなど、次世代の LLM をトレーニングするアプローチが生まれています。LLM が利用できるようになることで、より幅広いデベロッパーのコミュニティが AI にアクセスできるようになります。デベロッパーはディープ ラーニングのエキスパートになる必要はなく、LLM を企業のアプリケーション アーキテクチャに統合するためのスキルを伸ばすことが求められます。たとえるならばコンパイラです。コンパイラを開発したのはほんのわずかなエンジニアでしたが、多くの人がコンパイラを活用してイノベーションを実現しました。

規模の違いについて評価すると、米国労働省の情報によれば、米国のみで、200 万を超えるソフトウェア デベロッパーがいるものの、データ サイエンティストは 15 万人にとどまります。これらの職務は重複する部分もありますが、AI を利用したイノベーションを実現できる技術担当者の数が少なくとも一桁多くなるとどうなるか考えてみてください。

この変化はジェネレーティブ エンジニアリング（GenEng）の台頭と呼べるでしょう。デベロッパーが運用のプラクティスを DevOps ムーブメントによってソフトウェア エンジニアリングに統合したのと同じように、この革新的な GenEng はジェネレーティブ AI テクノロジーを効果的に活用してアプリケーションに取り込む方法に深く習熟したデベロッパーによって推進されます。

GenEng とは何でしょうか。汎用的な LLM ベースの chatbot の台頭が話題を集めていますが、企業のユースケースの大部分では幻覚などの欠点を許容できません。実際、企業にとっての真の価値は、ジェネレーティブ AI と企業固有のデータを組み合わせて正確でドメイン固有の成果を出すことで得られます。デベロッパーは Retrieval Augmented Generation（RAG）などの手法を使用して、エンタープライズ アプリケーション向けの信頼できる価値の高いシステムに LLM を使用することが増えています。ジェネレーティブ エンジニアは、プロンプト エンジニアリング、近接検索のためのエンベディング（例: ベクトルが有効なデータベース）、LLM を利用したアプリケーションの構築をサポートするフレームワーク（例: LangChain）によりスキルを向上させたデベロッパーです。

GenEng 実務担当者は、スケーラブルな構築、エンタープライズ システムのインテグレーション、ビジネス ユーザーの要件の理解など、従来のアプリケーション開発と同じスキルも多く持っている必要があります。これらのスキルは、プロンプト エンジニアリングのさまざまな側面の検証、あるいはコスト パフォーマンスや成果に基づく適切な LLM の選択にあたり、ビジネス分野の専門家の手を借りるなど、ジェネレーティブ AI アプリケーションの構築の微妙な違いによって強化されます。

ジェネレーティブ エンジニアに最も役立つ、ランタイム、フレームワーク、ツールの根本的な変化とは何でしょうか。これについては次のブログ投稿でご説明いたします。これを機に、GenEng 実務担当者としての一歩を踏み出していただけることを願っています。