生成AIのBard vs ChatGPT - コード生成三本勝負

生成AIのコード生成機能について

『生成AI(Generative AI)』とは、事前に膨大なデータを利用して学習した大規模モデルを利用して、画像、音楽、会話などさまざまな新しいコンテンツを生成できるAIのことです。例えば、OpenAIが開発したChatGPTは、高度な文章生成能力を持っており、自然にAIと会話できるだけでなく、文章の要約から、外国語への翻訳など、さまざまな能力を持っています。また、プログラムを生成する機能も優れており、今後、プログラマーの働き方にも変化がありそうです。

そして、大きな話題になったChatGPTに続き、2023年5月、GoogleもBardと呼ばれる生成AIのベータ版をリリースしました。Bardのプログラム生成機能も優れており、C++、Go、Java、JavaScript、Python、TypeScriptなど20を超えるプログラミング言語に対応しています。

そこで、ChatGPTとBardに対して同じお題を与えてみて、どちらが優れたプログラムコードを生成するのか、プログラマー視点でジャッジしてみます。

一番勝負 - 素数を3000個表示するプログラム

それでは、最初の勝負です。ここでは、次のようなお題を出してみようと思います。AIなんかに負けないという腕をお持ちの皆さんは、答えを見ないで自分で作ってみてください。

【お題】
素数を画面に3000個表示するPythonのプログラムを作成してください。

まずは、素数を求めるだけの簡単なプログラムを作るという単純なお題です。「素数」とは、1と自分自身以外の約数を持たない正の整数です。それで、1とその数自体以外では割り切れない数が素数です。

それで、ChatGPTとBardに対して上記の指示をそのまま入力してみました。すると、次のようなプログラムを生成しました。

次の画面が、ChatGPT(モデルGPT-3.5)が出力したプログラムです。

• 

  素数を3000個求めるChatGPTのプログラム

そして、次の画面が、Bardが出力したプログラムです。

• 

  素数を3000個求めるBardのプログラム

比べてみましょう。どちらも、似たプログラムを出力しています。どちらにも、is_prime関数があります。そして、ループ変数iを利用して引数nが割り切れるかどうかを「%」演算子で確認しています。

しかし、プログラムを実行してみると異なる結果が出力されます。特に、初見でもBardが出力する素数の個数が間違っていることが分かります。お題では、3000個の素数を出力するようにというお題でしたが、Bardが出力したのは、2から3000までの整数の中から素数のものを出力するものでした。実際に出力されたプログラムから該当する部分を抜粋したのが以下のものです。

# Bardの出力したコード
# 2から3000までの数を走査する
for i in range(2, 3001):
  if is_prime(i):
    print(i)

この点では、ChatGPTの方が優秀でした。下記のように変数countを用いて3000個の値を出力するようにしています。

# ChatGPTが出力したコード
count = 0
number = 2

while count < 3000:
    if is_prime(number):
        print(number, end=' ')
        count += 1
    number += 1

そうです。この勝負、完全にChatGPTの勝利です。

とは言え、素数かどうかを求める関数is_primeをしっかり作っています。筆者の独断と偏見で点数を付けると、ChatGPTが95点としたら、Bardは70点です。

二番勝負 - 素数判定の関数をテストするプログラム

ところで、先ほどの勝負では、お題のポイントとなるのが、素数判定を行うis_prime関数でした。そこで、次の勝負は、これに関連したものにしました。

【お題】
素数判定を行う関数is_primeをPythonで作りました。この関数をテストフレームワークのPyTestでテストするプログラムを作ってください。

それでは、上記のお題をChatGPTとBardに入力してプログラムを出力させてみました。なお、生成AIを使う場合、いつも同じ結果を返す訳ではありません。気に入らない時は、同じ入力から異なる出力を再生成させることができます。そこで、今回は、いくつかプログラムを生成させてみて、最も優秀なものを採用することにしました。

次の画面がChatGPTで素数判定is_primeをテストするプログラムです。

• 

  ChatGPTで素数判定関数をテストするプログラム

ちょっとプログラムが長いので、画面に入りきらないため、ポイントを抜粋して以下に記述します。素数の場合、素数ではない場合、大きな素数で素数のもの、素数でないもの、負の数の場合など、コメントで場合分けを付けてテストを記述しています。

def test_is_prime():
    # 素数の場合
    assert is_prime(2) == True
    assert is_prime(3) == True
    assert is_prime(5) == True
    assert is_prime(7) == True
    assert is_prime(11) == True
    # 素数ではない場合
    assert is_prime(1) == False
    assert is_prime(4) == False
    assert is_prime(6) == False
    assert is_prime(8) == False
    assert is_prime(9) == False
    # 大きな素数
    assert is_prime(997) == True
    assert is_prime(7919) == True
    assert is_prime(104729) == True
    # 大きな素数ではない場合
    assert is_prime(1000) == False
    assert is_prime(12345) == False
    assert is_prime(99999999) == False
    # 負の数
    assert is_prime(-2) == False
    assert is_prime(-7) == False
    assert is_prime(-11) == False

次に、Bardが出力したプログラムを確認してみましょう。

• 

  Bardで素数判定関数をテストするプログラム

こちらも、プログラムを抜粋したものを紹介します。Bardが出力したプログラムを確認してみましょう。こちらも、素数の場合、素数でない場合、値の境界となる値に分けてテストを出力しています。

def test_is_prime_positive():
    assert is_prime(2) == True
    assert is_prime(3) == True
    assert is_prime(5) == True

def test_is_prime_negative():
    assert is_prime(1) == False
    assert is_prime(4) == False
    assert is_prime(6) == False

def test_is_prime_edge_case():
    assert is_prime(0) == False
    assert is_prime(1) == False

初見では、今回のプログラムはどちらも悪くありません。そもそも、プログラムのテストを記述する場合、期待する値を網羅して記述する必要があります。双方、期待する値を網羅している点で、良い勝負と言えます。

それでは、両者のプログラムを判定してみましょう。ChatGPTは90点、Bardは85点です。どちらのプログラムも良いのですが、ChatGPTは大きな素数や負数と、より多くのケースをテストするようになっていたので、少し点を高くしました。二番勝負も、僅差でChatGPTの勝利です。

なお、ChatGPTとBardの両者が出力したテスト関数を使って、先ほどのis_prime関数をテストしてみました。すると、両者ともテストは成功していました。

三番勝負 - Luaを使ったコイン枚数を調べるプログラム

それでは、次の試合を楽しみましょう。これまでは、Pythonのプログラムでしたが、少しマイナーなプログラミング言語のLuaを使ったプログラムを指定して、以下のようなお題を試してみました。

【お題】
次のようなプログラムをLuaで作ってください。

財布の中に硬貨があります。
1640円を支払いたいのですが、最も少ない枚数で支払える組合せを求めたいです。
なお、財布の中には次の枚数の硬貨があるものとし、値をテーブルで指定してください。
・500円硬貨が5枚
・100円硬貨が20枚
・50円硬貨が8枚
・10円硬貨が30枚

すると、それぞれの生成AIが次のようなLuaのプログラムを生成しました。

• 

  ChatGPTでコイン枚数を調べるLuaのプログラム

• 

  Bardでコイン枚数を調べるLuaのプログラム

どちらのプログラムもうまく動きそうにも見えるのですが、残念ながら、Bardのプログラムは正しく動きませんでした。今回もChatGPTの勝利です。

ChatGPTが生成したプログラムですが、ちょっと長くなったので、こちらにアップしておきました。気になる方は確認してみてください。

ChatGPTのプログラムを実行してみると下記のように正しい結果を返しました。確かに、1690円を支払うのに最も少ない硬貨の枚数です。

$ lua coin_gpt.lua
500円硬貨: 3枚
100円硬貨: 1枚
50円硬貨: 0枚
10円硬貨: 4枚

勝負の結末と総括

以上のように、ChatGPTとBardの三番勝負の結末は、圧倒的な強さでChatGPTの勝利に終わりました。とは言え、Bardはまだ試験運用中であり、日本語で使えるようになって間もないため、今後に期待できます。

そもそも、昨今の生成AIは物凄い勢いで強化されています。少し時間をおいて試してみると、また違う結果になることもあるでしょう。ChatGPTも以前似たようなプログラムで試した時と比べると、ずいぶん正しいプログラム出力するようになりました。

とは言え、プログラマー視点で見ると、今はまだ、どのAIが出力するプログラムも詰めが甘く感じられる部分も多くあります。それでも、プログラム生成能力がどんどん強化されているのは素晴らしいことです。

時に不正確で不安定なコードを生成することもあるという点を念頭に置いた上で、AIの生成するプログラムをうまく仕事にも取り入れていきたいものです。

自由型プログラマー。くじらはんどにて、プログラミングの楽しさを伝える活動をしている。代表作に、日本語プログラミング言語「なでしこ」 、テキスト音楽「サクラ」など。2001年オンラインソフト大賞入賞、2004年度未踏ユース スーパークリエータ認定、2010年 OSS貢献者章受賞。技術書も多く執筆している。直近では、「シゴトがはかどる Python自動処理の教科書(マイナビ出版)」「すぐに使える!業務で実践できる! PythonによるAI・機械学習・深層学習アプリのつくり方 TensorFlow2対応(ソシム)」「マンガでざっくり学ぶPython(マイナビ出版)」など。