IEEE 发表了一篇论文，对 ChatGPT 在代码生成任务中的表现进行了系统评估。研究使用了程序员常用的 LeetCode 题库作为数据集。结果显示，ChatGPT 在生成代码方面存在一些潜在问题和能力局限，这有助于我们改进模型并更好地利用 ChatGPT。研究人员测试了 GPT-3.5 在 5 种编程语言中解决 LeetCode 上的 728 个编码问题，以及应对 18 个常见缺陷枚举场景的能力。结果表明，ChatGPT 生成可用代码的能力差异很大，成功率从 0.66% 到 89% 不等。论文还指出，ChatGPT 在生成代码过程中，出现的潜在问题和局限性，进而改进生成技术。