‘教程差距’：我在从示例数据集转向真实世界 AI 时的收获

Source: Dev.to

面对真实数据的挑战

作为一名热衷于 AI/ML 编程的高三学生，我已经看过数十个教程。你一定知道那些教程——它们使用 Iris 数据集或 Titanic 生存数据。十分钟内准确率就能达到 95%，让人感觉自己是天才。

随后我开始为 Scaler YIIC 等比赛做实际项目原型。现实狠狠打脸。

真实世界的数据往往很混乱，根本不是整齐的 CSV。

• 它是被困在 PDF 中的非结构化文本。
• 它是光线糟糕、角度不佳的图片。
• 到处都是缺失值和格式不统一的情况。

我意识到，成为一名优秀的 Python 开发者并不仅仅是导入 PyTorch 或 TensorFlow 并跑几行代码，而是要做好 模型训练之前的 80% 工作：数据工程和预处理。

关键收获

不要只学会如何构建模型。要学会如何构建支撑模型的稳健、混乱且复杂的流水线。 真正的工程工作就在这里，这也是教程项目和真实世界应用之间的区别。

MachineLearning #DataScience #PythonDeveloper #RealWorldCoding