1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
勒让德给高斯写信说：“如果给你一堆已知的点，让你找到一个函数，尽可能的让这些点让这个函数表示出来，你怎么做？”
高斯说：“这个问题很有趣，同时，我们也应该好好研究它。”
勒让德说：“线性回归，就是让直线接近那群点，这群点尽可能接近到，在距离的分布上呈高斯分布。”
高斯说：“没错，你的意思是，除了直线以外，其他类型的函数也可以这样做吗？”