micrograd

一个微型的自动微分引擎（带点“ bite”！:)). 在动态构建的有向无环图上实现反向模式自动微分（反向传播），并在此基础上构建了一个小型神经网络库，API 类似于 PyTorch。两者都非常小巧，代码量分别约为 100 行和 50 行。该有向无环图仅作用于标量值，因此例如我们将每个神经元拆分为其所有独立的加法和乘法操作。然而，这已足以构建完整的深度神经网络进行二分类任务，如演示笔记本所示。可能对教学用途有所帮助。