neural networks

23小时前 · ai

通过可视化 Python 示例理解 ReLU

使用 ReLU 激活函数在之前的文章中，我们使用了反向传播并绘制图表来正确预测数值。所有这些示例都采用……

#ReLU #activation function #deep learning #neural networks #Python #visualization #machine learning
1天前 · ai

从零开始：训练 30M 拓扑 Transformer

请提供您希望翻译的具体摘录或摘要文本，我才能为您进行简体中文翻译。

#transformer #topological transformer #machine learning #deep learning #neural networks #model training #30M parameters
2天前 · ai

从词语到向量：语义如何从语言学走向大型语言模型

为何意义从定义转向结构——以及这对现代 AI 带来了什么变化当工程师谈论 semantic search、embeddings 或 LLMs 那些“unde...”

#semantics #embeddings #large language models #natural language processing #neural networks #AI history #linguistics
3天前 · ai

Show HN：高瘦网络的 Hessian 易于求逆

事实证明，深度网络的 Hessian 的逆很容易作用于向量。若采用朴素方法，这在层数 s 上的运算量是立方级别的……

#Hessian #deep learning #neural networks #second-order optimization #efficient algorithms
4天前 · ai

重新思考AI模型中的学习动态：基于实验的早期理论

在观察神经网络训练期间的表示不稳定性时，实验神经网络训练行为时，我注意到一个重复出现的模式 t...

#neural networks #representation learning #training dynamics #gradient descent #deep learning #model instability
1周前 · ai

复现 DeepSeek 的 MHC：当残差连接失控

请提供您希望翻译的具体摘录或摘要内容，我才能为您进行翻译。

#deep learning #residual connections #model reproduction #DeepSeek #MHC #neural networks
1周前 · ai

🧠✂️ 神经网络脑叶切除：从 LLM 中移除 7 层——速度提升 30%

对语言模型进行外科层移除的实验：我使用 TinyLlama 1.1，拥有 1 B 参数、22 个 decoder 层，并开始移除层以测试假设……

#LLM #layer pruning #model optimization #TinyLlama #inference speed #neural networks
1周前 · ai

教神经网络学习曼德尔布罗特集合

以及为什么 Fourier 特征改变了一切这篇题为 “Teaching a Neural Network the Mandelbrot Set” 的文章首次出现在 Towards Data Science....

#neural networks #Mandelbrot set #Fourier features #deep learning #function approximation
1周前 · ai

我在尝试（并大多失败）理解 Attention Heads 时学到的东西

我最初的信念在深入研究之前，我隐含地相信了几件事： - 如果一个 attention head 持续关注（attend）特定的 token，那么该 token 是……

#attention #transformers #language models #interpretability #machine learning #neural networks #NLP
1周前 · ai

数据分析师指南：掌握神经网络：分析师何时应使用深度学习

数据分析师指南：掌握神经网络——分析师何时应使用深度学习作为数据分析师，你可能已经熟悉围绕神经网络的热议……

#neural networks #deep learning #data analysis #machine learning #predictive modeling #AI applications
1周前 · ai

全局注意力机制：保留信息以增强通道-空间交互

概述：全局注意力帮助计算机更好地看图像——不会丢失细节。通过在整幅图像中保留信息，模型可以保留……

#global attention #computer vision #image recognition #channel-spatial interaction #deep learning #neural networks #mobile AI
2周前 · ai

Neural Networks: 从零到英雄

请提供您希望翻译的具体摘录或摘要文本，我才能为您进行简体中文翻译。

#neural networks #deep learning #tutorial #zero-to-hero #Andrej Karpathy

Newer posts

Older posts