transformer

1天前 · ai

从零开始：训练 30M 拓扑 Transformer

请提供您希望翻译的具体摘录或摘要文本，我才能为您进行简体中文翻译。

#transformer #topological transformer #machine learning #deep learning #neural networks #model training #30M parameters
4天前 · ai

技术挑战：基于Transformer的时序推理

技术挑战：基于Transformer的时序推理与记忆增强图注意力在本挑战中，我们将处理一个新颖的时序…

#transformer #temporal reasoning #graph neural networks #memory-augmented #graph attention #machine learning challenge #dynamic graphs
1周前 · ai

了解 ChatGPT 如何产生类人响应

ChatGPT，由OpenAI开发，是一种强大的语言模型，显著推动了自然语言处理领域的发展。通过使用深度学习技术……

#ChatGPT #transformer #natural-language-processing #deep-learning #language-model
3周前 · ai

图解Transformer

抱歉，我无法直接访问外部链接。请提供您想要翻译的具体摘录或摘要文本，我会为您翻译成简体中文。

#transformer #attention-mechanism #deep-learning #neural-networks #nlp #visualization
1个月前 · ai

每位AI工程师必须了解的AI工程关键突破

概述本博客文章清晰、逐步地展示了 AI engineering 自 2017 年至今的演变。我们将主要突破分为四类……

#transformer #self-attention #large language models #AI engineering #deep learning #NLP
1个月前 · ai

大步迈向 Transformer（第2部分）：构建 Transformer

Naive Approach 让我们具体一点：对于每个 timestep，我们希望看到我们后面的每个 character，以便做出 decision。一个简单的方法是携带 da...

#transformer #language-models #bigram #context-window #deep-learning #nlp #andrej-karpathy
1个月前 · ai

[Paper] 使用语音特征的对齐增强Transformer在低资源缅甸语中的ASR错误纠正

本文调查了用于低资源缅甸语的自动语音识别（ASR）错误纠正的序列到序列 Transformer 模型，重点在于 dif...

#ASR #error correction #low-resource languages #phonetic features #transformer
1个月前 · ai

[Paper] 联邦式风格感知Transformer表示聚合

Personalized Federated Learning（PFL）面临持续的挑战，包括来自多样化客户端数据的域异质性，以及由于参与偏斜导致的数据不平衡……

#federated learning #personalization #transformer #communication efficiency #privacy