Transformer速查宝典：模型、架构、训练方法的论文都在这里了论文大合集，一篇文章就搞定。AI 发展迅速，这对于刚刚入门或是正想跟上「潮流」的新手们来说并不友好。如果有一份详细全面的知识列表可能会帮助他们更快走上「正途」。今天给大家带来一篇 Transformer 的综述文章，供大家了解 Transformer 的来龙去脉及相关技术。本篇综述涵盖了2

　　本文由站长之家合作伙伴自媒体作者“ 机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。对于使用ReLU的S/8模型，这种门控机制会将实验所需的核心时间增多大约9.3%。

　　视觉Transformer成为各类视觉任务如物体识别和图片分类的有效架构。这是因为自注意力可以从图片中提取全局信息卷积核大小限制了卷积神经网络只能提取局部信息。他们的贡献有:1）提出了紧凑高效的视觉Transformer模型DualToken-ViT，通过卷积和自注意力的优势实现有效的注意力结构;2)提出位置感知全局令牌，通过图像位置信息来增强全局信息;3)DualToken-ViT在相同FLOPs下在多个视觉任务上表现最好。

　　Transformers成为了人工智能领域最重要的创新之一。这种神经网络架构于2017年推出，彻底改变了机器理解和生类语言的方式。这有望推动人工智能在多模态智能应用中的发展。

　　阿里巴巴达摩院模型开源社区ModelScope宣布开源法国人工智能初创公司MistralAI旗下新模型Mistral7B，可免费商用。Mistral7B在公开提供的指令数据集上进行了微调后的模型Mistral7BInstruct，在MT-Bench上超越了其他7B模型，并可与13B聊天模型相媲美。

　　MistralAI，一家法国人工智能初创公司，最近发布了一款性能优越的语言模型Mistral7B，并免费向所有人提供使用。图片来源:米斯特拉尔人工智能该模型基于Apache2.0许可证发布，除了归属之外，没有任何使用或复制的限制。对于对Mistral7B模型的开放性以及未来发布计划的一些疑问，我们已经联系了Mistral，并等待他们的回复。

　　StableSR是一种创新性的AI方法，旨在通过利用预训练扩散模型的威力来增强超分辨率任务。传统的SR方法通常需要大量的计算资源来从头开始训练扩散模型，这可能会损害它们的生成先验知识。通过利用预训练的扩散模型并结合创新技术，如时间感知编码器、可控特征包装模块和渐进聚合采样策略，StableSR为将扩散先验知识应用于图像恢复任务的未来研究提供了坚实的基础。

　　Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术，旨在解决大型语言模型在长时间对话中性能下降的问题。LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注，但它们都面临一个共同的挑战，即在与用户的对话中始终提供高质量的响应，无论对话持续多长时间或交换的对话数量如何。StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案，有望在许多领域，特别是需要持续不断地与用户交互的应用中得到广泛应用。

　　OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。

　　研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。

　　计算机视觉巅峰大会ICCV2023，在法国巴黎正式“开奖”!今年的最佳论文奖，简直是“神仙打架”。获得最佳论文奖的两篇论文中，就包括颠覆文生图AI领域的著作——ControlNet。来自MIT的TedAdelson教授则获得了终身成就奖。

　　Smash or Pass是一个通过AI帮助你找到完美的伴侣的网站。它使用人工智能算法分析用户的喜好和兴趣，根据用户的选择进行匹配。Smash or Pass提供了丰富的功能，包括浏览照片、选择喜欢或不喜欢的人、查看匹配结果等。该产品定价根据不同的会员等级而定，同时也提供了免费试用版本。Smash or Pass定位于年轻的单身人群，旨在帮助他们找到理想的伴侣。

　　Vulse是一款全能的AI营销软件，专为帮助您在LinkedIn上实现增长而设计。通过Vulse的LinkedIn自动化和营销工具，您可以计划、创建和发布有影响力的内容，快速简便地吸引和参与目标受众。立即开始，将您的LinkedIn打造成一个建立受众、产生参与和扩大影响力的机器。定价请参考官网。

　　pre.dev能帮助您规划半岛体育、构建、交付和维护软件项目。通过与我们的产品专家讨论您的想法，我们可以迅速为您建立软件架构，并通过我们的专家工程团队快速实现项目。pre.dev支持各种应用类型，包括Web应用、移动应用等，并利用现代API、响应式前端设计和无缝数据集成。

　　ImageFixPro是一个在线工具，利用人工智能技术来去除照片中的人物、文字、水印等。它可以帮助你优化照片，使之更加完美，而且完全免费，无需注册。

　　Unlost是一个通过AI轻松导航您的记忆宫殿的工具。只需搜索和询问，即可快速回忆和查找任何信息。

　　VizGPT是一个使用聊天界面进行上下文数据可视化的工具。它能够从表格数据集中分析数据，并生成相应的图表。用户可以通过自定义数据集、编辑图表和与工具进行交互来完成数据分析任务。VizGPT还提供了可视化数据分享功能，用户可以将生成的图表分享给他人。VizGPT Plus是该工具的高级版本，包括自定义数据集、可编辑图表、聊天互动等功能。早鸟特价为48美元/年。

　　HustleSEO是一款为网站主提供简单的关键词研究工具的产品。您可以通过该工具研究新的关键词想法，并跟踪历史搜索数据，了解哪些关键词和主题值得进行SEO优化。此外，AI会为您生成10个与关键词相关的内容想法。

　　Moncelo是一款AI智能个人项目管理工具，可以帮助用户更智能地管理和完成项目。它通过AI生成任务，跟踪进展并提供项目概览仪表盘等功能。Moncelo提供两种定价方案半岛体育，月付5美元的订阅和一次性支付60美元的终身许可。它适用于各种项目管理场景。

　　AutoMagic AI是一个强大且快速的写作工具，通过AI驱动的写作和图像生成，轻松转录音频为文本，帮助用户创建令人惊叹的内容。它适用于作家、博主、市场营销人员、企业家和商业专业人士，提高工作效率，节省时间，同时不降低质量。

　　PhotoTag.ai是一个AI图像标签生成器，可以帮助用户快速生成准确、相关的关键词、标题和描述。适用于股票摄影师、AI专家等。用户只需点击一次，即可在几秒钟内获得图片的关键词，并可轻松导出到各大平台。定价请参考官网。

　　CoolMindMaps是一个可以创建和搜索酷炫思维导图的在线平台。它提供丰富的功能和优势，用户可以轻松创建各种思维导图半岛体育，并通过搜索功能找到感兴趣的导图。CoolMindMaps的定价灵活，并提供免费试用和付费订阅的选项，适合个人和团队使用。

　　Great Pickup Lines for Dating Apps是一个提供在约会应用中使用的绝佳开场白的工具。无论你使用的是Tinder、Bumble、Hinge、OkCupid、Coffee Meets Bagel等约会应用，我们都为你提供适合的开场白。无需再为第一条信息发愁，用我们的开场白迅速吸引对方的注意力！

　　Calligrapher.ai是一个使用浏览器中的循环神经网络将文字转换为真实手写的工具。用户可以选择不同的印刷和草书风格，自定义输出并将其下载为SVG文件。该工具能够生成逼真的手写效果，方便用户在设计、文案制作等场景下使用。

　　Facia是最快的人脸识别与3D检测解决方案。通过3D检测，确保快速准确的人脸匹配和验证。产品具有高速响应时间、多种检测方式、防止欺诈和冒充攻击、快速准确的验证等优势。请访问官网了解详细信息。

　　Gruntly是一个个性化的内容集成平台。它可以根据用户的独特兴趣和当前任务,从大量渠道中智能筛选出相关和有价值的信息,生成个性化的内容摘要,帮助用户管理信息过载。主要功能包括:交互式登记用户兴趣、监控多种渠道、智能分析与集成、生成个性化内容摘要、支持频率和内容自定义等。适用于专业人士、创作者、投资人员、企业管理者等用户群体。

　　SEO GPT by Writesonic是一个SEO在线工具,内置在ChatGPT中,提供页面SEO分析、关键词洞察等功能,帮助优化页面SEO。主要功能包括页面SEO评分检查、关键词优化建议、competitor分析等。定价免费,定位页面SEO优化工具。

　　Flowlie for Founders是一个一站式的筹资中心,专为创始人提供融资服务。它可以帮助创始人规划融资轮次,确定融资金额和公司估值;准备投资者介绍材料;创建并分享演示文稿、数据等内容;追踪投资者的参与度和兴趣。该产品提供了轮次规划、股权稀释计算、行业术语解释等工具,使创始人能够顺利完成融资工作。

　　Universe是一款无代码建站工具，可以从任何地方创建自定义网站，无需编码。用户可以使用其直观的可视化编辑器进行拖放操作，轻松构建网站。Universe还提供电子商务功能，用户可以轻松地出售各种物品。Universe有三个计划：免费计划、域名计划和专业计划，满足不同用户的需求。

　　DB Pilot是一个数据库GUI工具，支持PostgreSQL、MySQL、SQLite等多种数据库。它还集成了OLAP数据库，可以连接各种数据源。内置的AI助手使得编写SQL查询变得简单易懂。定价分为免费版、Plus版和Pro版。