华尔街见闻 on MSN12 小时
挑战Transformer!液态AI,了解一下
在一项基准测试中,Liquid AI开发的LFM模型跑赢了Meta和微软的流行模型,同时需要的内存更少。该公司推出的STAR新框架在与混合模型相比实现了高达37%的缓存大小减少,与Transformers相比则减少了90%。
总结而言,该研究提出了一种新的 LLM 思想。传统的语言模型依赖于 tokenizer 来预处理数据,但 tokenization 有其固有的局限性,包括固定的词汇表、处理多语言或噪声数据的效率低下,以及由压缩启发式方法引入的偏见。
点击上方“Deephub Imba”,关注公众号,好文章不错过 !Graph ...
在人工智能领域,Transformer作为一种革命性的技术架构,成为了大型语言模型(LLM)和各种语言处理应用的核心。自2017年被提出以来,Transformer不仅提升了自然语言处理(NLP)领域的创新性,还推动了智能写作、智能营销、智能对话等多 ...
再往后,就是人工智能时代了。尽管“人工智能”(AI)这一术语早在计算机领域广泛应用,但直到2020年前后,它才在生物医药领域真正得到重视,这一变革的关键推动力是AlphaFold等突破性模型的问世。
此次 Liquid AI 获得由 AMD 领投的 2.5 亿美元融资,将进一步推动其技术研发和市场化进程。据 Liquid AI 联合创始人兼首席执行官 Ramin Hasani 透露,这笔资金将被用于扩大技术团队规模,并加速模型的行业落地。AMD ...
近日,OpenAI宣布重磅人事变动,三名来自谷歌DeepMind的资深研究科学家翟晓华、Lucas Beyer和Alexander ...
AlphaFold2的成功不仅标志着AI在生物学领域的重大突破,更预示着跨学科研究的无限可能。它能够在几天内预测出蛋白质的结构,而传统的实验方法可能需要数年时间和高昂的成本。这一突破迅速在科学界引起轰动,并被《自然》杂志誉为“将改变一切”的技术。