»#AI companies race to use #distillation to produce #cheapermodels: DeepSeek used technique to create smaller powerful models based on the technology of competitors such as Meta.« https://www.ft.com/content/c117e853-d2a6-4e7c-aea9-e88c7226c31f?eicker.news #tech #media

DeepSeek, OpenAI & others are advancing faster with smaller, powerful models using 'distillation,' challenging the LLM first-mover advantage. Could this shift the landscape? #AI #MachineLearning #LLMs #OpenAI #DeepSeek #Distillation #TechInnovation

#ITByte: #LLM #Distillation is a technique used to create smaller, more efficient versions of large language models (LLMs).

It involves training a smaller "student" model to mimic the behavior and knowledge of a larger "teacher" LLM.

https://knowledgezone.co.in/posts/LLM-Distillation-67b2ea21ebfe6b268acbf091

DeepSeek’s R1 and OpenAI’s Deep Research just redefined AI — RAG, distillation, and custom models will never be the same https://venturebeat.com/ai/deepseeks-r1-and-openais-deep-research-just-redefined-ai-rag-distillation-and-custom-models-will-never-be-the-same/ #AI #RAG #distillation

DeepSeek’s R1 and OpenAI’s Deep Research just redefined AI — RAG, distillation, and custom models will never be the same https://venturebeat.com/ai/deepseeks-r1-and-openais-deep-research-just-redefined-ai-rag-distillation-and-custom-models-will-never-be-the-same/ #AI #RAG #distillation

Поднимаем DeepSeek llm локально

Все уже слышали про новую модель deepseek r1, которая обогнала по бенчмаркам openai. Компания Deepseek выложила веса и дистилляты в открытый доступ, благодаря чему мы можем их запустить. В статье поднимем дистилляты модели r1 используя llama.cpp - потребуются лишь базовые умения работы с bash, docker и python. Самостоятельный запуск проще простого.

https://habr.com/ru/articles/878836/

OpenAI已掌握證據「DeepSeek侵權」，盜用GPT distillation技術訓練中國AI | 動區動趨-最具影響力的區塊鏈新聞媒體

Link

MY NEWS: Team makes distilled wine in replica of bronze vessel found at emperor’s tomb

Archaeologists conduct experiment to recreate distillation process from Western Han dynasty using replica still and taro

https://www.scmp.com/news/china/science/article/3290709/team-makes-distilled-wine-replica-bronze-vessel-found-emperors-tomb

Last night's reactor setup worked pretty well. It based on a big tea urn which has some water in and the actual still placed inside it, with the tubing coming out through the lid and is effectively a bain-marie type setup so shouldn't be able to scorch the mash, which means we should be able to leave any fruit in for additional flavour (on runs which have fruit, like for my apple molotov) #distillation #moonshine

A very interesting interview....

#OpenAI CPO #KevinWeil on the Future of #AI

Summary:

#ProductManagement at #OpenAI: Kevin Weil discusses differences in product management compared to other companies, highlighting that AI advancements make product development more dynamic and unpredictable.

AI's Rapid Evolution: #AI technology evolves faster than ever, with computers gaining new capabilities monthly, which requires adaptability and quick decision-making in #productstrategy.

#Distillation and #CostReduction: Distillation is a key innovation that allows AI models to be optimized for specific tasks, significantly reducing costs (99% cost reduction since #GPT3).

Advanced Reasoning with #01Model: The 01 model introduces advanced reasoning capabilities, enabling AI to hypothesize and refine its thinking, which is particularly effective in fields like #science and #mathematics.

Insights Based on Numbers:

99% cost reduction in two years: The evolution from #GPT3 to #GPT4 models shows a dramatic decrease in cost, making AI more accessible and practical for diverse applications.

More than 3 million developers using OpenAI: This showcases the wide adoption of OpenAI's tools and the potential impact of AI across industries.

https://youtu.be/VsmEMUiPXIs?si=rkB7_ECm71BH59sf

Всем про LLM. Как рассказать про трансформеры одинаково хорошо и индустриалам, и исследователям

Привет, Хабр. Меня зовут Вика, я работаю в AIRI, преподаю в Школе Анализа Данных и Сколтехе и вместе со своими коллегами занимаюсь обработкой естественного языка, изображений и видео, а также иными задачами, где могли бы пригодиться трансформерные модели. Трансформерные архитектуры — очень мощное орудие, которые может быть применено почти во всех сферах DL, и интереснейший концепт, в котором много потенциала для исследования. А, главное, их очень легко применить к технологиям, которые способны изменить нашу жизнь здесь и сейчас. На словах всё красиво. Но три года назад мы заметили, что и магистры, и работники индустрии, связанной с AI, часто просят «объяснить, как же все‑таки работают трансформеры, потому что из научной статьи ничего не понятно». Так происходит из‑за того, что многое, что в статьях считается очевидным и само собой разумеющимся, очень плохо разъясняется в учебной литературе или существующих курсах. Как следствие, многие не могут использовать трансформеры для решения практических задач и реализации своих идей. Эта трудность побудила нас создать полноценный курс по трансформерам, в котором проработаны такие проблемные точки и который адаптирован для студентов с разным профессиональным бэкграундом. О нём я и расскажу в этой статье. Мы уже апробировали курс на лекциях в Сколтехе, МГУ и Сбер Университете, и написали в AIRI о нём статью , которую представили на воркшопе по преподаванию на одной из самых популярных мировых конференций по NLP — ACL-2024. Материалы академической версии курса можно найти в нашем репозитории . Приятного чтения!

https://habr.com/ru/companies/airi/articles/847348/

The unique taste of #Japanese #whiskey made in #Japan comes from specific details in the #distillation process, such as the water source, distilling still shapes, and the type of wood used in #aging #barrels. https://everydaychroniclesau.wordpress.com/2024/04/16/japanese-whiskey-a-flavourful-fusion-of-tradition-and-technique/

How can unconventional methods like vacuum and steam distillation be applied to overcome everyday challenges?

#mistral's 8x22B is ~260GB

the trend is to get models smaller, not bigger

#pruning, #sparsity, #quantization, #distillation

so why such a huge model?

does mistral have no other models?

La #distillation #traditionnelle des #fleurs, une pratique #ancestrale qui perdure

https://www.leaders.com.tn/article/35743-la-distillation-traditionnelle-des-fleurs-une-pratique-ancestrale-qui-perdure

Retrotechtacular: The Story of Turpentine - If someone in 2023 has ever had much call to use turpentine, chances are good it w... - https://hackaday.com/2023/12/04/retrotechtacular-the-story-of-turpentine/ #retrotechtacular #distillation #turpentine #solvent #solder #resin #rosin #flux

Diesel Station Wagon Runs on Plastic

#transportationhacks #240 #alternativefuel #distillation #hydrocarbon #plastic #refinery #stationwagon #volvo #hackaday

-- Delivered by RssEverything service

hackaday.com/2023/11/15/diesel…

Diesel Station Wagon Runs on Plastic - Old diesel engines from various car manufacturers like Mercedes and Volkswagen are... - https://hackaday.com/2023/11/15/diesel-station-wagon-runs-on-plastic/ #transportationhacks #alternativefuel #distillation #stationwagon #hydrocarbon #refinery #plastic #volvo