Математика и статистика - HighStage Lab: Исследования и Разработки

Помогите разобраться с нормальным распределением в анализе данных!

Robot_Coder_Alex — Wed, 22 Apr 2026 04:37:11 +0000

Привет всем! Пытаюсь сделать статистический анализ данных по нашим последним экспериментам, и никак не могу понять, как правильно применить нормальное распределение. Данные вроде бы ведут себя похоже, но тесты на нормальность показывают противоречивые результаты. Делал все по учебнику: считал среднее, дисперсию, строил гистограммы. Но когда пытаюсь рассчитать p-value, выходит какая-то ерунда. Может, кто-то сталкивался с подобным и может подсказать, где я копаю не туда? Или, может, есть какие-то более продвинутые методы проверки?

рабочее зеркало Крáкен

PyTorch Lightning v3.0: Новая эра в разработке ML моделей? — научные открытия

MathWizard — Tue, 21 Apr 2026 13:07:38 +0000

Привет, гики! Решил тут копнуть глубже в новые релизы фреймворков для машинного обучения, и наткнулся на PyTorch Lightning v3.0. На самом деле, это уже старый релиз, вышел в конце 2023-го, но я только сейчас выбрал время, чтобы протестировать его на паре своих мини-проектов, которые занимаются анализом временных рядов. Ну, знаете, такие штуки, где пытаешься предсказать что-то на основе прошлых данных. Очень много мелких, но приятных нововведений, которые действительно упрощают жизнь разработчика, особенно когда идет активная научная работа.

Что понравилось больше всего? Ну, во-первых, новый `Trainer` API. Он стал еще более декларативным. Теперь можно тонко настраивать логирование, чекпоинты и даже распределенное обучение прямо в инициализации, а не через кучу колбэков, как было раньше. Это прямо реально уменьшает бойлерплейт код. Плюс, они добавили поддержку новых бэкендов для логирования, типаWeights & Biases, куда интегрировался чуть ли не в два клика. У меня старая версия уже была настроена под TensorBoard, и переход прошел гладко

auto_device_map — это вообще отдельная песня. Раньше, если модель большая, приходилось ручками раскидывать слои по GPU или CPU, что тот еще квест. Теперь Lightning сам пытается это сделать, учитывая доступную память. Конечно, не всегда идеально, и иногда стоит вмешаться, но для старта — просто бомба. Сэкономило мне, думаю, часов пять отладки на одном из экспериментов.

Из минусов? Ну, типа, некоторые старые API, которые были помечены как deprecated, реально убрали. Если кто-то переезжает с v1 или v2, готовьтесь к рефакторингу. Я, к счастью, не сильно глубоко использовал те самые устаревшие части, так что мой переход был относительно безболезненным.

Итоговое впечатление: PyTorch Lightning v3.0 — это шаг вперед. Он делает и без того удобный фреймворк еще более мощным и гибким. Все эти новые технологии, вплетенные в структуру, реально ускоряют процесс от идеи до работающей модели. Имхо, для любых серьезных научных исследований в области ML — это отличный выбор

Кто-нибудь работал с анализом данных на маркетплейсах типа Крáкен?

MathWizard — Mon, 13 Apr 2026 06:14:32 +0000

Интересно, вот, насколько вообще перспективно пытаться анализировать данные с таких площадок? Ну, типа, насколько они вообще открыты, прозрачны и все такое, чтобы вытащить что-то стоящее. У меня тут идея появилась, думаю, может попробовать что-нибудь интересное накопать, используя методы машинного обучения, но даже не знаю, с чего начать.

Кто-нибудь знает, может, есть какие-то открытые проекты или библиотеки для работы с данными с Крáкен маркетплейс, или же, может, кто-то просто поделится опытом? Думаю, если покопаться глубже, можно найти интересные закономерности, но вот технически как к ним подступиться - вопрос.

ссылка на Крáкен

Вероятностные модели лучше детерминированных для описания сложных систем

DataAnalyst_Oleg — Sat, 11 Apr 2026 20:06:22 +0000

Наблюдаю тенденцию, что многие научные исследования в области сложных систем, например, в экономике или биологии, все еще пытаются строить на жестких, детерминированных моделях. Это, имхо, прошлый век. Реальность же, как ни крути, полна случайности. Смотрел тут последние разработки в области моделирования климата – там уже давно без стохастики никуда.

Если смотреть на характеристики таких систем, то их поведение редко предсказуемо со 100% точностью. Например, фондовый рынок. Попытка предсказать его движение исключительно на основе вчерашних данных — это как пытаться предсказать погоду на месяц вперёд, глядя в лужу. Новые технологии позволяют собирать такие объемы статистики, что детерминированные модели просто не справляются с обработкой всей этой энтропии.

Поэтому, я считаю, что вероятностные модели — это будущее. Они лучше отражают реальную природу многих процессов. Какие-нибудь инновации в этой сфере точно будут прорывными. А вы как думаете?