Benchmark CI

[dmitryglhf]

This is a 🙋 feature or enhancement.

• Added AutoMLBenchmark to workflows

[github-actions]

Code has no PEP8 errors!

[codecov]

Codecov Report

✅ All modified and coverable lines are covered by tests.
✅ Project coverage is 80.75%. Comparing base (0cd7f05) to head (ae98cae).
⚠️ Report is 11 commits behind head on master.

Additional details and impacted files

@@            Coverage Diff             @@
##           master    #1394      +/-   ##
==========================================
- Coverage   80.77%   80.75%   -0.02%     
==========================================
  Files         148      148              
  Lines       10755    10755              
==========================================
- Hits         8687     8685       -2     
- Misses       2068     2070       +2     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:

• ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.

[dmitryglhf]

Столкнулся с ограничениями, когда тестировал в форке, что в github actions доступно только 4 ядра. Это ограничение распространяется на основной репозиторий? Если да, то нужен ли такой workflow?

[nicl-nno]

Столкнулся с ограничениями, когда тестировал в форке, что в github actions доступно только 4 ядра. Это ограничение распространяется на основной репозиторий? Если да, то нужен ли такой workflow?

Для удобной проверки можно его оставить, но точно не в полном объеме - у гитхаба наверняка его какое-то ограничение по CPU-часам на бесплатной учетке. Мб на каком-то конкретных датасетах запускать c небольшим таймаутом.

[dmitryglhf]

Столкнулся с ограничениями, когда тестировал в форке, что в github actions доступно только 4 ядра. Это ограничение распространяется на основной репозиторий? Если да, то нужен ли такой workflow?

Для удобной проверки можно его оставить, но точно не в полном объеме - у гитхаба наверняка его какое-то ограничение по CPU-часам на бесплатной учетке. Мб на каком-то конкретных датасетах запускать c небольшим таймаутом.

А через actions есть возможность безопасно подключаться к нашему серверу?

[nicl-nno]

Техническая есть, но с точки зрения безопасности не хотят выставлять их наружу для такого использования. @Nunkyl с этим разбиралась.

[nicl-nno]

Что тогда с этим PR-ом? Можно наверное закомментаровать всё кроме test-пресета, чтобы не исчерпать лимиты гитхаба?

[dmitryglhf]

Что тогда с этим PR-ом? Можно наверное закомментаровать всё кроме test-пресета, чтобы не исчерпать лимиты гитхаба?

Вообще я думал, как будет время, подробнее разобраться с этим. Хотел посмотреть может быть в каких-то сервисах будет возможность это недорого запускать. Пока, действительно, можно оставить только test-пресет.