FM-радио [Обновлено 27.11.24]

[Chimildic]

Описание

Аддон позволяет получить треки с радиостанций в двух категориях: топ-40 и за день (только за сегодня). Можно накапливать треки в кэш на Google Диске.

Установка

1. Создайте файл addons или radio и скопируйте в него следующий код

// Описание https://github.com/Chimildic/goofy/discussions/35
const Radio = (function () {
  const URL_BASE = 'http://the-radio.ru/';
  return {
    getTracks: getTracks,
    getTopTracks: getTopTracks,
  };

  function getTracks(station, limit) {
    return parseTracklist(station, limit);
  }

  function getTopTracks(station, limit) {
    let stationResponse = fetchPageAsText(station)

    let variables = parseVariables(stationResponse.getContentText())
    let stationId = variables['MAIN_RADIO_ID']

    let setCookies = stationResponse.getAllHeaders()['Set-Cookie']
    let cookies = setCookies.map(cook => cook.split(',')).join(';')

    let cheerio = Cheerio.load(stationResponse.getContentText())
    let csrfToken = cheerio('#csrf_token').attr('value')

    let topTracks = CustomUrlFetchApp.fetch(`https://the-radio.ru/radio/${stationId}/top`, {
      method: 'post',
      contentType: 'application/x-www-form-urlencoded;',
      payload: `radio_id=${stationId}`,
      headers: {
        'cookie': cookies,
        'x-csrf-token': csrfToken,
      },
    })
    let tracknames = topTracks.map(track => parseNameTrack(track.title))
    return Search.multisearchTracks(Selector.sliceFirst(tracknames, limit))
  }

  function parseTracklist(station, limit) {
    let htmlContent = fetchPageAsText(station).getContentText()
    let variables = parseVariables(htmlContent)
    let tracknames = variables['MAIN_TRACKLIST_OF_RADIO'].map(track => parseNameTrack(track.title))
    return Search.multisearchTracks(Selector.sliceFirst(tracknames, limit))
  }

  function fetchPageAsText(station) {
    return CustomUrlFetchApp.fetch(`${URL_BASE}playlist/${station}`)
  }

  function parseVariables(htmlText) {
    let scriptData = ''
    for (let match of htmlText.matchAll(/<script type=\"text\/javascript\">(.+)<\/script>/g)) {
      if (match && match[1].trim().startsWith('var')) {
        scriptData = match[1]
        break;
      }
    }

    let variables = {}
    let match
    let variableRegex = /var\s+(\w+)\s*=\s*(.*?);/g;
    while (match = variableRegex.exec(scriptData)) {
      try {
        variables[match[1]] = JSON.parse(match[2])
      } catch {
        variables[match[1]] = eval(match[2])
      }
    }
    return variables
  }

  function parseNameTrack(item) {
    let [artist, track] = item.split(' - ')
    if (track) {
      track = track.split(/( x | feat*\w+| vs*\W+|,|\/|[(]| \+ id)/gi)[0]
      return `${artist} ${track}`.formatName()
    } else {
      return item.formatName()
    }
  }
})();

Простой пример

Данные берутся с сайта the-radio. Найдите на нем желаемую станцию и скопируйте ее название из адресной строки. Например, для ссылки: http://the-radio.ru/radio/relax-r201 названием будет relax-r201

  function updateStation() {
    let tracks = Radio.getTracks('relax-r201')

    Filter.removeTracks(tracks, RecentTracks.get(2500))

    Playlist.saveWithReplace({
      name: 'Релакс',
      tracks: tracks
    })
  }

Предыдущий вариант с сайтом top-radio больше не работает.

Комплексный пример

Парсинг и поиск по одному треку в совокупности с большим количеством радиостанций быстро приводят к лимиту выполнения (6 минут). Clerk поможет распределить N станций на один триггер, обновив за день все из них.

Константы	Описание
FIRST_HOURS	Первый час, с которого начинается обновление. Источник радио дает историю только за день. Поэтому начинать в час ночи не имеет смысла, история слишком маленькая. Утром или в середине дня уже лучше.
STATIONS	Перечень id от желаемых радиостанций. Имя будет использоваться в качестве названия плейлиста.
STATION_PER_RUN	Сколько станций обновить за один запуск по расписанию. Каждый запуск обновит следующие N станций. Если пройден весь список, ничего не произойдет.
Общие источники	Всегда нужны общие источники вроде истории прослушиваний или лайков. Чтобы не брать их на каждую станцию отдельно, выносим в общую область.

• Функции updateAllStations ставим триггер на каждый час
• Функции run и onQueue системные, не трогаем
• Функция updateStation - то, что будет происходит с каждой отдельной станцией при запуске по расписанию. В этом примере это просто обновление плейлиста. Можете заменить на накопление кэша. Обратите внимание как используется общий источник recentTracks.

function updateAllStations() {
  const FIRST_HOURS = 6
  const STATION_PER_RUN = 1
  const STATIONS = [
    { id: 'record-dance-r1721', name: 'Record DanceCore' },
    { id: 'uplifting-r2822', name: 'Record Uplifting' },
    { id: 'europa-plus-r363', name: 'Europa Plus' },
    { id: 'dorozhnoe-r157', name: 'Дорожное' },
    { id: 'relax-r201', name: 'Relax' },
    { id: 'nrg-r200', name: 'Energy' },
    { id: 'hit-fm-r195', name: 'Hit FM' },
    { id: 'maximum-r962', name: 'Maximum' },
    { id: 'rock-fm-r1903', name: 'Rock FM' },
    { id: 'studio-21-r2335', name: 'Studio 21' },
  ]

  // Общие источники
  let recentTracks = RecentTracks.get(2500)
  // ...
  // ...

  run()

  function run() {
    globalThis.onQueue = onQueue
    for (let i = FIRST_HOURS; i < 24; i++) {
      let timeStr = `${i}`.padStart(2, '0') + ':00'
      let func = new Function('return ' + `function onHour${i}() { onQueue(${i}) }`)()
      Clerk.runOnceAfter(timeStr, func)
    }
    Admin.printInfo('Количество запросов', CustomUrlFetchApp.getCountRequest())
  }

  function onQueue(hours) {
    let index = hours - FIRST_HOURS
    if (index < 0) {
      Admin.printError('Индекс меньше нуля')
      return
    }
    let stations = STATIONS.slice(index, index + STATION_PER_RUN)
    stations.forEach(s => updateStation(s.id, s.name))
  }

  function updateStation(id, name) {
    let tracks = Radio.getTracks(id)

    Filter.removeTracks(tracks, recentTracks)

    Playlist.saveWithReplace({
      name: name,
      tracks: tracks
    })
  }
}

[amd64fox]

Спасибо огромное за новую, дельную фишку... Все работает 😁

[tupizm]

Я только не совсем понял, топ за день меняется каждый день? И на основе чего этот топ? Я просто не пользовался этим сервисом

[tupizm]

Кажется понял. В течение дня играют песни на радио - создается плейлист дня, так сказать. После этого пользователи слушают эти песни через вк или ютуб, и на основе прсолушанных составляется топ дня. Соответсвенно каждый день песни будут уникальными, в каком-то смысле. я правильно понял? поправьте, пожалуйста, если вдруг нет

[Chimildic]

Треки за день - просто что играло на радио. Топ - наиболее часто игравшие.
Когда топ обновляется не написано. Может быть за неделю. На практике проверить нужно.

[tupizm]

Блин, так это можно получается свое радио запилить в споти на основе этих треков за день. Это же просто бомба!

[efremych]

Другим сервисом пользуюсь, тоже обращал внимание на Топ, но не придавал ему значения. Да, на практике нужно следить, врядли ежедневно обновляется, но всё равно круто.

А, не заметил что кроме топа есть еще и треки за день - то что надо :)

[amd64fox]

Кстати после добавления фишки с радио, в каждом скрипте появилось предупреждение вида :

3 февр. 2021 г., 18:03:57 Предупреждение @babel/polyfill is loaded more than once on this page. This is probably not desirable/intended and may have consequences if different versions of the polyfills are applied sequentially. If you do need to load the polyfill more than once, use @babel/polyfill/noConflict instead to bypass the warning.

Это нормально ?

[Chimildic]

У меня такого нет. Последнюю версию Cheerio выбрали?

[amd64fox]

Хм... странно выбирал последнюю при установке , сейчас проверил стоит 2-ая, исправил на 12-ую вручную

[amd64fox]

Да, из-за версии, исчезло предупреждение.

[amd64fox]

Еще заметил что есть повторы в списках, возможно нужно их убирать сразу или нет, не критично

[Chimildic]

В топе не должно быть по идеи. В треках дня логично, что есть, ведь эфир с радио.

[Bedmit]

Что-то я похоже упустил из виду.
На скрипт

function` Test() {
  let Test = Radio.getTracks('maximum');

  Playlist.saveAsNew({
  name: 'Test',
  tracks: Test,
});
}

Выдает ошибку

SyntaxError: Identifier 'Radio' has already been declared
(функция без названия)	@ Radio.gs:1

Скрипт с выложенным кодом создал. Библиотеку добавил.

[Chimildic]

Имя Radio уже существует. Возможно, одна из личных функций так названа. Поэтому конфликт с модулем радио.

[Bedmit]

Точно. Уже использую это название
function Radio(playlistUrl)
Сейчас поменяю

[Bedmit]

Все, теперь все отлично работает. Спасибо!

[efremych]

А как вот такие вещи пресекать?
Чтобы название артиста было без выделенного текста?

3 февр. 2021 г., 22:52:39 Информация Spotify по типу track не нашел: juno reactor vs don davis navras
3 февр. 2021 г., 22:52:39 Информация Spotify по типу track не нашел: unkle featuring ian brown be there

Так понимаю где-то здесь?
Но если экспериментировать много запросов уходит :(

let artist = cheerio(node).text().split(/,|&|x|feat|/)[0];

И "The" перед названием артиста.
Добавил сюда, но оказалось, негативно влияет на артиста Amaranthe (в такой вариации с пробелом ' ' лучше, но всё же, может как-то правильнее можно)

function parseNameTrack(str) {
     return str
         .formatName()
         .replace(/( x )/g, ' ')
         .replace(/(the )/g, '')
         .replace(/( feat )/g, ' ');
 }

[efremych]

Обновил, да, теперь осталось только "the ". Остальное находит.

4 февр. 2021 г., 08:27:58 Информация Spotify по типу track не нашел: the fever 333 one of us

P.S. Насчет, мысли с поиском+кэшем, наверно, не вариант, так как лучший результат поиска может меняться на глазах и да и трек может стать недоступным. Разве что, в пределах одних суток не дублировать обращения или "на усмотрение пользователя" оставлять как искать треки.

[Chimildic]

У группы искаженное название. При поиске в интернете, в одних местах с the пишется, в других без. И сам Spotify молодец, пара лишних букв ломает поиск. Вопрос в том, насколько повлияет удаление этой частицы на другие треки.

[efremych]

готов у себя рискнуть локально :) по идее поиску должно быть проще если удалить частицу, чем наоборот...
Но нужен совет, как удалять "the " в начале названия исполнителя.

[Chimildic]

Попробуйте так, не проверял

let artist = item.artist.split(re)[0].replace(/^the /i, '');

Для удобства, можно использовать онлайн редакторы регулярных выражений, например regex101

[efremych]

let artist = item.artist.split(re)[0].replace(/^the /i, '');
Да, спасибо, подходит

например regex101
Сколько еще всего интересного, оказывается

[Bedmit]

Отличная штука получилась!!!
Мне как всегда не хватает его поддержки аддоном запуска с телефона. Чтобы был один скрипт, а ссылку на радиостанцию и его запуск делать ситуативно.
И еще мне не хватает таблеток от жадности )

[Chimildic]

Добавил возможность создать форму с предопределенными значениями. В том же посте.

[CTpaTer]

let topTracks = Radio.getTopTracks('energy');
А как правильно прописать получение плейлиста с двух и более радиостанций?

[amd64fox]

let topTracks = Radio.getTopTracks('energy');
let topTracks2 = Radio.getTopTracks('evropa-plyus');  

Combiner.push(topTracks, topTracks2); // если нужно добавить все в один массив.

[CTpaTer]

Спасибо!
Сколько раз сам себе говорил: "Читай документацию!" :-)

[periscop-mail]

Перестал работать скрипт. Как пофиксить?

[Chimildic]

Сайт top-radio больше не позволяет парсить треки. Изменил код под другой источник. Прочитайте первый пост в данной теме.

[Ciceronn]

Привет,помогите пожалуйста заполнить скрипт для радио максимум,url base я заполнил,но не работает почему-то.Что я сделал не правильно?Сорян заранее за возможно глупый вопрос,я ничерта не понимаю в этих скриптах

[Ciceronn]

Простите за глупость,но куда вставлять эти 2 строки?Что значит "используйте функцию так"?Как именно?

Создал новый скрипт,во вторую строку вставил код приведенный вами.А куда вставлять строки let...?

Библиотека создана,чирио 14 добавлен

[Chimildic]

Код из первого поста вам нужно скопировать в корень файла. На уровне других функций. Для удобства можно создать новый файл.
Теперь пишем отдельную функцию, которая будет использовать скопированный код. К примеру:

function updateRadioMaximum() {
  let tracks = Radio.getTracks('maximum-r962');
  Playlist.saveWithReplace({
    name: 'Радио Максимум',
    tracks: tracks,
  })
}

[Ciceronn]

Спасибо вам большое,все заработало!

[Mordva68]

А как сделать такую же функцию на toptracks? поменял tracks на toptracks, но появляется ошибка.... Что я делаю не так?

function updateRadioMaximum() {
let tracks = Radio.getTracks('maximum-r962');
Playlist.saveWithReplace({
name: 'Радио Максимум',
tracks: tracks,
})
}

[Chimildic]

@Mordva68

function updateRadioMaximum() {
  let tracks = Radio.getTopTracks('maximum-r962');
  Playlist.saveWithReplace({
    name: 'Радио Максимум',
    tracks: tracks,
  })
}

[kysskader]

Здравствуйте! нужна помощь! Создал скрипт, проверил - работает, удалил созданные плейлисты, заменил станции на свои, запускаю скрипт - а в ответ "18:14:32 Примечание Выполнение начато
18:14:13 Информация Количество запросов 0
18:14:35 Примечание Выполнение завершено"
Как вернуть плейлисты? Почему не работает после добавления станций?

[Chimildic]

Не у всех станций есть история треков. Также проверьте id станции.

[kysskader]

Осталась часть станций из примера. И они не хотят больше работать...

[andrey133mhz]

Всем, привет!
Кто-нибудь сталкивался с такой проблемой, что скрипт выдаёт ошибку по созданию созданию плейлиста, видимо из-за ошибки по названию станции? Например, такой косяк со станцией D'n'B Classics (Радио Рекорд). История и топ треков в этой станции показывает. При этом забиваю в скрипт другую соседнюю станцию, и всё работает. На всякий случай скрин с ошибками.

И ещё вопрос, синтаксически скрипт воспринимает слово "rmx" как "remix", а то часть треков в спотике добавляются либо оригинал композиции, либо он её не находит. И если не воспринимает, есть ли какие-то решения?
Заранее спасибо!

[Chimildic]

Приложите код станции с ошибкой

Скрипт лишь отправляет запрос к спотифай. Можно добавить подмены rmx на remix, но не факт что поможет

[andrey133mhz]

  function updateStationPirateStation() {
    let tracks = Radio.getTracks('drumnbass-hits-r869')
    Filter.removeTracks(tracks, RecentTracks.get(2500))
    Playlist.saveWithReplace({
      name: 'Pirate Station',
      tracks: tracks
    })
}

[andrey133mhz]

и например, когда я вставляю другое название "pirate-station-r359", то всё работает

[Chimildic]

Из-за символа кавычек в названии станции, который кодируется через специальный код, парсер ломается.

В коде аддона найдите строку, которая начинается с let variableRegex и замените на эту let variableRegex = /var\s+(\w+)\s*=\s*(.*?);\s+/g;.

[andrey133mhz]

Спасибо большое!!
Заработало