Ютуб и его приложение android

[djmagin]

Добрый день, использую запрет как шлюз на orangepi, последнее время такая проблема, ютуб идеально работает на телевизоре, компьютере и на телефоне но только через браузер. Через приложение не хочет ну совсем никак. Настройки запрет стоковые "из коробки". одновременно включены TPWS и NFQWS через один запретграм работает через второй ютуб, стратегии не трогал. Прошу помощи.

[Dystopiaru]

Revanced не работает со вчерашнего дня. Попробуйте родное приложение ютуб обновленное до последней версии.

[djmagin]

Revanced не работает со вчерашнего дня. Попробуйте родное приложение ютуб обновленное до последней версии.

Не помогает, но заметил особенность, у меня huawei pura 80 pro дело в том что я могу свободно удалять и устанавливать ютуб, так вот когда я его удалил и заново установил он работал какое то время хорошо, по ощущениям до первого закрытия приложения.

[SagiN94]

Проблема не в запрете или ином обходе, из экспериментов с разными версиями ютуба понял, он отказывается нормально работать если версия приложения ниже 21, даже при подключенном vpn. У Revanced сейчас последняя версия это 20.40.45 и хз будут ли они выкатывать последнюю версию. Ручной патчинг апкшки ютуба выше версии 20 при помощи Revanced Menedger приводит просто к невозможности установить получившийся мод.

[kaiserproger]

Проблема не в запрете или ином обходе, из экспериментов с разными версиями ютуба понял, он отказывается нормально работать если версия приложения ниже 21, даже при подключенном vpn. У Revanced сейчас последняя версия это 20.40.45 и хз будут ли они выкатывать последнюю версию. Ручной патчинг апкшки ютуба выше версии 20 при помощи Revanced Menedger приводит просто к невозможности установить получившийся мод.

20.40.45 Revanced (Patches 6.1.0), всё прекрасно пашет с VPN. Nothing Phone 2, NothingOS 4.0 на Android 16

[l1rn]

У меня стоит на роутере openwrt (zapret2 + tailscale), попробуй конфиг снизу и бины ссылки на недостающие можешь скачать по ссылке (max.bin, 4pda.bin). Работает для ростелекома, проверено в екб/хмао.
Источник: remittor/zapret-openwrt#168 (comment)
zapret2 by bol-van: https://github.com/bol-van/zapret2

# none,ipset,hostlist,autohostlist
MODE_FILTER=hostlist

# mark bit used by nfqws to prevent loop
DESYNC_MARK=0x40000000
DESYNC_MARK_POSTNAT=0x20000000

# do not pass outgoing traffic to tpws/nfqws not marked with this bit
# this setting allows to write your own rules to limit traffic that should be fooled
# for example based on source IP or incoming interface name
# no filter if not defined
FILTER_MARK=""


NFQWS2_ENABLE=1

# redirect outgoing traffic with connbytes limiter applied in both directions.
NFQWS2_PORTS_TCP="80,443,2053,2083,2087,2096,8443"
NFQWS2_PORTS_UDP="443,1024-19293,19294-19344,19345-49999,50000-50100,50101-65535"

# PKT_OUT means connbytes dir original
# PKT_IN means connbytes dir reply
NFQWS2_TCP_PKT_OUT="20"
NFQWS2_TCP_PKT_IN="10"
NFQWS2_UDP_PKT_OUT="5"
NFQWS2_UDP_PKT_IN="3"

# redirect outgoing traffic without connbytes limiter and incoming with connbytes limiter
# normally it's needed only for stateless DPI that matches every packet in a single TCP session
# typical example are plain HTTP keep alives
# this mode can be very CPU consuming. enable with care !
NFQWS2_PORTS_TCP_KEEPALIVE=""
NFQWS2_PORTS_UDP_KEEPALIVE=""

# use <HOSTLIST> and <HOSTLIST_NOAUTO> placeholders to engage standard hostlists and autohostlist in ipset dir
# hostlist markers are replaced to empty string if MODE_FILTER does not satisfy
# <HOSTLIST_NOAUTO> appends ipset/zapret-hosts-auto.txt as normal list
NFQWS2_OPT=" --blob=tls_4pda:@/opt/zapret2/files/fake/4pda.bin --blob=quic_google:@/opt/zapret2/files/fake/quic_initial_www_google_com.bin --blob=tls_google:@/opt/zapret2/files/fake/tls_clienthello_www_google_com.bin --blob=stun:@/opt/zapret2/files/fake/stun.bin --blob=tls_max:@/opt/zapret2/files/fake/tls_clienthello_max_ru.bin  --name=Quic --filter-udp=443 --hostlist=/opt/zapret2/ipset/zapret-hosts-user.txt --hostlist-exclude=/opt/zapret2/ipset/zapret-hosts-user-exclude.txt --ipset-exclude=/opt/zapret2/ipset/zapret-ip-exclude.txt --payload=quic_initial --lua-desync=fake:repeats=6:blob=quic_google --new  --name=Discord-UDP --filter-udp=19294-19344,50000-50100 --filter-l7=quic,discord,stun --payload=quic_initial,discord_ip_discovery,stun --lua-desync=fake:repeats=6:blob=quic_google --new  --name=Discord-Media --filter-tcp=2053,2083,2087,2096,8443 --hostlist-domains=discord.media --payload=http_req,tls_client_hello --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_google:tls_mod=none --new  --name=Google --filter-tcp=443 --hostlist=/opt/zapret2/ipset/zapret-hosts-google.txt --payload=http_req,tls_client_hello --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_google:ip_id=zero --new  --name=Sites --filter-tcp=80,443 --filter-l7=http,tls --hostlist=/opt/zapret2/ipset/zapret-hosts-user.txt --hostlist-exclude=/opt/zapret2/ipset/zapret-hosts-user-exclude.txt --ipset-exclude=/opt/zapret2/ipset/zapret-ip-exclude.txt --payload=http_req,tls_client_hello --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=stun --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_4pda --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_max --new  --name=Quic2 --filter-udp=443 --ipset=/opt/zapret2/ipset/zapret-ip-user.txt --hostlist-exclude=/opt/zapret2/ipset/zapret-hosts-user-exclude.txt --ipset-exclude=/opt/zapret2/ipset/zapret-ip-exclude.txt --payload=quic_initial --lua-desync=fake:repeats=6:blob=quic_google --new  --name=Sites2 --filter-tcp=80,443,8443 --filter-l7=http,tls --ipset=/opt/zapret2/ipset/zapret-ip-user.txt --hostlist-exclude=/opt/zapret2/ipset/zapret-hosts-user-exclude.txt --ipset-exclude=/opt/zapret2/ipset/zapret-ip-exclude.txt --payload=http_req,tls_client_hello --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=stun --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_4pda --lua-desync=fake:repeats=6:tcp_ts=-10000:blob=tls_max --new  --name=Games --filter-udp=1024-19293,19345-49999,50101-65535 --ipset=/opt/zapret2/ipset/zapret-ip-user.txt --ipset-exclude=/opt/zapret2/ipset/zapret-ip-exclude.txt --payload=all --out-range=-d2 --lua-desync=fake:blob=quic_google:repeats=12"

DISABLE_CUSTOM=1

# FlowOffload mode : donttouch,none,software,hardware
FLOWOFFLOAD=none

# do not work with ipv4
DISABLE_IPV4=0

# do not work with ipv6
DISABLE_IPV6=1

[djmagin]

Спасибо за ответ, но увы, не сработало.

[l1rn]

Ну вариантов еще много: пробуй разные стратегии, поменяй провайдера, попробуй поставить ByeDPI, стратегии ищи в Issues.

[fenrir-0x00]

Причина проблемы: паразиты усилили блок конкретно для https://youtubei.googleapis.com чекайте открывается или нет, приложения в первую очередь ломятся к нему для загрузки инфы о видео, а браузерная версия нет, поэтому в браузере всё работает.

Ктомуже блокируется IP+TLS протокол даже если пытаться открыть https://216.239.32.223 без использования sni, всёравно получаем ошибку на TLS handshake
Однако проблема решается указанием любого действующего *.googleapis.com хоста в sni фейка (к примеру clientservices.googleapis.com), при этом в оригинальном пакете слово youtubei в sni не должно быть цельным.

z1: --new --filter-tcp=443 --filter-l7=tls --dpi-desync=fake,multisplit --dpi-desync-fake-tls-mod=rnd,dupsid,sni=clientservices.googleapis.com --dpi-desync-split-pos=host+6 --dpi-desync-fooling=badseq --dpi-desync-badseq-increment=0 --dpi-desync-badack-increment=99 --hostlist-domains=youtubei.googleapis.com

z2: --new --filter-tcp=443 --filter-l7=tls --out-range=-d10 --payload=tls_client_hello --lua-desync=fake:blob=fake_default_tls:tls_mod=rnd,dupsid,sni=clientservices.googleapis.com:tcp_ack=99 --lua-desync=multisplit:pos=host+6 --hostlist-domains=youtubei.googleapis.com 

Все остальные ютюбовские хосты работают с прежними стратегиями

P.S. данная стратегия размещается перед основной ютюбовской, или в основной ютюбовской не забудьте удалить youtubei.googleapis.com из списка хостов

[bol-van]

pos будет иметь смещение внутри хостнейм
что ним делать ?
маркеры должны быть host+zero_based_offset
логично было бы их присоединить к параметру pos для сплит функций через запятую
и использовать разименование pos=%pos
значит надо этой функции скармливать параметры которые бы пошли в сплит функцию
плюс кейворды

еще неясно почему стандартные маркеры host и sld не покрывают вопрос
5 уровневые домены ?
может отдельный профиль с --hostlist-domains под эти специфические случаи ?

[fenrir-0x00]

маркеры должны быть host+zero_based_offset

Опечатка там была desync.arg.pos = "host+" .. midle_pos

lua desync возвращает вердикт а не позицию
значит надо этой функции скармливать параметры которые бы пошли в сплит функцию
плюс кейворды

Я первый раз на запрете скрипты делаю поэтому немного туплю
Функции модифицируют значения в таблице desync.* только в пределах данной функции а не глобально во всей текущей стратегии?
Так понял нужно модифицировать multisplit функцию чтобы из неё вызывалась функция kwpos или наоборот добавить в функцию kwpos вызов multisplit? Или можно както подругому наладить обмен значений параметров между функциями?

еще неясно почему стандартные маркеры host и sld не покрывают вопрос
5 уровневые домены ?
может отдельный профиль с --hostlist-domains под эти специфические случаи ?

На данный момент пока так и зделал отдельные стратегии с отдельными списками, но както нехочится их кучу городить.
Да, там километровые домены, и ключевые слова могут где угодно быть
На подобии discord-attachments-uploads-prd.storage.googleapis.com вроде впереди ещё чтото было, сократил хост
У ютюба хотябы в начале, дак там host+4 прокатил на youtube-ui.l.google.com и youtubei.googleapis.com

[bol-van]

desync передается между инстансами
но позиция берется из аргументов инстанса. desync.arg.pos
desync.arg переписывается C кодом при каждом вызове
поддерживаются префиксы % и #
разименование и длина
потому надо присвоить полю в desync значение
а потом его разименовать в параметрах сплит функции
код уродовать не надо

[djmagin]

Поставил запрет2 взял конфиг отсюда https://github.com/bol-van/zapret2/discussions/172 железка все та же - orangepi zero 3 (для пущей надежности переустановил систему перед установкой запрет2) так вот дискорд совсем не работает, да он мне и не нужен, запретграм постоянно зависает, ютуб работает сносно, но самая большая проблема тупят обычные сайты прям вот тыкаю сайт на компе в браузере в хроме (версия последняя) он его крутит крутит потом говорит мол нет интернета и через 2-5 секунд сайт открывается, на алике не грузятся фотки в карточках товара. С первым запретом все работало отлично единственная проблема была что на андройд ютуб именно через приложение не смотрится.

[djmagin]

Дополняю, решил проблему в zapret 2 вот так, может кому пригодится. Без дискорда. Пока все отлично и летает, но во времени посмотрим

NFQWS2_OPT="
--blob=quic_google:@/opt/zapret2/files/fake/quic_initial_www_google_com.bin

--filter-tcp=443 --filter-l7=tls <HOSTLIST> 
--payload=tls_client_hello 
--lua-desync=multidisorder:pos=1,midsld 
--new

--filter-udp=443 --filter-l7=quic 
--out-range=-d10
--in-range=-d10
--payload=quic_initial
--lua-desync=circular:fails=2:maxtime=30:udp_out=4:udp_in=1
--lua-desync=fake:blob=quic_google:repeats=5:strategy=1
--lua-desync=fake:blob=fake_default_quic:repeats=5:strategy=2
--new

#--filter-udp=50000-65535 --filter-l7=stun,discord 
#--out-range=-d10
#--payload=stun,discord_ip_discovery
#--lua-desync=fake:blob=0x00000000000000000000000000000000:repeats=2
#--new

--filter-tcp=80 --filter-l7=http
--out-range=-d10
--in-range=-d1
--payload=http_req
--lua-desync=fake:blob=fake_default_http:ip_autottl=-1,3-20:tcp_md5
--lua-desync=fakedsplit:ip_autottl=-1,3-20:tcp_md5
"

# none,ipset,hostlist,autohostlist
MODE_FILTER=hostlist

# donttouch,none,software,hardware
FLOWOFFLOAD=donttouch

[fenrir-0x00]

Поправил скрипт выводящий позицию деления пакетов на ключевых словах в хостах, всё работает

--Auto split position for keywords
--Using: 
--lua-desync=kwpos:keywords=discord,youtube,tiktok \  
--lua-desync=multisplit:pos=%poskw
--or
--lua-desync=kwpos:keywords=discord,youtube,tiktok:pos=100,midsld \ 
--lua-desync=multisplit:pos=%poskw

function kwpos(ctx, desync)
DLOG("=======Split keyword position start===========")
if desync.arg.pos then 
desync.poskw = desync.arg.pos
end
local dsthost = desync.track.hostname
local keywords = desync.arg.keywords
local kwt = {} 
for word in keywords:gmatch("[^,]+") do
table.insert(kwt, word)
end
DLOG("Dest host is:" .. dsthost)
for _, keyword in ipairs(kwt) do
local start_pos=string.find(dsthost, keyword, 1, true)
if start_pos then
DLOG("Start keyword pos in host is: " .. start_pos)
local midle_pos = start_pos + bitrshift(string.len(keyword), 1)
DLOG("Midle keyword pos in host is: " .. midle_pos)
desync.poskw = "host+" .. midle_pos
if desync.arg.pos then 
desync.poskw = desync.poskw .. "," .. desync.arg.pos
end
DLOG("New split pos is: " .. desync.poskw)
break
end
end
DLOG("=======Split keyword position end===========")
end

[fenrir-0x00]

Здесь есть несколько недостатков.

Спасибо, подправил в предыдущем сообщении

А вот это както подправить можно? --lua-desync=multisplit:pos=%poskw,100,-3
Чтоб значения после запятой тоже подхватывались и не нужно было их писать в другую функцию

точка в lua не означает любой символ? если означает то наверно лучше string.find(dsthost, keyword, 1, true)

Врятли ктото в ключевых словах будет точку использовать, а dsthost там как текст обрабатывается, но на всякий случай тоже подправил

[bol-van]

Так не работает. Подстановка только полностью.
poskw должен быть сформирован готовым для передачи как параметр pos

[numbereleven-a]

Потестил на виндовом zapret.
Что пофикшено:
Проблема off-by-one.
string.find() в Lua возвращает позицию с 1, а host+N в zapret2 работает как offset от начала host. Поэтому разрез уезжал на 1 байт вправо.
Без фикса:
adblockplus.com -> New split pos is: host+6, вторая часть начиналась с kplus.com.
С фиксом:
adblockplus.com -> New split pos is: host+5, вторая часть начинается с ckplus.com.

Было:
local midle_pos = start_pos + bitrshift(string.len(keyword), 1)
Стало:
local middle_offset = (start_pos - 1) + bitrshift(string.len(keyword), 1)

Проблема, если keyword не найден.
Без фикса на example.com poskw не создавался, %poskw не подставлялся, и multisplit брал дефолтный pos=2.
Лог без фикса:
multisplit: split pos: 2
С фиксом:
kwpos: no keyword match; poskw=''
multisplit: no valid split positions

Проблема при отсутствии keywords.
Без фикса:
LUA ERROR: ... attempt to index local 'keywords' (a nil value)
С фиксом:
kwpos: keywords unavailable; poskw=''
multisplit: no valid split positions

Проблема при отсутствии track.hostname.
Если не ограничить вызов только нужными payload, функция может вызваться до появления hostname.
Без фикса:
LUA ERROR: ... attempt to index field 'track' (a nil value)
С фиксом:
kwpos: hostname unavailable; poskw=''

Поиск был case-sensitive и без trim.
Проверил mixed-case keywords: ADBLOCKPLUS,tIkToK.
Без фикса совпадение не происходило.
С фиксом keywords и hostname приводятся к lowercase, плюс добавлен trim пробелов вокруг keyword.

lua с фиксами:

function kwpos(ctx, desync)
	DLOG("=======Split keyword position start===========")

	local fallback_pos = desync.arg.pos or ""
	desync.poskw = fallback_pos

	if not desync.track or not desync.track.hostname then
		DLOG("kwpos: hostname unavailable; poskw='" .. desync.poskw .. "'")
		DLOG("=======Split keyword position end===========")
		return
	end
	if not desync.arg.keywords or desync.arg.keywords == "" then
		DLOG("kwpos: keywords unavailable; poskw='" .. desync.poskw .. "'")
		DLOG("=======Split keyword position end===========")
		return
	end

	local dsthost = string.lower(desync.track.hostname)
	DLOG("Dest host is:" .. dsthost)

	for raw_keyword in string.gmatch(desync.arg.keywords, "[^,]+") do
		local keyword = string.lower((raw_keyword:gsub("^%s+", ""):gsub("%s+$", "")))
		if keyword ~= "" then
			local start_pos = string.find(dsthost, keyword, 1, true)
			if start_pos then
				DLOG("Start keyword pos in host is: " .. start_pos)
				local middle_offset = (start_pos - 1) + bitrshift(string.len(keyword), 1)
				DLOG("Middle keyword offset in host is: " .. middle_offset)
				desync.poskw = "host+" .. middle_offset
				if fallback_pos ~= "" then
					desync.poskw = desync.poskw .. "," .. fallback_pos
				end
				DLOG("New split pos is: " .. desync.poskw)
				DLOG("=======Split keyword position end===========")
				return
			end
		end
	end

	DLOG("kwpos: no keyword match; poskw='" .. desync.poskw .. "'")
	DLOG("=======Split keyword position end===========")
end

[fenrir-0x00]

Потестил на виндовом zapret.
Что пофикшено:

Наверно лишнее это всё, один символ роли не играет, всёравно примерно по середине слова делиться, остальные фиксы это скорее защита от дураков.
Тут следует учитывать необходимость минимализма и оптимизации. Винде пофигу, андроиду в какойто степени тоже а вот роутерам нет

Проблема, если keyword не найден.
Без фикса на example.com poskw не создавался, %poskw не подставлялся, и multisplit брал дефолтный pos=2.
Лог без фикса:
multisplit: split pos: 2
С фиксом:
kwpos: no keyword match; poskw=''
multisplit: no valid split positions

В этом случае передаётся значение pos из функции kwpos если оно присутствует, если отсутствует то ронять multisplit неверной позицией идея неплохая.
Но multisplit и kwpos используются в связке с fake и его тоже нужно ронять, об этом уже подумывал.

Касательно fake, Я планирую сделать автоматический подбор действующего фейкового sni на основе оригинального домена второго уровня

К примеру: 
Оригинал *keyword*.googleapis.com Фейк clientservices.googleapis.com
Оригинал *keyword*.google.com Фейк drive.google.com

1.Если есть совпадение по ключевому слову:
1.1. Если домен второго уровня совпадает - отправляем фейк с конкретным sni из списка с темже доменом второго уровня
1.2. Если домен второго уровня НЕ совпадает отправляем фейк с sni поумолчанию
1.3. Через multisplit делим пакет на ключевом слове

2. Если нет совпадений по ключевым словам - роняем fake и multisplit чтобы не обрабатывать стратегией прочие хосты

[bol-van]

tls_mod в fake поддерживает подстановку вида : rnd,dupsid,sni=%var,padencap
Сделано через tls_mod_shim на стороне lua