Вчера утром первый запуск новой ночной джобы сравнил измеренные поездки пассажиров за несколько дней с нашим расписанием. Почти по всем парам остановок и часам поездки заняли примерно 60% нашего времени.
Пулл-реквест, который это объясняет, начинается с очевидного: «Автобусы так быстро не ездят». Будь джоба включена, она «поставила бы каждый автобус на табло слишком рано». Хуже того, проверка, которая её оценивает, сверяясь с теми же самыми поездками, «сочла бы это правильным». Ничего включено не было, так что ни один пассажир этого не увидел.
Этот пост — о неделе, которая нас к этому привела, и о восемнадцати месяцах до неё.
LIVE до ночной пересборки
Первая часть объясняла, почему расписание в приложении приблизительное. В расписании перечислены отправления с конечных каждого маршрута, а всё, что между ними, — наша прикидка. Своя прикидка есть у каждого ребра между двумя остановками. Первые маршруты засекали секундомером, сидя в автобусе. С тех пор сеть перерисовывали много раз, и у многих более новых рёбер отправной точкой было время, за которое между двумя остановками проезжает машина, плюс от полуминуты до минуты на саму остановку и на то, что автобус медленнее. Междугородние маршруты — простой случай: их перевозчики публикуют время для промежуточных остановок, так что мы берём его.
Сама автобусная компания ни разу нас не выслушала и ни разу нам не ответила. Для неё, насколько мы можем судить, нас не существует. Так что GPS-фида нет, и мы его не ждём. Чтобы приложение знало, где автобус, сказать ему это придётся пассажирам.
С мая 2025 года они это могли — понемногу. Телефон замечает поездку между двумя остановками и отправляет трек, сервер проверяет его четырьмя способами, пассажир говорит, какой это был маршрут, и ближайший рейс по расписанию получает измеренное время. Приложение помечает его как LIVE. Флаг для этого лежал в базе с января 2025 года, и четыре месяца его ничто не выставляло.


А теперь посмотри, сколько всё это жило. Запрос с измеренным временем пассажира хранился 24 часа. Поправки, построенные на нём, доживали до 04:05 UTC, когда их выбрасывала ночная пересборка. Предложение, которое всё это заменяет, говорит прямо: «каждое время перегона, которое когда-либо измерил пассажир, удаляется в течение суток, а поправки, построенные на нём, — в течение ночи. Ничто не может на этом учиться, никто не может это проверить, и мэрии нечего передать». А пока всё это жило: «Побеждает последняя запись. Второй пассажир на том же рейсе перезаписывает первого; один ошибающийся пассажир бьёт трёх, которые правы».
А ещё оно еле работало — в духе, знакомом по пятой части:
- Август 2026 года: «Фича вышла, но в проде её так ни разу и не увидели». После миграции в мае 2026 года каждый вклад отклонялся ещё до того, как запускалась хоть одна проверка: поиск дороги между его двумя остановками ничего не находил.
- 3 сентября: эндпоинт отвечал «401 'Invalid signature' на каждую настоящую поездку». В том числе и Flutter-приложению из сторов: «Во Flutter-приложении, которое сейчас в сторах, вклады тоже не работают». И заметить это никто не мог — так было задумано: «Отклонённый вклад намеренно не виден пассажиру … так что единственный симптом — приложение, которое никогда не спрашивает про автобус».
- 4 сентября: вклады «вообще работали только на рёбрах, которые пришли из импорта YAML 2024 года». Более новые рёбра хранили свою форму во второй из двух кодировок из пятой части. В тот же день — исправление под названием «Три и восемь десятых метра решили, что поездка — не вклад»: две остановки на противоположных сторонах дороги, в 33,1 и 36,9 метра от пассажира, а на одной настоящей поездке «четыре из семи перегонов не прошли именно так».
- В этот понедельник: когда пассажир ехал дальше от остановки A, его задержка перезаписывала перегон расписания, ведущий в A, вместо того чтобы сдвинуть весь рейс, так что «каждая остановка начиная с A показывалась раньше примерно на один перегон». Баг появился в мае 2025 года. Его тест «ожидал ошибочного результата».
Хранить каждый перегон
В понедельник вечером разом влили шесть предложений: про хранение наблюдений, междугородние автобусы, время перегонов, доверие, замеченные автобусы и инсайты. Первое называет себя «фундаментом, на котором стоят остальные пять»: всем им нужна «долговременная запись того, что и кем наблюдалось и насколько этому верили». Ещё в пулл-реквесте записано, что обучению разрешено трогать: выученное время перегонов меняет время по расписанию «через вектор, никогда — через время отправления перевозчика».
К среде всё было в проде: каждый измеренный перегон идёт через пайплайн Cloudflare в Iceberg-таблицу в R2, только дозапись, и её можно запрашивать через R2 SQL. «Не D1». Всё, что читает наблюдения, — пакетная джоба, которая сканирует месяцы, и она бы «конкурировала с живым табло за одну и ту же базу».
Одна запись — это один перегон: две остановки, отметки времени, сколько секунд это заняло, что на тот момент говорило расписание, задержка, случайный ID телефона (он привязывается к твоему аккаунту, как только телефон отправит хоть что-нибудь, пока ты в аккаунте), аккаунт, если ты вошёл, и насколько мы этому верим. Записи никогда не обновляются: «перегон — это события, а не строка, которую обновляют». Перегоны, которые никто не подтвердил, тоже хранятся: «Большинство пассажиров никогда не отвечают на карточку с вопросом», и такие перегоны «составляют основную массу данных». Перегоны, которые сервер отклонил, хранятся без трека, чтобы можно было подкручивать проверки. А запись никогда не мешает пассажиру: «наблюдение, которое не долетело, — это дыра в данных, записанная в лог, и никогда — упавший запрос».
Сырые треки удаляются через 90 дней — «срок достаточно короткий, чтобы не превратиться в архив местоположений». Перегоны должны храниться 400 дней, потому что «сравнение год к году — первое, о чём просит мэрия».
Первый файл с данными в таблице — за среду — содержал 248 перегонов с 37 телефонов и затрагивал 115 из наших 341 пары соседних остановок. К первому нормальному подсчёту в пятницу набралось 677 перегонов с 99 телефонов за два дня, на 171 паре. Прочитать всё это стоит примерно сотую долю цента каждый раз, когда в наших дашбордах загружается карта готовности.
С чьих слов
Когда данные приходят с телефонов незнакомцев, нужно знать, чьи они. Со среды у каждого перегона есть вес: 0,5 для анонимного телефона, 1 для пассажира, который вошёл в аккаунт, и 0 для любого в тени. Тень — тихая разновидность блокировки: «Тень ничего не отклоняет». Пассажир видит то же приложение и получает те же очки, а его данные не значат ничего. «Тень — вариант по умолчанию при подозрении на злоупотребление: злоумышленнику не к чему подстраиваться». Есть ещё рубильники и настоящие блокировки — на случай, когда тихой блокировки недостаточно.
Для масштаба: в среду пассажиры подтверждали где-то от 100 до 200 поездок в день, и ни одна не пришла с аккаунтом, потому что ни одно приложение его ещё не отправляло. Изменение в приложении, которое его отправляет, вышло в 3.0.4.
Это изменило то, что говорит приложение. Его экраны раньше говорили людям: «Отправляется только маршрут, никогда — кто вы…» Теперь они прямо говорят, что уходит вместе с маршрутом: «анонимный идентификатор этого телефона, а если вы вошли в аккаунт — и ваш аккаунт. Маршрут удаляется через 90 дней; остановки и время сохраняются, чтобы улучшать расписание». Если ты вошёл в аккаунт, перегон несёт идентификатор аккаунта — но не то, кто ты.
Множители поверх первой прикидки
В пятницу после обеда влили первые две фазы предложения про время перегонов — вместе с пинами и поиском пути.
Проблема, которую оно формулирует: «у каждого рейса маршрута одно и то же время перегонов — и в 02:00, и в 13:00 в рыночную пятницу». Цель — «расписание, которое говорит, что будет, а не что когда-то прикинули».
Метод не заменяет наши прикидки, а выучивает множитель поверх каждой: измеренное время, делённое на прикинутое, для каждой пары остановок, по дню недели и часу. Множители хранятся по парам, а не по маршрутам, так что новый маршрут по уже существующим остановкам сразу стартует с поправками. А ещё есть второй множитель, общий на весь город, так что нечто вроде «после полуночи автобусам нужно 0,85× от прикидки» выучивается по всей сети за считаные дни и применяется к перегонам, по которым никто не ездил.
Никакого минимального числа поездок, после которого что-то начинает считаться, нет. Каждая оценка начинается с более широкой — скажем, той же пары в любой час — и сдвигается к измеренному на n ÷ (n + k), где n считает дни с поездками, а не поездки: «пять пассажиров в одном автобусе, застрявшем в пробке, — это одно свидетельство». «Одного пассажира достаточно». Набросок нашего продакт-оунера стал тестом: один ночной автобус, разошедшийся с прикидкой на 15%, сдвигает оценку для этого дня недели и часа на 10%, а для этого часа в целом — на 5%; второй день доводит их до 12% и примерно 7%. Общегородской множитель на весь день куда скептичнее, «чтобы один автобус не сдвигал каждый час дня». И про пробки: «Одна пробка — маленькое свидетельство; пробка каждый раз — это и есть перегон».
Теперь тормоза. Множители держатся между 0,6 и 1,6. Старые свидетельства теряют половину веса каждые 35 дней. А каждую ночь вчерашние поездки сверяют с множителями, посчитанными предыдущей ночью. Если за последние 14 дней и как минимум на 30 поездках поправки промахиваются сильнее, чем наши простые прикидки, ночная сборка перестаёт их применять. «Прежде чем это снова включится, на это посмотрит человек».
У каждого города есть переключатель: выключено, теневой режим или включено. В теневом режиме всё выучивается и оценивается, но ничего не показывается. Если переключатель не удаётся прочитать, считается, что он в теневом режиме, так что сбой нашего сервиса флагов никогда ничего не включит. Когда он включён, исправленное время попадает на табло отправлений, в карточку маршрута, в поиск пути и в GTFS-фид из пятой части, так что Valhalla подхватывает их при своей следующей пересборке. Этот фид остаётся закрытым.
Каждый пулл-реквест с кодом в ту пятницу после обеда говорил, что в нём не проверено. У первой фазы: «Джоба ещё не запускалась на продовых поездках. Первый запуск после деплоя и будет первым».
Автобусы так быстро не ездят
Тот первый запуск случился в субботу утром, и почти везде он показал 0,6.
Приложение засекает поездку «от последней точки внутри 50-метрового радиуса остановки отправления до первой точки внутри радиуса остановки назначения». Это время между двумя остановками. А наша прикидка, как и любое расписание, — это перегон: от прибытия на одну остановку до прибытия на следующую, вместе со временем стоянки на остановке. Там, где прикидка взялась из времени на машине, часть добавленных нами полуминуты-минуты приходилась на остановку, а остановку поездка как раз и не включает. Раздели одно на другое — и каждый перегон выходит короче, чем есть.

В субботу после обеда исправление уже влили. Пассажир, который не выходит из автобуса, даёт нам недостающую часть: «Их перегоны сцепляются», и промежуток между концом одной поездки на остановке и началом следующей оттуда же — это время, которое автобус простоял на этой остановке. Засчитывается это только на одном и том же телефоне, в пределах десяти минут и на одном и том же маршруте, если маршрут указан у обеих поездок. «Остановка, которую распознали как её близнеца через дорогу, … не сцепляется. Так теряется замер, но никогда не выдумывается». Остановки и поездки выучиваются отдельно, потому что двигают их разные вещи: «приземлившийся самолёт заполняет автобус … дождь замедляет дорогу».
То же изменение перезапустило оценку — теперь по перегонам. На её основании ещё ничего не решали: все города были в теневом режиме.
Сообщить другим
Для замера нужна поездка. А многое из того, что люди знают на остановке, обходится без неё: автобус опаздывает, он уже здесь, он так и не пришёл. Со среды на сервере, а в приложении с 3.0.4 на карточке автобуса есть кнопка «Сообщить другим»: уже здесь, опаздывает на 5–45 минут, не пришёл, ушёл раньше времени, полный или не остановился.
Показывается это как сообщение и никогда — как LIVE, янтарным цветом: «Сообщают: опоздание 12 мин · пассажиров: 2 · 4 мин назад». Пассажир, вошедший в аккаунт, засчитывается и в одиночку. Анонимный — если он на остановке или как только в течение десяти минут с ним согласится кто-то ещё. Для «Он не пришёл» всегда нужны двое. А измеренная поездка стирает сообщения об этом автобусе, «потому что замер заменяет слухи». Одно маленькое правило, которое мне нравится: «Кнопка сообщения никогда не запрашивает разрешений».
Заметь автобус
Поездки измеряют только те автобусы, в которых едут пассажиры с приложением. Из предложения: «Междугородние рейсы, раннее утро и окраины сети — именно там это редкость». Его питч в одну строку: «Pokémon Go для автобусов».
Наводишь на автобус телефон, он читает табличку спереди, а сервер сопоставляет её с автобусами, которые должны быть поблизости. В понедельник планом была облачная модель компьютерного зрения. А вышло так: «Телефон читает; Worker решает». Распознавание текста на обеих платформах идёт вместе с системой: Vision от Apple на iOS и ML Kit от Google через Play services на Android. «Модели нет ни в одном из бандлов».
На 180 фотографиях автобусов в испанских городах с Wikimedia Commons, где настоящий маршрут каждый раз спрятан среди пяти других, распознавалка iPhone и наш сопоставитель выбирают правильный маршрут для 72% из 111 читаемых табличек, а неправильный — в 0,2% случаев. Распознавалку Android на них ещё не оценивали. Предупреждение самого тестового набора: «Считайте это верхней границей». Это автобусы при дневном свете, анфас, стоящие на месте, — и не автопарк Торревьехи. На первых четырёх настоящих фото из Торревьехи «автобус был через улицу, и ничего не прочиталось». Так что теперь, если не прочиталось ничего, что могло бы быть номером маршрута, фото читается ещё раз — по двадцати маленьким тайлам.
Ещё это игра. Очки за замеченный автобус, больше — за маршрут, который ты раньше не замечал, сезон — календарный месяц по испанскому времени, а первая десятка сохраняется, «чтобы можно было отправить приз». Предложение честно признаёт, что «в таблице лидеров можно подняться тапами». Пока это сдерживают лимит в двадцать в день, половина очков за автобус, который кто-то только что подтвердил, и человек, который смотрит на верх таблицы, прежде чем уйдёт хоть один приз.
Вот как это выглядит на двух фотографиях с улицы в Торревьехе — автобус в квартале от тебя и автобус со спины, — потом на двух снимках вблизи с Wikimedia Commons, и месячная таблица.
А замеченные автобусы вместе с поездками дают живые автобусы: автобус на карте там, где его кто-то только что видел. Ни один телефон не передаёт, где находится автобус. Подтверждённая поездка ставит автобус на карту всем, а дальше он едет по своей линии по часам расписания. Пассажир, который не выходит, проносит его ещё на одну остановку; за последней остановкой, за которую кто-то поручился, он ещё немного едет пунктирной догадкой и тает. Два правила: «Автобус, которого никто не видел, не показывается никогда». И «Публикуется расписание, а не местоположение».
Всё это спрятано за переключателями для разработчиков и по умолчанию выключено: пока это «способ нам самим собрать первые фотографии».
Сегодня я впервые вывел эту штуку на прогулку — из TestFlight. А ещё я навёл её на свой ноутбук на столе, и она зацепилась за автобус — высотой три метра, примерно в шести метрах.
- Ноутбук — не автобус. iPhone всё это время спрашивал, на что он смотрит: «Мы спрашивали, и ничто не читало ответ». Теперь каждый из самых крупных объектов в кадре классифицируется, и со следующей сборки на экране будет написано NOT A BUS · LAPTOP 88%. На тестовых фото снимков без автобуса, на которых всё равно обводился автобус, стало 20 вместо 76 из 104, а из 173 фото набора, где автобус есть, находятся всё те же 168. Классификатор на Android назвал мой ноутбук «'Musical instrument' на 95%», так что на Android там просто написано NOT A BUS.
- Правила строже — по моим заметкам с той прогулки: нет автобуса на фото — нет очков; не больше пяти фото за десять минут или одного автобуса за четверть часа, поверх прежних двадцати в день; а того, кому слишком везёт или кто слишком часто ошибается, отправляют на проверку, которая тихо переводит его в тень. «Второй телефон — это не второй пассажир». Страницы для этих проверок пока нет.
- Живые автобусы теперь едут по дороге, плавно проходят повороты, а у светофоров будут замедляться, как только начнёт отвечать наша собственная Valhalla. Если мерить на двух поездках, выгруженных из приложения, одна только форма дороги ставит автобус в среднем в 43 метрах от настоящего места — против 40 при одной постоянной скорости: «для глаза, а не для точности».
- Всё ещё так: выученное время перегонов везде в теневом режиме, а «Заметь автобус» и живые автобусы спрятаны за переключателями для разработчиков.