Жена увлекается ПП и замучилась вбивать еду в приложения-калоризаторы: «гречка отварная, 100 г»… и так после каждого приёма пищи, каждый день. Посмотрел я на эти страдания и решил, что проще научить нейросеть смотреть на тарелку.
Собрал за два дня телеграм-бота: кидаешь фото еды — он определяет блюда, прикидывает вес порций по контексту (размер тарелки, столовые приборы, глубина миски) и выдаёт калории с БЖУ карточкой. Можно голосом и текстом («2 яйца и тост»).
Первый блин вышел знатный: борщ бот уверенно опознал как ягодный компот. Красная жидкость в посуде — ну а что ещё?! Пришлось объяснять модели, что красная жидкость в глубокой тарелке с ложкой и сметаной — это суп, а не напиток. Через день он треску назвал сырниками, и я ещё вечер учил его отличать рыбу по текстуре. Теперь не путает — жена проверяет на своих обедах, говорит, граммы попадают на удивление близко.
Из смешного: первым сторонним пользователем оказался сосед по ЖК. За неделю он сделал ноль анализов — просто заходит и смотрит. Бережёт бесплатный лимит. Уважаю.
Технически это aiogram + vision-модель со structured output; фото анализируются на лету и не хранятся. Внутри — дневник с целью по калориям, недельная сводка и ПП-рецепты из того, что нашлось в холодильнике. А вчера прикрутил инлайн: в любом чате набираешь @бота и описываешь еду — считает прямо в переписке, как @gif, только про калории.
Бот здесь: t.me/DoGrammaBot — первые 5 анализов бесплатно, +1 каждый день. Кидайте ему свои борщи — мне правда интересно, что он ещё перепутает. На вопросы отвечу в комментах.