Після поста в Hacker News сайт розробника затопив трафік AI-ботів; вийшла бібліотека Deft для Clojure

Після поста в Hacker News фід-рідер перевантажився від трафіку AI-ботів

Розробник Sammy розповідає, що після того, як він опублікував на Hacker News свій конфігурований фід-рідер sprinklz.io і отримав близько ста позитивних голосів, його вебсайт став жахливо повільним. Логи показали, що більшість запитів взагалі не виконували той JavaScript, який потрібен для рендерингу односторінкової програми. Агоговані логи NGINX показали, що майже половина всього трафіку йшла від одного користувача — сервісу, який слідкує за змінами на вебсайтах і підсумовує їх в AI-інформаційній бюлетені, і який запитував сайт багато разів за хвилину. Розробник заблокував його, додав правила в robots.txt, щоб зупинити AI-сканери і водночас дозволити пошукові системи, подібні до Google, а також запровадив обмеження частоти запитів. Також було виявлено відомі краули, такі як Claude bot, OpenAI bot і пошуковий індексатор Google, а також кілька сканерів вразливостей, які перевіряли адреси не на сайті WordPress, а схожі на /wp-content/phpinfo.php. Інцидент спокусив покращення інфраструктури, яка мала на меті витримувати справжній важкий трафік.

Deft додає до звичайних map у Clojure класи та протоколи

Sammy також випустив Deft — бібліотеку для Clojure та ClojureScript, яка замінює наявну систему класів звичайними map і схемами Malli. Версія 0.2.0 додає підтримку namespace-ключів у визначеннях типів та протоколів, що дозволяє розробникам оголошувати обов'язкові ключі та визначати методи, які залежать від наявності певних полів. За словами автора, бібліотека об'єднує властивості протоколів, record, multimethod і звичайних map, зменшує когнітивне навантаження та полегшує організацію коду та рефакторинг. Відеоурок і вихідний код доступні на GitHub.

LLM використали для покращення веб-браузера Emacs

В іншому проєкті розробник описує, як він використовує LLM, щоб зробити веб-браузер Emacs придатним для сучасних вебсайтів. Підхід відкриває сторінку у Firefox, запускає її JavaScript, просить LLM створити багаторазову програму, яка перетворює вміст сторінки на спрощений текст, потім інжектує цей JavaScript у браузер і передає результат у браузер Emacs. За словами автора, інструмент з відкритим кодом на ім'я simpleweb добре працює на багатьох сторінках, де вбудований браузер eww раніше не порався, і після початкової генерації швидко працює без додаткових викликів LLM.

Шахи, письмо і роль LLM

Щоб перевірити Deft, розробник створив повну шахову гру приблизно за 350 рядків на Clojure, де крайові випадки типу рокірування та взяття на проході оброблялися спеціальними multimethod. Окремо, у блог-пості про книгу Нейта Сілвера On the Edge автор стверджує, що залучення LLM до письма послаблює людський зв'язок, радить читати prompt людини, а не есе, написане AI, але визнає, що LLM корисні для таких цілей, як аналіз медичних записів для прогнозування поширення грипу.

Джерела: Sammy'S Blog