Skip to content

[Fuentes] Hacer resiliente la búsqueda de Hacker News ante HTTP 429 #28

Description

@mafff2898-lang

Contexto

La búsqueda paralela de noticias para el periodo 2026-08-14 a 2026-08-20 terminó con cobertura parcial en la categoría comunidad.

Evidencia

  • La fuente activa utilizada fue Hacker News — https://news.ycombinator.com/.
  • Las consultas generales restringidas a Hacker News no devolvieron resultados útiles.
  • La investigación recurrió a la portada actual, portadas históricas y páginas individuales.
  • https://news.ycombinator.com/item?id=49337602 respondió HTTP 429.
  • El ítem se excluyó correctamente por falta de evidencia suficiente.
  • Las portadas históricas solo muestran historias destacadas, por lo que la cobertura del periodo no es exhaustiva.
  • El reporte final quedó marcado como coverage=partial; las demás categorías sí terminaron.

Pasos para reproducir

  1. Mantener Hacker News activa como fuente de tipo Comunidad en AI Radar Sources.
  2. Actualizar config/sources.json desde Notion.
  3. Solicitar: “Busca las últimas noticias de AI Radar en paralelo”.
  4. Usar un intervalo de siete días.
  5. Procesar la categoría comunidad y abrir múltiples páginas históricas e ítems.
  6. Observar una respuesta 429 o la imposibilidad de recuperar un ítem enlazado.

Resultado esperado

La categoría aplica una estrategia acotada ante límites de tasa, consulta el intervalo de forma determinista y produce cobertura completa cuando la fuente vuelve a responder. Si no es posible, conserva resultados válidos y explica exactamente el alcance parcial.

Resultado actual

Un HTTP 429 impide recuperar al menos un ítem y el uso de portadas históricas no garantiza cobertura exhaustiva.

Archivos probables

  • .agents/skills/ai-radar-signals/SKILL.md
  • docs/skills/ai-radar-signals.md
  • docs/source-lanes.md
  • tools/ — posible adaptador determinista para Hacker News
  • test/ — pruebas de rate limit y cobertura parcial

Criterios de aceptación

  • La búsqueda de Hacker News usa un mecanismo con filtro explícito por fecha.
  • HTTP 429 activa backoff y un número máximo documentado de reintentos.
  • Un 429 persistente no bloquea las demás categorías ni genera señales inventadas.
  • Los resultados ya verificados se conservan cuando la cobertura queda parcial.
  • El reporte identifica fuente, intervalo, URL fallida y motivo de cobertura parcial.
  • Existen pruebas para 429 seguido de éxito y para 429 persistente.
  • La implementación respeta límites del proveedor y evita ráfagas de solicitudes.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions