Extraer las entidades más repetidas de varias URLs con Python y TextRazor

En SEO, entender qué entidades están presentes en un contenido es clave para mejorar la relevancia semántica, optimizar el enlazado interno y descubrir nuevas oportunidades de contenido.

En este artículo te voy a enseñar un script en Python que analiza varias URLs, extrae el texto de cada una, identifica sus entidades y te devuelve las 40 más repetidas, filtrando números y ruido.

¿Qué hace este script?

1. Lee un listado de URLs (pegadas en consola, separadas por espacios o comas).
2. Descarga el contenido HTML de cada URL con requests.
3. Limpia el HTML (quitando <script>, <style>, etc.) usando BeautifulSoup.
4. Envía el texto a la API de TextRazor para extraer entidades.
5. Filtra números y repeticiones para quedarte con entidades útiles.
6. Cuenta las apariciones de cada entidad y devuelve las 40 más frecuentes en formato de texto separado por comas.

El código


# pip install textrazor requests beautifulsoup4

import re
import sys
from collections import Counter
from urllib.parse import urlparse

import requests
from bs4 import BeautifulSoup
import textrazor

# Clave API de TextRazor
textrazor.api_key = «AQUI_TU_API_KEY»

# Expresión regular para filtrar entidades con letras (evitar números)
ALPHA_RE = re.compile(r»[A-Za-zÁÉÍÓÚÜÑáéíóúüñ]»)

def fetch_text(url, timeout=20):
«»»Descarga y limpia el texto de una URL.»»»
headers = {«User-Agent»: «Mozilla/5.0 (compatible; EntityCollector/1.0)»}
r = requests.get(url, headers=headers, timeout=timeout)
r.raise_for_status()
soup = BeautifulSoup(r.text, «html.parser»)
for tag in soup([«script», «style», «noscript», «template»]):
tag.decompose()
return soup.get_text(» «, strip=True)[:100_000] # límite para API

def extract_entities_from_text(text, language=»spa»):
«»»Extrae entidades de un texto usando TextRazor.»»»
client = textrazor.TextRazor(extractors=[«entities»])
client.set_language_override(language)
resp = client.analyze(text)
names = []
for ent in resp.entities() or []:
name = (ent.matched_text or «»).strip()
if not name or not ALPHA_RE.search(name):
continue
occurrences = len(getattr(ent, «starting_positions», []) or [1])
names.extend([name] * occurrences)
return names

def main():
raw = input(«Pega las URLs separadas por comas o espacios: «).strip()
parts = re.split(r»[,\s]+», raw)
urls = [u if «://» in u else «https://» + u for u in parts if u]

counts = Counter()
first_seen_case = {}

for url in urls:
try:
text = fetch_text(url)
for e in extract_entities_from_text(text):
k = e.lower()
if k not in first_seen_case:
first_seen_case[k] = e
counts[k] += 1
except Exception as e:
print(f»[AVISO] {url}: {e}», file=sys.stderr)

top = [first_seen_case[k] for k, _ in counts.most_common(40)]
print(«, «.join(top))

if __name__ == «__main__»:
main()

Requisitos previos

1. Python 3.9+ instalado
2. Instalar dependencias:
   pip install textrazor requests beautifulsoup4
3. Registrarte en TextRazor y obtener una API Key.

Posibles usos para SEO

Este script no es solo un experimento técnico: puede ser una herramienta estratégica en cualquier auditoría o investigación SEO.

1. Análisis de la competencia
   • Pega varias URLs de competidores y obtén de forma inmediata las entidades que más repiten.
   • Esto te muestra de qué hablan realmente, más allá de keywords exactas, y qué temas Google podría estar asociando con ellos.
2. Optimización semántica de contenidos
   • Introduce tus propias URLs y verifica si las entidades relevantes para tu sector aparecen con suficiente frecuencia.
   • Si faltan, puedes integrarlas de forma natural para reforzar la temática y la relevancia.
3. Detección de brechas de contenido (Content Gap)
   • Compara las entidades más repetidas en contenidos de competidores con las tuyas.
   • Aquellas que ellos trabajan y tú no, son oportunidades claras para nuevos artículos o actualizaciones.
4. Planificación de clústers temáticos
   • A partir de las entidades comunes en un grupo de artículos, puedes definir subtemas y crear un clúster de contenidos interconectados.
   • Esto mejora la cobertura temática y la autoridad sobre un tema.
5. Optimización del enlazado interno
   • Usa las entidades más recurrentes como nodos clave (hubs) de tu arquitectura interna.
   • Por ejemplo, si “inteligencia artificial” es frecuente, crea o refuerza una página pilar y enlaza desde todos los artículos que mencionan esa entidad.
6. Monitoreo de cambios en la estrategia de un competidor
   • Ejecuta el script cada cierto tiempo sobre las mismas URLs o categorías.
   • Si empiezan a aparecer nuevas entidades relevantes, puede ser señal de un cambio en su enfoque o estrategia de contenidos.

Ejemplo de uso

Si analizamos 5 artículos de un competidor sobre IA y marketing, el script podría devolver:
Inteligencia artificial, Google, SEO, aprendizaje automático, búsqueda, ChatGPT, algoritmos, datos, contenido...
Con esa lista sabrías de un vistazo qué conceptos dominan en su contenido y podrías compararlos con el tuyo.