Aha. Eigentlich habe ich nur beschrieben, was hier passiert. Aus Sicht des Bots.
Aber gut, du bist der Experte. Ich habe ja keine Ahnung.
Andre,
bitte entschuldige. Manchmal schreibe ich sehr "ruppig" und "roh".
Was ich sage, ist nie die absolute Wahrheit, sondern immer nur meine persönliche Ansicht und mein aktueller Wissensstand. Ich bin wie du ein Mensch und kann mich immer täuschen.
Es interessiert mich überhaupt nicht, wer "besser" ist. Ich vergleiche Menschen nicht.
Der einzige Grund, warum ich mich in einem Forum beteilige (oder überhaupt mit Menschen spreche), ist, weil ich an einem respektvollen, gegenseitigem Austausch interessiert bin, von dem bestenfalls beide Seiten profitieren.
Ich bin jederzeit offen für konstruktive Kritik - möchte dich aber bitten, dass wir das sachlich halten und nicht auf die persönliche Ebene ziehen.
Ich hoffe, es ist in Ordnung, dass ich nochmal auf deinen letzten Beitrag eingehe:
Kannst du mir mal sagen, wo du diese URL's her hast?
Die Frage war nicht provokativ, sondern ernst gemeint und durchaus berechtigt.
Wo genau findet Google diese URLs? Sind diese irgendwo auf der Seite verlinkt? Weil, wenn Google diese Links nicht irgendwo crawlt, warum sollten sie dann relevant sein?
Gestern haben die Seiten noch Status 200 ausgeworfen, sonst hätte ich sonst posten sollen?
Hatten diese Seiten einen anderen Inhalt als "Hoppla! Diese Seite konnte leider nicht gefunden werden."?
Aktuell geben deine URLs definitiv eine 404 Antwort aus:
Zusätzlich lag der Anteil von 301 und 401 bei 60 Prozent.
Deine endlos langen URLs habe ich nicht gefunden, aber Ähnliche. Und ja, du hast Recht: 99x 404er und 4x 301er - lässt man die Parameter-URLs weg, macht das über 50% aus.
Beispiel URL:
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/weiterbildung/bildungszielplanung (404)
Der Link ist hier zu finden:
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/#umschulungsplatz-finden
Das, was ich im folgenden Screen blau markiert habe, ist zu viel. Korrekt würde der Link so aussehen:
https://arbeitsvermittler.de/thema/bildungszielplanung/
@Fred: Hier mal alle 99 URLs, die du aktuell (auf die gleiche Art und Weise) falsch verlinkst:
https://arbeitsvermittler.de/thema/stellenvorschlag-oder-stellenempfehlung/arbeitslosigkeit/vermittlungsvorschlag-und-rechtsfolgenbelehrung
https://arbeitsvermittler.de/thema/vermittlungsgutschein-beantragen-anspruch-auch-ohne-leistungsbezug/arbeitsvermittlung/vermittlungsgutschein
https://arbeitsvermittler.de/thema/vermittlungsgutschein-beantragen-anspruch-auch-ohne-leistungsbezug/private-arbeitsvermittlung-liste
https://arbeitsvermittler.de/thema/meldeversaeumnis-meldetermin-der-agentur-fuer-arbeit-verpasst/texte
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/texte
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/texte/item/standardanforderung
https://arbeitsvermittler.de/thema/private-arbeitsvermittlung-voraussetzungen-verguetung-risiken/private-arbeitsvermittlung-liste
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitslosigkeit/vor-eintritt/fruehzeitige-arbeitsuchendmeldung
https://arbeitsvermittler.de/thema/private-arbeitsvermittlung-voraussetzungen-verguetung-risiken/zeitarbeitsfirmen-liste
https://arbeitsvermittler.de/thema/arbeitsagentur-daten-erheben-und-loeschen/texte/item/standardanforderung/
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitslosigkeit/zumutbarkeit
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitsvermittlung/so-vermitteln-arbeitnehmerorientierte-arbeitsvermittler-der-arbeitsagentur
https://arbeitsvermittler.de/thema/so-vermitteln-arbeitnehmerorientierte-arbeitsvermittler-der-arbeitsagentur/arbeitsvermittlung/inga-integrationsberatung-agentur-fuer-arbeit-erfahrungen
https://arbeitsvermittler.de/thema/so-vermitteln-arbeitnehmerorientierte-arbeitsvermittler-der-arbeitsagentur/arbeitsvermittlung/beratungsgespraech-beim-arbeitsvermittler
https://arbeitsvermittler.de/thema/vermittlungsvorschlag-und-rechtsfolgenbelehrung/arbeitslosigkeit/arbeitslosengeld/arbeitsablehnung-wichtige-gruende-gegen-eine-sperrzeit
https://arbeitsvermittler.de/thema/vermittlungsvorschlag-und-rechtsfolgenbelehrung/texte/standardanforderung
https://arbeitsvermittler.de/thema/arbeitsentgeltzuschuss-aez-weiterbildung-im-beschaeftigungsverhaeltnis/weisungen/Standardanforderung
https://arbeitsvermittler.de/thema/wann-ist-eine-arbeit-zumutbar-oder-unzumutbar/arbeitslosigkeit/zumutbarkeit/zumutbarer-arbeitsweg-in-der-arbeitslosigkeit-entfernung-pendelzeit
https://arbeitsvermittler.de/thema/arbeitsentgeltzuschuss-aez-weiterbildung-im-beschaeftigungsverhaeltnis/weiterbildung/gelernt-ungelernt-wieder-ungelernt
https://arbeitsvermittler.de/thema/job-ablehnen-wegen-zu-geringem-gehalt/arbeitsplatz/item/telefonberatung-2
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/weiterbildung/bildungsgutschein-fuer-eine-weiterbildung-beantragen
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitslosigkeit/eigenbemuehungen
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitslosigkeit/zumutbarkeit/zumutbarer-arbeitsweg-in-der-arbeitslosigkeit-entfernung-pendelzeit
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/finanzielle-hilfen/bewerbungskosten-vermittlungsbudget
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitsvermittlung/vermittlungsgutschein
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/arbeitsvermittlung/arbeitslos-so-vermitteln-arbeitsvermittler-der-arbeitsagentur
https://arbeitsvermittler.de/thema/beratungsgespraech-beim-arbeitsvermittler/weiterbildung/bildungsgutschein-beantragen-verfahren-voraussetzungen
https://arbeitsvermittler.de/thema/arbeitsablehnung-wichtige-gruende-gegen-eine-sperrzeit/texte/item/fruehzeitige-arbeitsuchendmeldung-2
https://arbeitsvermittler.de/thema/arbeitsablehnung-wichtige-gruende-gegen-eine-sperrzeit/arbeitslosigkeit/item/arbeitsablehnung
https://arbeitsvermittler.de/thema/gruendungszuschuss-agentur-fuer-arbeit-voraussetzungen-und-hoehe/texte/standardanforderung
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/weiterbildung/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch
https://arbeitsvermittler.de/thema/bildungszielplanung/texte/standardanforderung
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/weiterbildung/bildungszielplanung
https://arbeitsvermittler.de/thema/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch/arbeitslosigkeit/arbeitslosengeld/nebeneinkommen-und-arbeitslosengeld
https://arbeitsvermittler.de/thema/fruehzeitige-arbeitsuchendmeldung/texte/standardanforderung
https://arbeitsvermittler.de/thema/informationsfreiheitsgesetz/texte
https://arbeitsvermittler.de/thema/eigenbemuehungen-nachweisen/arbeitslosigkeit/arbeitslos-ohne-leistungsbezug-vorteil-anrechnungszeit
https://arbeitsvermittler.de/thema/zumutbarkeit-arbeitsbedingungen/arbeitslosigkeit/zumutbarkeit
https://arbeitsvermittler.de/thema/arbeitslos-melden-wie-wann-wo/arbeitslosigkeit/vor-eintritt/fruehzeitige-arbeitsuchendmeldung
https://arbeitsvermittler.de/thema/arbeitsunfaehig-krank-vor-und-waehrend-arbeitslosigkeit/texte/standardanforderung
https://arbeitsvermittler.de/thema/wiedereinstieg-berufsrueckkehr/weiterbildung/gelernt-ungelernt-wieder-ungelernt
https://arbeitsvermittler.de/thema/wann-ist-eine-arbeit-zumutbar-oder-unzumutbar/arbeitslosigkeit/zumutbarkeit/arbeitslos-ist-eine-getrennte-haushaltsfuehrung-zumutbar
https://arbeitsvermittler.de/thema/nebeneinkommen-und-arbeitslosengeld/texte/standardanforderung
https://arbeitsvermittler.de/thema/jobboerse-agentur-fuer-arbeit-was-nicht-jeder-arbeitnehmer-weiss/texte/standardanforderung/
https://arbeitsvermittler.de/thema/weiterbildung-abbrechen-ablehnen/weiterbildung/probleme-in-der-weiterbildung
https://arbeitsvermittler.de/thema/private-arbeitsvermittlung-voraussetzungen-verguetung-risiken/arbeitsvermittlung/vermittlungsgutschein-beantragen-anspruch-auch-ohne-leistungsbezug
https://arbeitsvermittler.de/thema/vermittlungsbudget-viele-unterschiedliche-leistungen/weisungen/weisungen-pur/item/mustertexte-fuer-anforderungen
https://arbeitsvermittler.de/thema/kuendigen-wegen-weiterbildung/weiterbildung/bildungsgutschein-fuer-eine-weiterbildung-beantragen
https://arbeitsvermittler.de/thema/weiterbildung-im-fernunterricht/texte/item/ermessenslenkende-weisungen
https://arbeitsvermittler.de/thema/kuendigen-wegen-weiterbildung/weiterbildung/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch
https://arbeitsvermittler.de/thema/bewerberseminare-vermeiden/weiterbildung/item/foerderung-einer-beruflichen-weiterbildung-beantragen
https://arbeitsvermittler.de/thema/nahtlosigkeitsregelung-wird-meistens-abgelehnt/arbeitslosigkeit/arbeitslosengeld/hoehe-arbeitslosengeld-berechnen
https://arbeitsvermittler.de/thema/lohn-gehalt-tarifauskunft/arbeitsplatz/item/telefonberatung-2
https://arbeitsvermittler.de/thema/bewerbungs-pc-nutzen/weisungen/weisungen-aktuell/item/neue-regelungen-2019-sgb-iii/
https://arbeitsvermittler.de/thema/stellensuche-mit-behinderung/weisungen/weisungen-pur/item/mustertexte-fuer-anforderungen
https://arbeitsvermittler.de/zeitarbeitsfirmen-liste/region-hannover/4
https://arbeitsvermittler.de/zeitarbeitsfirmen-liste/kreisfreie-stadt-duesseldorf/gvo-personal-7
https://arbeitsvermittler.de/directory-aagentur/listing/nahtlosigkeitsregelung-wird-meistens-abgelehnt/
https://arbeitsvermittler.de/thema/kuendigen-wegen-weiterbildung/weiterbildung/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden
https://arbeitsvermittler.de/thema/beschaeftigungsverhaeltnisse-stabilisieren/texte/standardanforderung
https://arbeitsvermittler.de/thema/vermittlungsbudget-viele-unterschiedliche-leistungen/finanzielle-hilfen/vermittlungsbudget-bewerbungskosten-umzugskosten-und-co
https://arbeitsvermittler.de/thema/gelernt-ungelernt-wieder-ungelernt/texte/standardanforderung
https://arbeitsvermittler.de/thema/gelernt-ungelernt-wieder-ungelernt/weiterbildung/bildungsgutschein-fuer-eine-weiterbildung-beantragen
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/texte/standardanforderung
https://arbeitsvermittler.de/thema/jobboerse-agentur-fuer-arbeit-was-nicht-jeder-arbeitnehmer-weiss/weiterbildung/bildungsgutschein-fuer-eine-weiterbildung-beantragen
https://arbeitsvermittler.de/thema/jobboerse-agentur-fuer-arbeit-was-nicht-jeder-arbeitnehmer-weiss/finanzielle-hilfen/gefoerderte-beschaeftigung
https://arbeitsvermittler.de/thema/berufsschutz-muss-ich-eine-berufsfremde-arbeit-annehmen/arbeitslosigkeit/zumutbarkeit/item/job-ablehnen-wegen-zu-geringem-gehalt
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/texte
https://arbeitsvermittler.de/thema/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch/texte/standardanforderung
https://arbeitsvermittler.de/thema/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch/weiterbildung/weiterbildung-gefoerdert
https://arbeitsvermittler.de/thema/hoehe-arbeitslosengeld-berechnen/texte/standardanforderung
https://arbeitsvermittler.de/thema/eigenbemuehungen-nachweisen/arbeitslosigkeit/nahtlosigkeitsregelung-nach-aussteuerung
https://arbeitsvermittler.de/thema/arbeitslos-melden-wie-wann-wo/arbeitslosigkeit/arbeitslos-ohne-leistungsbezug-vorteil-anrechnungszeit
https://arbeitsvermittler.de/thema/arbeitslos-melden-wie-wann-wo/arbeitslosigkeit/nahtlosigkeitsregelung-wird-meistens-abgelehnt
https://arbeitsvermittler.de/thema/arbeitslos-ohne-leistungsbezug-vorteil-anrechnungszeit/texte/item/standardanforderung
https://arbeitsvermittler.de/thema/berufsschutz-muss-ich-eine-berufsfremde-arbeit-annehmen/weiterbildung/bildungsgutschein-beantragen-verfahren-voraussetzungen
https://arbeitsvermittler.de/thema/fruehzeitige-arbeitsuchendmeldung/arbeitslosigkeit/persoenlich-arbeitslos-melden-wie-wann-wo
https://arbeitsvermittler.de/thema/fruehzeitige-arbeitsuchendmeldung/arbeitsvermittlung/beratungsgespraech-beim-arbeitsvermittler
https://arbeitsvermittler.de/thema/wiedereinstieg-berufsrueckkehr/weiterbildung/bildungsgutschein-beantragen-verfahren-voraussetzungen
https://arbeitsvermittler.de/thema/hoehe-arbeitslosengeld-berechnen/arbeitslosigkeit/arbeitslosengeld/kurze-arbeitslosigkeit-mit-alg-antrag-jonglieren
https://arbeitsvermittler.de/thema/arbeitslosengeld-bei-weiterbildung-verlaengert-ihren-anspruch/arbeitslosigkeit/eigenbemuehungen
https://arbeitsvermittler.de/thema/bearbeitungszeit-bis-zur-bewilligung-von-arbeitslosengeld-1/texte/standardanforderung
https://arbeitsvermittler.de/thema/auslaendische-abschluesse-anerkennung/texte/standardanforderung
https://arbeitsvermittler.de/thema/probleme-in-weiterbildung-und-umschulung/texte/standardanforderung/
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/weiterbildung/arbeitsentgeltzuschuss-aez-weiterbildung-im-beschaeftigungsverhaeltnis
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/weiterbildung/weiterbildung-abbrechen-ablehnen
https://arbeitsvermittler.de/thema/bildungszielplanung/weiterbildung/bildungsgutschein-beantragen-verfahren-voraussetzungen
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/weiterbildung/weiterbildung-abbrechen-ablehnen
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/weiterbildung/gelernt-ungelernt
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/weiterbildung/gelernt-ungelernt-wieder-ungelernt
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/weiterbildung/weiterbildungsgeld-buergergeldbonus-weiterbildungspraemie
https://arbeitsvermittler.de/thema/bildungsgutschein-beantragen-verfahren-voraussetzungen/texte
https://arbeitsvermittler.de/thema/gruendungszuschuss-agentur-fuer-arbeit-voraussetzungen-und-hoehe/texte/item/ermessenslenkende-weisungen
https://arbeitsvermittler.de/thema/gruendungszuschuss-agentur-fuer-arbeit-voraussetzungen-und-hoehe/weisungen/weisungen-pur/item/mustertexte-fuer-anforderungen
https://arbeitsvermittler.de/thema/arbeitsablehnung-wichtige-gruende-gegen-eine-sperrzeit/arbeitslosigkeit/vermittlungssperre-und-rentenversicherung
https://arbeitsvermittler.de/thema/arbeitsablehnung-wichtige-gruende-gegen-eine-sperrzeit/texte/item/standardanforderung
https://arbeitsvermittler.de/thema/wann-ist-eine-arbeit-zumutbar-oder-unzumutbar/arbeitslosigkeit/zumutbarkeit/job-ablehnen-wegen-zu-geringem-gehalt
https://arbeitsvermittler.de/thema/so-vermitteln-arbeitnehmerorientierte-arbeitsvermittler-der-arbeitsagentur/private-arbeitsvermittlung-liste
https://arbeitsvermittler.de/?p=451
Die Seiten, von welchen du diese URLs verlinkst, sind relativ einfach zu finden und reparieren. Ein Beispiel:
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/weiterbildung/
bildungszielplanung
1. Entferne den letzten Slug, also "bildungszielplanung":
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/[B]weiterbildung[/B]/
2. Wenn dann (wie in diesem Fall) immernoch die 404 Seite angezeigt wird, lösche das nächste Wort, hier "weiterbildung":
https://arbeitsvermittler.de/thema/betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/
3. Diese Seite öffnet sich und genau auf dieser Seite findest du den Link:
https://arbeitsvermittler.de/thema/[B]betrieblichen-umschulungsplatz-oder-schulische-weiterbildung-finden/[/B]weiterbildung/bildungszielplanung
4. Hier musst du den Teil entfernen, der zu viel ist. Der Link sollte dann so aussehen:
https://arbeitsvermittler.de/thema/[B]weiterbildung[/B]/
bildungszielplanung
Und das Ganze einfach 99 mal wiederholen
Möglicherweise hast du aber auch einfach was in deiner .htaccess falsch konfiguriert und muss den manuellen Aufwand garnicht machen. Stell gern mal den Inhalt deiner .htaccess hier rein (falls du hier access_deny Regeln drin hast, lösche dir vorher raus - mich interessieren nur die "Rewrite Rules").
Außerdem steht deine 404-Seite auf "noindex":
Besser: auf "index" setzen (Google indiziert sowieso keine Seiten, die eine 404-response ausgeben)
Und: Bestimmt willst du auch, dass man deine Seite für deutschsprachige Suchen in anderen Ländern findet - Google.es hat beispielsweise viel deutschsprachigen Traffic.
html lang "de-DE" solltest du nur auszeichnen, wenn du mit der Domain nur Deutschland targetierst, ansonsten solltest du es ändern zu "de" (nur Sprachkürzel, ohne Länderkürzel).
@andre: Somit Danke für deine Hinweise. Ich kann zwar immernoch nicht nachvollziehen, wo genau du die die URLs gefunden hast, aber dein Beitrag war ausschlaggebend dafür, dass wir das auflösen.
Und ich stimme dir zu: Diese vielen 404er und die vielen internen broken links sind in jedem Fall ein Hinderungsgrund für Google, die Seite weiter zu indizieren.
Jedem, der das liest, ein schönes Wochenende!