Googles neuer BlockRank demokratisiert die fortgeschrittene semantische Suche

Googles BlockRank zeigte in Forschungstests eine vergleichbare Leistung zu anderen modernen Ranking-Modellen.

Ein neues Forschungspapier von Google DeepMind stellt einen neuen KI-Suchalgorithmus namens BlockRank vor. Dieser funktioniert so überzeugend, dass fortgeschrittenes semantisches Ranking auch für Einzelpersonen und kleinere Organisationen erreichbar wird. Die Forschenden kommen zu dem Schluss, dass BlockRank den Zugang zu leistungsstarken Tools zur Informationsentdeckung demokratisieren kann.

In-Context Ranking (ICR)

Das Forschungspapier beschreibt einen Durchbruch mithilfe von In-Context Ranking (ICR). Dabei handelt es sich um eine Methode zur Bewertung von Webseiten, die auf dem kontextuellen Sprachverständnis eines großen Sprachmodells basiert.

Das Modell erhält hierzu:

• Eine Anweisung zur Aufgabe (zum Beispiel „Reihe diese Webseiten der Relevanz nach“)
  
  
• Die zu bewertenden Dokumente
  
  
• Die eigentliche Suchanfrage
  
  

ICR ist ein relativ neuer Ansatz, der erstmals 2024 von Google DeepMind und Google Research untersucht wurde. Diese frühen Studien zeigten, dass ICR die Leistung spezialisierter Suchsysteme erreichen kann.

Allerdings steigt der erforderliche Rechenaufwand stark an, wenn mehr Dokumente gleichzeitig bewertet werden. Große Sprachmodelle müssen jedes Wort jedes Dokuments und dessen Beziehungen berücksichtigen, was die Verarbeitung exponentiell verlangsamt.

Das neue Forschungspapier mit dem Titel „Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?“ zeigt, wie dieses Skalierungsproblem mit BlockRank gelöst werden kann.

Entwicklung von BlockRank

Die Forschenden analysierten, wie das Modell seine Aufmerksamkeit während des ICR einsetzt, und fanden zwei zentrale Muster.

1. Inter-document Block Sparsity

Das Modell konzentriert sich beim Lesen mehrerer Dokumente überwiegend auf jedes Dokument für sich, anstatt diese detailliert miteinander zu vergleichen. Daher wurde die Verarbeitung angepasst, sodass jedes Dokument einzeln betrachtet, aber weiterhin mit der Suchanfrage abgeglichen wird. So werden unnötige Dokument-zu-Dokument-Vergleiche vermieden, was die Effizienz deutlich steigert, ohne an Genauigkeit zu verlieren.

2. Query-document Block Relevance

Ein Sprachmodell behandelt nicht jedes Wort einer Suchanfrage gleich wichtig. Bestimmte Begriffe oder Satzzeichen sind entscheidend für die Bewertung der Relevanz. Die Forschenden stellten fest, dass interne Aufmerksamkeitsmuster bereits gut mit relevanten Dokumenten korrelieren. Dieses Verhalten wurde gezielt weiter optimiert.

Auf Grundlage dieser Erkenntnisse wurde die Architektur und das Training angepasst. Das Ergebnis ist BlockRank: eine effizientere Form des In-Context Retrievals, die unnötige Vergleiche reduziert und den Fokus auf wirklich relevante Hinweise legt.

Bewertung der Genauigkeit von BlockRank

BlockRank wurde in drei bekannten Benchmarks getestet:

• BEIR (vielfältige Such- und Wissensaufgaben)
  
  
• MS MARCO (reale Bing-Suchanfragen mit Textpassagen)
  
  
• Natural Questions (echte Google-Suchanfragen mit Wikipedia-Referenzen)
  
  

Zum Einsatz kam ein 7-Milliarden-Parameter-Modell von Mistral. BlockRank wurde mit mehreren starken Modellen verglichen, darunter FIRST, RankZephyr, RankVicuna sowie ein vollständig fein abgestimmtes Mistral-Baseline-Modell.

BlockRank erreichte vergleichbare oder bessere Ergebnisse als alle anderen Systeme. Insbesondere wurde MS MARCO und Natural Questions auf gleichem Niveau bewertet und BEIR sogar leicht übertroffen.

Zitat der Forschenden:

„Experimente zu MSMarco und NQ zeigen, dass BlockRank (Mistral-7B) die Effektivität herkömmlichen Fine-Tunings erreicht oder übertrifft und dabei deutlich effizienter in Training und Inferenz ist.“

Original

“Experiments on MSMarco and NQ show BlockRank (Mistral-7B) matches or surpasses standard fine-tuning effectiveness while being significantly more efficient at inference and training. This offers a scalable and effective approach for LLM-based ICR.”

Die Forschenden weisen jedoch darauf hin, dass die Ergebnisse bisher nur für Mistral 7B gelten.

Wird BlockRank bereits bei Google eingesetzt?

Das Forschungspapier macht keine Angaben dazu, ob BlockRank in einem Live-System verwendet wird. Aussagen darüber wären reine Spekulation. Die Funktionsweisen bestehender KI-Suchkomponenten wie FastSearch oder RankEmbed unterscheiden sich stark von BlockRank, weshalb ein direkter Zusammenhang derzeit unwahrscheinlich ist.

Warum BlockRank ein Durchbruch ist

Das Paper erklärt klar, dass BlockRank fortgeschrittene semantische Suchtechnologien zugänglicher macht, als es bisher möglich war.

Die Forschenden schreiben:

„Die BlockRank-Methodik verbessert Effizienz und Skalierbarkeit des In-Context Retrievals in großen Sprachmodellen. Sie macht fortschrittliche semantische Suche rechnerisch praktikabler und kann den Zugang zu leistungsstarken Informations-Tools demokratisieren. Dies könnte Forschung beschleunigen, Bildung durch schnellere und relevantere Informationen verbessern und bessere Entscheidungsfindung unterstützen. Darüber hinaus führt die gesteigerte Effizienz zu einem geringeren Energieverbrauch und somit zu nachhaltigerer KI-Entwicklung. Durch die Nutzung kleinerer oder optimierter Modelle kann BlockRank die Technologie auch in ressourcenbegrenzten Umgebungen zugänglich machen.“

Original:

“The BlockRank methodology, by enhancing the efficiency and scalability of In-context Retrieval (ICR) in Large Language Models (LLMs), makes advanced semantic retrieval more computationally tractable and can democratize access to powerful information discovery tools. This could accelerate research, improve educational outcomes by providing more relevant information quickly, and empower individuals and organizations with better decision-making capabilities. Furthermore, the increased efficiency directly translates to reduced energy consumption for retrieval-intensive LLM applications, contributing to more environmentally sustainable AI development and deployment. By enabling effective ICR on potentially smaller or more optimized models, BlockRank could also broaden the reach of these technologies in resource-constrained environments.”

Fachleute aus SEO und Publishing sind frei in ihrer Einschätzung, ob Google BlockRank einsetzen könnte. Derzeit gibt es jedoch keinerlei Belege dafür, auch wenn es interessant wäre, jemanden bei Google dazu zu befragen.

Google scheint BlockRank auf GitHub veröffentlichen zu wollen. Zum aktuellen Zeitpunkt ist dort jedoch noch kein Code verfügbar.