Inwiefern verzerren Algorithmen den öffentlichen Diskurs, wenn sie vor allem konfliktreiche und negativ-emotionale Inhalte verstärken? Und kann diese Verzerrung als systemisches Risiko im Sinne des Digital Services Act (DSA) verstanden werden? Dieser englischsprachige Blogartikel knüpft an den kürzlich veröffentlichten Beitrag „Gütesiegel für zivile Kommunikation“ an. Er erläutert die Notwendigkeit der dort vorgeschlagenen Maßnahmen und zeigt auf, wie sie dazu beitragen können, den beschriebenen systemischen Risiken zu begegnen.

von Jan Rau

Digital platforms shape political communication through ranking, recommendation, and engagement-based optimization; these systems do not merely mirror public debate but actively determine which forms of political expression receive attention at scale. Within this environment, conflict-driven and negative-emotional communication tends to occupy a structurally advantaged position. In our recent paper Platform Badges for Civic Communication, we argue that, under the DSA, this dynamic gives rise to systemic risks to civic discourse as understood in Articles 34 and 35.

Systemic Risk under Articles 34 and 35 DSA

Articles 34 and 35 DSA require very large online platforms to identify, assess, and mitigate systemic risks arising from the functioning and design of their services. Particularly relevant is the systemic risk outlined in Art. 34(1)(c) DSA, which covers “any actual or foreseeable negative effects on civic discourse and electoral processes, and public security.” This is the provision we primarily refer to when outlining the harmful impact of the structural overrepresentation of conflict-driven, negative-emotional communication and its societal effects.

The Digital Attention Economy

Central to this argument is the intensification of the digitally mediated attention economy, in which communicators – both established and emerging – compete for limited human attention amid an ever-increasing volume of information. To maximize engagement, communicators and platforms employ digital tracking and analytics systems that fine-tune content to align with user behavior and algorithmic preferences.

Antagonism and Outrage as Structurally Privileged Forms of Communication

Empirical research shows that content emphasizing group identity, emotional conflict, and antagonism – “us versus them” framing rather than solution-oriented debate – achieves especially high visibility online. Rather than echo chambers alone, sustained and often unmoderated confrontation across political groups, supported by interconnected digital spaces, underpins contemporary polarization.

Because conflict-laden, negative-emotional communication is effective at capturing attention and mobilizing support, many actors deliberately amplify hostile, antagonistic discourse. For authoritarian actors in particular, such styles are central to communicative success. In this context, digital platforms are especially problematic: driven by attention-maximizing logic, ranking and recommendation systems frequently reinforce engagement-generating, conflict-oriented discourse. Over time, this produces a structural bias in favor of antagonism, escalation, moral polarization, and emotional outrage.

Societal Implications

Although the amplification of emotionally charged and conflict-driven content has received comparatively little attention in platform governance debates, its implications for democratic societies are substantial. A growing body of evidence links its prevalence to hyperpolarization, including the erosion of democratic norms and mutual toleration. Hyperpolarization, in turn, can foster political gridlock, weaken collective responses to societal challenges, create openings for authoritarian encroachment, and escalate into political violence. Given these effects and the success of certain actors in exploiting digitally amplified antagonistic discourse, the amplification of such content poses a systemic risk to civic discourse, electoral integrity, and public security, as articulated under Article 34 DSA.

The Importance of Political Conflict

It is important to underline that political conflict, emotional expression, and polarization are not inherently harmful but are central to pluralistic democracy, particularly for marginalized groups seeking visibility and collective identity. Attempts to suppress conflict through enforced consensus risk obscuring underlying injustices rather than addressing them, and efforts to curb polarization without engaging its roots may simply mute legitimate dissent. However, while political conflict in itself is not problematic (quite the opposite, it is necessary and intrinsic to politics), its constant digital overrepresentation has become harmful, fostering hyperpolarization and opening the door to authoritarian actors, as outlined above.

Risk Mitigation Through Platform Badges

Overall, the structural overrepresentation of conflict-driven, negative-emotional communication – and its documented societal effects – can indeed be understood as constituting a systemic risk to civic discourse, electoral processes, and public security, thereby requiring appropriate risk-mitigation measures.

Measures such as the proposed platform badges for civic communication can serve as effective risk-mitigation mechanisms. These badges operate as governance-by-design interventions: they create positive incentives for communicators who adhere to democratic communication norms and, in return, receive increased visibility on platforms. Rather than restricting content, badges aim to rebalance attention distribution by selectively amplifying norm-compliant communication. This shifts the regulatory focus from isolated content-moderation decisions to the structural communicative effects produced by platform architectures and design choices – effects that ultimately shape which forms of political expression dominate the digital public sphere.

Conclusion

Conflict and emotion are not incompatible with democratic communication. However, when platform systems consistently privilege conflict-driven negative emotionality, they introduce a structural bias that reshapes civic discourse at scale and to a problematic degree. Recognizing this dynamic as a systemic risk under Articles 34 and 35 DSA and advocating for appropriate risk mitigation measures – such as platform badges – is therefore essential.

„KI and me – in künstlicher Beziehung“ lautet das Motto des Safer Internet Days 2026. Längst werden KI-Anwendungen nicht mehr nur für Hausaufgaben genutzt, sondern auch als Ratgeber*in und Gesprächspartner*in. Dieser Blogbeitrag wirft einen Blick auf die Erfahrungen von Jugendlichen mit KI und zeigt: In Schule und Elternhaus fehlt oft der Raum für eine gemeinsame Auseinandersetzung damit, welche Rolle KI in unserem Alltag spielen soll. Der Safer Internet Day bietet einen guten Anlass, darüber ins Gespräch zu kommen.

von Claudia Lampert & Kira Thiel

Die Nutzung generativer KI, insbesondere ChatGPT, hat sich als Teil der Online-Nutzung Jugendlicher etabliert. Laut Daten der aktuellen EU Kids Online-Erhebung aus 17 europäischen Ländern haben 72 Prozent der befragten 13- bis 17-Jährigen im letzten Monat generative KI genutzt (Staksrud et al., 2026). Der JIM-Studie 2025 zufolge berichten sogar 91 Prozent der Befragten, generell mindestens eine KI-Anwendung einzusetzen (2024: 62 %) (Feierabend et al., 2025). Angesichts dieser Zahlen stellt sich daher nicht mehr die Frage, „ob Jugendliche KI einsetzen, sondern wie häufig, in welcher Form und wofür“ (Feierabend et al., 2025, S. 61). Wurden anfangs die Möglichkeiten generativer KI spielerisch ausgetestet, haben sich verschiedene Anwendungen mittlerweile bei vielen als Alltagswerkzeuge etabliert, die sowohl im schulischen Kontext als auch in der Freizeit zum Einsatz kommen (Feierabend et al., 2025).

Im Rahmen einer international vergleichenden Studie des Forschungsverbundes EU Kids Online wurde genauer untersucht, welche Rolle generative KI im Alltag von Jugendlichen spielt, zu welchen Zwecken sie generative KI-Anwendungen nutzen, über welches Wissen und welche Kompetenzen sie verfügen und inwieweit die Nutzung begleitet stattfindet bzw. unterstützt oder reglementiert wird (Staksrud et al., 2026). Hierzu wurden in 15 Ländern qualitative Interviews durchgeführt. Am Leibniz-Institut für Medienforschung | Hans-Bredow-Institut (HBI) fanden diese zwischen April und August 2025 mit 15 Jugendlichen zwischen 13 und 18 Jahren statt (Thiel et al., 2026).

KI ist fester Bestandteil des Alltags von Jugendlichen

Generative KI ist für Jugendliche längst kein abstraktes Zukunftsthema mehr, sondern Teil ihres Alltags. Alle befragten Jugendlichen hatten bereits Erfahrungen mit KI-gestützten Anwendungen gemacht – sei es im schulischen Kontext oder über Freundinnen und Freunde. Dabei zeigt sich jedoch: Das genutzte Repertoire ist meist überschaubar. Im Mittelpunkt steht vor allem ChatGPT, während andere KI-Anwendungen deutlich seltener verwendet werden. Wie häufig KI zum Einsatz kommt, variiert stark und hängt vor allem davon ab, welchen konkreten Nutzen die Jugendlichen für sich darin sehen.

Im schulischen Zusammenhang wird KI vor allem als Werkzeug eingesetzt, um nach Informationen zu recherchieren, Texte oder Präsentationen zu erstellen oder zu überarbeiten. Doch auch jenseits schulischer Kontexte greifen Jugendliche vermehrt auf generative KI zurück – etwa bei konkreten Alltagsproblemen oder persönlichen Fragen. In solchen Situationen fungiert KI zunehmend als ein*e Art Kommunikationspartner*in, die*der jederzeit verfügbar ist, um Feedback zu geben, Ideen zu entwickeln oder bei der Entscheidungsfindung zu unterstützen.

„Wie Google, nur halt präziser“

Generative KI unterscheidet sich für Jugendliche deutlich von bisherigen digitalen Angeboten. Ihre interaktiven und kommunikativen Eigenschaften eröffnen neue Formen der Mensch-Maschine-Interaktion – und genau diese Besonderheiten prägen, wie Jugendliche KI wahrnehmen, welche Eigenschaften sie ihr zuschreiben und wie sie die Nutzung erleben. Dabei zeigt sich: Die Vorstellungen von KI sind eng an konkrete Anwendungen und Nutzungskontexte gebunden und entstehen häufig im Vergleich mit bereits bekannten Technologien, aber auch in Abgrenzung zu Menschen.

Chatbots wie ChatGPT werden häufig mit Suchmaschinen wie Google verglichen. Besonders geschätzt wird, dass Antworten passgenau formuliert sind und Informationen übersichtlich und ohne langes Suchen bereitgestellt werden. Die Möglichkeit, auf Antworten direkt reagieren, nachfragen und Ergebnisse schrittweise verfeinern zu können, wird als zentrales Merkmal und Vorteil generativer KI gegenüber klassischen Suchmaschinen wahrgenommen.

„Das ist, wie wenn du irgendjemand nach Hilfe fragst oder deinen Lehrer fragst”

Im Vergleich zu Menschen ziehen die Jugendlichen jedoch klare Grenzen. Im Gegensatz zu Menschen habe KI keinen Körper, keine Gefühle, keine Persönlichkeit und keine eigenen Erfahrungen. KI wird vielmehr als technisches System gesehen, das 24/7 verfügbar ist, „einfach nur unnormal viel“ weiß, aber nicht wirklich präsent ist. Gleichzeitig wird sie von einigen aber auch als „allwissend“ und intelligenter als Menschen beschrieben.

„Nee, der hat keine Gefühle. Was willst du mit dem Ding? Außerdem ist es nicht, Wie nennt man das? Anfassbar. Es hat nicht mal ein Gesicht. Du redest mit deinem Handy.“ (Roxy, 13 Jahre)

Auffällig ist, dass Jugendliche sehr genau wahrnehmen, wie stark KI menschliche Kommunikation imitiert. Dieses Verhalten löst unterschiedliche Reaktionen aus: Manche empfinden es als praktisch oder hilfreich, andere als irritierend, befremdlich oder sogar ein wenig unheimlich. Unabhängig davon, wie es wahrgenommen wird, unterstützt es den Eindruck von der KI als Kommunikationspartner*in, mit der man etwas gemeinsam erarbeitet oder der bzw. die zuhört, antwortet und bei kleineren oder größeren Entscheidungsfragen hilft.

„Die künstliche Intelligenz judged dich nicht, also die wird nie das machen. Und […] ich finde, sie versteht dich einfach besser. Und außerdem, sie wird, wie gesagt, nie judgen und ist immer so lieb zu dir und so.“ (Nayla, 16 Jahre)

Teilweise werden sogar freundschaftsähnliche Beziehungen beschrieben, insbesondere dort, wo Jugendliche im Alltag wenig Aufmerksamkeit erfahren und sich von der KI verstanden fühlen.

Wenig Auseinandersetzung mit Risiken

Die Interviews mit den Jugendlichen zeigen, dass generative KI als ein hybrides Angebot wahrgenommen wird, dessen Bedeutung und Funktion je nach Nutzungskontext und individuellen Bedürfnissen variieren. Einige Jugendliche scheinen die Potenziale von KI-Technologien für sich besser nutzen zu können als andere. Unklar bleibt allerdings, wie sie mit etwaigen Risiken, wie z. B. Desinformationen, Deepfakes oder einfach auch falschen oder fehlerhaften Informationen, umgehen. Die Berichte der Jugendlichen deuten vielmehr darauf hin, dass sie die Möglichkeiten von KI derzeit überwiegend auf eigene Faust erkunden und dass weder im Elternhaus noch in der Schule Raum vorhanden ist, um sich damit zu auseinanderzusetzen, welchen Stellenwert wir der KI in unserem Alltag beimessen wollen. Der Safer Internet Day ist ein guter Anlass, darüber gemeinsam ins Gespräch zu kommen.

Referenzen

Feierabend, S., Rathgeb, T., Gerigk, Y., & Glöckler, S. (2025). JIM-Studie 2025: Jugend, Information, Medien: Basisuntersuchung zum Medienumgang 12- bis 19-Jähriger. https://mpfs.de/studie/jim-studie-2025/

Staksrud, E., Mascheroni, G., Milosevic, T., Ní Bhroin, N., Ólafsson, K., Şengül-İnal, G., & Stoilova, M. (2026). European Children’s Use and Understanding of Generative AI. EU Kids Online 2026. https://doi.org/10.21953/researchonline.lse.ac.uk.00137132

Thiel, K., Lampert, C., & Memis, E. (2026). Generative KI aus Sicht von Jugendlichen. Eine qualitative Studie im Rahmen des Projekts „EU Kids Online“. Hamburg: Verlag Hans-Bredow-Institut, Februar 2026. https://doi.org/10.21241/ssoar.108066

Weitere Links

Zum Forschungsverbund EU Kids Online

Zur deutschen Website des Forschungsverbundes

Zur Projektwebseite am HBI

Bild:  KI-unterstützt erstellt von Kira Thiel

Wie lassen sich Verzerrungen in der digitalen Aufmerksamkeitsökonomie korrigieren, ohne die freie Meinungsäußerung einzuschränken? Dieser englischsprachige Blogbeitrag diskutiert, inwiefern neue Anreizstrukturen konstruktive Kommunikation auf digitalen Plattformen sichtbarer machen können und welche Rolle der Digital Services Act als Rahmen für solche Interventionen spielen kann.

von Tobias Mast, Jan Rau and Jan-Ole Harfst

Digital platforms have become essential infrastructures of contemporary public communication. Their algorithmic systems determine which actors and messages gain visibility and shape the conditions of democratic discourse.

However, due to incentives within the digital attention economy and the maximization of engagement, current platform architectures often favor content that is conflict-oriented, emotionally polarizing, or misleading. As a result, communication that aligns with democratic norms – such as accuracy, reciprocity, respect, and a problem-solving orientation – faces an uphill battle to achieve comparable levels of salience.

The Digital Services Act (DSA) introduces a risk-based governance framework that requires very large online platforms (VLOPs) to identify and mitigate systemic risks to civic discourse (Art. 34, 35 DSA). While discussions often focus on restrictive measures such as content removal or account sanctions, the DSA also explicitly allows platforms to adapt recommender systems and interface design as mitigation strategies.

A promising approach in this direction is the introduction of platform badges for civic communication. Badges represent a governance-by-design mechanism that creates positive incentives for communicators who commit to democratic communication norms. Rather than restricting content, platforms can support a more balanced distribution of attention by selectively amplifying norm-compliant communication.

The Basic Concept

Civic communication badges would be voluntary, user-facing, and visibility-relevant. Users opting in would commit to defined duties of care, for example:

• avoiding the intentional or negligent dissemination of disinformation and misinformation,
• adopting deliberative communication standards such as rationality, reciprocity, respect, and constructiveness.

These commitments are modest but meaningful. They reflect established norms in existing media self-regulation regimes (e.g., the German Press Code) and are adaptable to different platform environments.

In exchange, the platform integrates the badge as a ranking signal: users with badges receive increased visibility in feeds, recommendations, or replies. Visibility advantages remain proportionate and must not override all other ranking criteria.

Illustration: A governance-by-design mechanism to shape the attention distribution logic on digital media platforms and increase the salience of civic communication

Why Visibility Matters

Visibility is a central resource in digital communication. Current platform architectures often prioritize content that maximizes engagement regardless of communicative quality. This leads to:

• disproportionate reach for disinformation;
• high amplification of antagonistic and negatively emotion-charged content;
• a fundamental disadvantage for communicators who aim for accuracy or deliberation.

The badge mechanism aims to partially offset this structural distortion by establishing an alternative logic of attention grounded in civic norms. Rather than countering harmful communication solely through deletion or demotion, platforms create a parallel approach that actively supports constructive content.

This does not eliminate political conflict – a normal and necessary aspect of democratic life – but helps prevent its escalation into persistent antagonism and hyperpolarization. Constructive communicators gain greater access to attention, whereas polarization-dependent strategies lose some of their algorithmic advantage.

Acquisition, Compliance, and Enforcement

To obtain a badge, users complete a brief onboarding process that explains the underlying norms. This may include short explanations, examples, and consequences of non-compliance. Access criteria (e.g., minimum account age or verification procedures) can reduce abuse from spam or coordinated manipulation.

Compliance with the duties of care can be assessed by building on and extending existing moderation processes. Platforms already rely on combinations of automated detection, human review, and user reports; these systems can be expanded to evaluate badge compliance. Assessments should be based on a user’s overall communication rather than individual posts to minimize false positives and reduce overenforcement.

Violations would result in a tiered response: warnings, temporary suspension of badge status, or, in severe or repeated cases, loss of the badge. All outcomes would fall under the DSA’s complaint and review mechanisms, ensuring procedural safeguards.

A Non-Repressive Intervention for a Distorted Attention Landscape

The badge mechanism does not seek to eliminate problematic communication, nor does it impose censorship-like restrictions on individual users or content. Instead, it introduces a corrective to the structural imbalance that currently favors antagonistic, sensational, or misleading communication. It offers an opportunity space for communicators who align with civic norms and introduces incentives for others to adopt similar standards.

In a digital environment where platforms’ architectures deeply shape public discourse, inaction would implicitly preserve the current distortive dynamics. Civic communication badges offer a moderate, structurally oriented intervention that strengthens democratic resilience by rebalancing visibility – not by restricting speech, but by rewarding communicators who support a functional digital public sphere.

A Risk Mitigation Measure Consistent with Fundamental Rights

The badge system proposed here can be understood as a risk mitigation measure under Articles 34 and 35 DSA, because it addresses the changes outlined there regarding algorithm design and moderation practices and counteracts the systemic risks mentioned: negative impacts on civic discussion, elections, public safety, and fundamental rights. However, as a risk mitigation measure, it must also adhere to fundamental rights considerations.

Unlike public authorities, platforms are not directly bound by fundamental rights. Nonetheless, Art. 35(1) DSA requires them to consider fundamental rights when implementing risk mitigation strategies. Therefore, the design must limit self-censorship or unfair effects while encouraging democratic communication. At the same time, platforms have their own rights (e.g., the freedom to operate a business), which generally give them more regulatory flexibility than public entities – supporting, from a legal perspective, the use of a badge as a way to handle “awful but lawful” content.

Four factors are especially important from a fundamental rights perspective:

1. User autonomy: It is essential that users can make an informed choice, free from pressure, about whether they want the badge. The more de facto coercion – such as significant disadvantages or social pressure – the weaker the legitimacy of the user’s decision, because the opt-in is not truly voluntary.
2. Neutrality toward opinions: It becomes especially problematic if badges are linked to specific views. Conversely, the level of fundamental rights protection is significantly weaker for clearly false statements of fact, particularly regarding affected third-party rights. Generally, it is better to focus on style and tone (e.g., aggressive, demeaning) rather than on content or positions.
3. Equality of communicative opportunities: A visibility boost creates inequality between users with and without a badge. However, the badge is, in principle, accessible to everyone. It can also be argued that the badge compensates for existing algorithmic disadvantages affecting calmer and more factual (i.e., supposedly more “boring”) content.
4. Proportionality: The badge is designed as a soft intervention because users can choose. At the same time, there is a trade-off: more autonomy (easy switching, quick reinstatement) may be less effective; greater strictness may be more effective but interfere more strongly with freedom rights. These tensions are typical of fundamental rights balancing.

This blogpost is based on the peer reviewed journal article Rau, J., Harfst, J.-O., & Mast, T. (2025). Platform Badges for Civic Communication: An Interdisciplinary Discussion of a Risk Mitigation Measure Pursuant to Art. 35 DSA. Internet Policy Review, 14(4). https://doi.org/10.14763/2025.4.2054

It was partially funded by the German Federal Ministry of Education and Research (BMBF) under grant number 01UG2450IY („RISC – Hamburg“) and by the Mercator Foundation („DSA Research Network“).