Emails kommen verspätet an (wegen "milter-greylist")

[Sebastian Schneider]

Hallo zusammen,

in letzter Zeit beobachte ich häufig, dass Emails mit erheblicher
Verzögerung in meinem mail.in.tum.de - Postfach landen. Manchmal sind es
Minuten, manchmal Stunden, in seltenen Fällen auch Tage!

In den Email Headern heißt es dann:
X-OriginalArrivalTime (gefolgt von der Zeit, zu der die eMail auch
abgeschickt wurde)
X-Greylist Delayed for 56:00:19 by milter-greylist-3.0
(maildmz5.informatik.tu-muenchen.de [195.37.61.187]); Thu, 15 Mar 2007
20:22:02 +0100 (CET)
(ein extrem-Beispiel, diese eMail hatte fast drei Tage "Verspätung"!!)

Das kann doch nicht sein, dass hier eMails *absichtlich* zurückgehalten
werden, oder wie muss ich das verstehen?!

In den Headern sofort zugestellter eMails taucht nämlich die Zeile auf:
X-Greylist IP, sender and recipient auto-whitelisted, not delayed by
milter-greylist-3.0 (maildmz5.informatik.tu-muenchen.de [80.121.152.8]);
Fri, 16 Mar 2007 14:15:40 +0100 (CET)

Also, es scheint ja wirklich der Fall zu sein, dass hier Emails
*tagelang* *absichtlich* aufgehalten werden, bis festgestellt wird, ob
es sich um Spam handelt oder nicht?!

Ich habe mich jetzt nur ganz kurz zu dem Thema informiert, aber das
klingt für mich nach einem reichlich besch**** Ansatz?!

Die verspäteten Emails waren selbstverständlich kein Spam!

Gruß
Sebastian

[Philipp Tölke]

Hallo,

Post by Sebastian Schneider
in letzter Zeit beobachte ich häufig, dass Emails mit erheblicher
Verzögerung in meinem mail.in.tum.de - Postfach landen. Manchmal sind es
Minuten, manchmal Stunden, in seltenen Fällen auch Tage!

Du weisst, wie das Greylisting-Verfahren funktioniert? Der empfangende
Mailserver sagt dem Sendenen soviel wie "Du, ich habe grade keine Zeit,
kannst du nachher nochmal vorbeischauen". Spam-Mailversender schauen
nämlich eben nicht nochmal vorbei ("Nigeria"-Spam ist da eine Ausnahme)
-- "richtige" Mailserver sehr wohl -- aber eben auch "nachher". Wann
"nachher" für einen Mailserver ist, hat der Administrator eingestellt.
Üblich ist so eine Stunde, aber auch fünf Minuten und mit jedem
Fehlgeschlagenen Versuch fünf Minuten mehr wäre denkbar. Oder eben eine
Woche...

Post by Sebastian Schneider
Das kann doch nicht sein, dass hier eMails *absichtlich* zurückgehalten
werden, oder wie muss ich das verstehen?!

Greylisting gilt zur Zeit als die effektivste Methode des
automatisierten Spamfilterns. Wenn Du meinst, dass eine Mail zu lange
gedauert hat, dann schreibe dem postmaster des Servers einen Schritt
zurück, dass er seinen Mailserver doch bitte besser konfigurieren
möchte.

Grüße & HTH,

[Tobias Reichl]

Hi,

Post by Sebastian Schneider
in letzter Zeit beobachte ich häufig, dass Emails mit erheblicher
Verzögerung in meinem mail.in.tum.de - Postfach landen. Manchmal
sind es Minuten, manchmal Stunden, in seltenen Fällen auch Tage!
[...]
Das kann doch nicht sein, dass hier eMails *absichtlich*
zurückgehalten werden, oder wie muss ich das verstehen?!

So ähnlich. Informationen zum Greylisting am LRZ findest du unter
[1], zu Greylisting allgemein unter [2].

1. http://www.lrz-muenchen.de/services/netzdienste/email/uebersicht-
email/#publish5.1.0.0.0.0
2. http://www.greylisting.org/

Post by Sebastian Schneider
Ich habe mich jetzt nur ganz kurz zu dem Thema informiert, aber
das klingt für mich nach einem reichlich besch**** Ansatz?!

Hast du bessere Vorschläge?
Greylisting ist sicher keine Dauerlösung, da Mailclients der Spammer
mittelfristig auch toleranter gegenüber Ablehnungen im SMTP-Dialog
werden dürften. Bis dahin ist es allerdings ein effizienter Weg,
das Spam-Aufkommen zumindest zu reduzieren.

Ciao

TCr

[Sebastian Schneider]

Tobias Reichl schrieb:
(...)

Post by Tobias Reichl
Hast du bessere Vorschläge?
Greylisting ist sicher keine Dauerlösung, da Mailclients der Spammer
mittelfristig auch toleranter gegenüber Ablehnungen im SMTP-Dialog
werden dürften. Bis dahin ist es allerdings ein effizienter Weg,
das Spam-Aufkommen zumindest zu reduzieren.

Ok, ich kann nachvollziehen, warum so verfahren wird, aber ein
wesentliches Merkmal von Emails, die sofortige Zustellung, wird hier
einfach ad absurdum geführt! In diesem Fall war es nicht dramatisch,
aber heutzutage werden ja auch eher kritische Dinge per Email
kommuniziert und der Absender rechnet damit, dass ich die Nachricht
sofort erhalte. Wenn ich tagelang nicht antworte, wird er _mich_ für
einen Schlamper halten! Und so manches Mal wurde mir auch eine Email
"live" geschickt, während ich den Absender am Telefon hatte, die dann
einfach erst nach einer halben Stunde ankam.

Oder extrem nervig: wenn die Aktivierungsmails für die Anmeldung
irgendwo in einem Forum o.ä. einfach erst Stunden später eintrudeln....

Die 56h verspätete Email kam übrigens von einem Mailserver des DLR, von
wo ich bereits früher Mails bekommen habe, die nicht blockiert wurden.

Naja, whatever. Ich persönlich hätte lieber ein paar SPAM-Nachrichten
mehr (denn so 2 bis 3 am Tag lassen sich offenbar durch die Greylist
ohnehin nicht verhindern) und dafür einen zuverlässigen Email-Account.
Die Bemühungen des LRZ / der RBG in allen Ehren, aber das schießt IHMO
einfach über das Ziel hinaus!

Aber gut, ich hab das nicht zu entscheiden und jetzt weiß ich immerhin
was Sache ist!

Gruß und Danke für die Antworten!
Sebastian

[Johannes Horak]

Hi,

Post by Sebastian Schneider
Naja, whatever. Ich persönlich hätte lieber ein paar SPAM-Nachrichten
mehr (denn so 2 bis 3 am Tag lassen sich offenbar durch die Greylist
ohnehin nicht verhindern) und dafür einen zuverlässigen Email-Account.
Die Bemühungen des LRZ / der RBG in allen Ehren, aber das schießt IHMO
einfach über das Ziel hinaus!

Ich hatte vor dem Graylisting mehr als 1500 Spams pro Woche. Seit dem es eingeführt wurde
ist das Spam Level wieder auf einem erträglichem maß ... für mich ist da die Zeitverzögerung
beim Erstkontakt mehr als akzeptabel.

cu
Johannes

[Daniel Weber]

Post by Sebastian Schneider
Ok, ich kann nachvollziehen, warum so verfahren wird, aber ein
wesentliches Merkmal von Emails, die sofortige Zustellung, wird hier
einfach ad absurdum geführt!

Sofortige Zustellung ist eben kein wesentliches Merkmal von E-Mail.
E-Mail ist *kein* Echtzeit-Medium (und war auch nie dazu gedacht).
Einzig die Tatsache dass es im Regelfall sehr zügig funktioniert bringt
viele Leute dazu, sofortige Zustellung zu erwarten.

Schönen Gruß,
Daniel

[Sebastian Schneider]

Post by Daniel Weber
Sofortige Zustellung ist eben kein wesentliches Merkmal von E-Mail.
E-Mail ist *kein* Echtzeit-Medium (und war auch nie dazu gedacht).
Einzig die Tatsache dass es im Regelfall sehr zügig funktioniert bringt
viele Leute dazu, sofortige Zustellung zu erwarten.

Email ist sicherlich kein (hartes) Echtzeitmedium und es ist keine
grundsätzliche *Eigenschaft* von Emails, dass sie sofort zugestellt
werden. Aber ein wesentliches (positives) Merkmal, das man zumindest
bisher bei Emails beobachten konnte, ist die sofortige Zustellung schon!
Ok, eine halbe Stunde Verspätung fällt meistens kaum auf (es sei denn,
man fordert z.B. ein Passwort an, weil man sich sofort irgendwo
einloggen muss und wartet dann 30 Minuten oder länger verzweifelt
darauf). Aber wenn es sich um Stunden oder gar Tage handelt sieht das
schon anders aus, das ist nicht akzeptabel.

Außerdem hatte ich vor dem Greylisting 10-20 SPAM-Nachrichten am Tag,
die nicht von Spam-Assassin markiert (und damit automatisch gelöscht)
wurden. Und davon hat dann der Thunderbird Junk-Filter 90% ausgefiltert.
Also so dramatisch hat sich das bei mir nicht dargestellt. (Wobei es
natürlich sein kann, dass die Mail-Server unter der Spam-Last trotzdem
ganz schön geschwitzt haben!)

Gruß
Sebastian

[Daniel Weber]

Aber ein wesentliches (positives) Merkmal, das man zumindest bisher
bei Emails beobachten konnte, ist die sofortige Zustellung schon!

Post by Daniel Weber
Einzig die Tatsache dass es im Regelfall sehr zügig funktioniert
bringt viele Leute dazu, sofortige Zustellung zu erwarten.

Aber wenn es sich um Stunden oder gar Tage handelt sieht das schon
anders aus, das ist nicht akzeptabel.

...und kann durch ein kürzeres Retry-Intervall des sendenden MTAs
korrigiert werden.

Außerdem hatte ich vor dem Greylisting 10-20 SPAM-Nachrichten am Tag,

Glückwunsch, nicht jeder wurde so in Ruhe gelassen.

Bye,
Daniel

[Georg Acher]

In article <***@msgid.c82.de>,
Tobias Reichl <***@c82.de> writes:

|> 1. http://www.lrz-muenchen.de/services/netzdienste/email/uebersicht-
|> email/#publish5.1.0.0.0.0

Wobei aber das Mailsystem der RBG völlig unabhängig vom LRZ läuft und damit nicht
die existierende, wesentlich grössere und wahrscheinlich auch besser gepflegte
Datenbank des LRZ nutzt. Insbesondere am Anfang (bei der völlig überraschenden
und nicht angekündigten Umstellung auf Greylisting) war so ziemlich alles spät
dran...

Bei einer Reihe von Mailhosts geht der Lernvorgang in der jetzigen Konfiguration
auch völlig daneben (zB. domainfactory/ispgateway.de), weil die ganze Mailcluster
haben und damit die Mails immer von verschiedenen IPs innerhalb des ISP-Subnets
kommen. Und bis da mal alle IPs durch sind, sind die gelernten schon wieder
rausgealtert. Das führt dazu, dass zB. meine Weiterleitung über domainfactory an
die Uni *IMMER* 26min Verzögerung hat.

[Sebastian Schneider]

Post by Georg Acher
Wobei aber das Mailsystem der RBG völlig unabhängig vom LRZ läuft und damit nicht
die existierende, wesentlich grössere und wahrscheinlich auch besser gepflegte
Datenbank des LRZ nutzt. Insbesondere am Anfang (bei der völlig überraschenden
und nicht angekündigten Umstellung auf Greylisting) war so ziemlich alles spät
dran...
Bei einer Reihe von Mailhosts geht der Lernvorgang in der jetzigen Konfiguration
auch völlig daneben (zB. domainfactory/ispgateway.de), weil die ganze Mailcluster
haben und damit die Mails immer von verschiedenen IPs innerhalb des ISP-Subnets
kommen. Und bis da mal alle IPs durch sind, sind die gelernten schon wieder
rausgealtert. Das führt dazu, dass zB. meine Weiterleitung über domainfactory an
die Uni *IMMER* 26min Verzögerung hat.

Kurioserweise wurde kürzlich selbst eine Email von ub.tum.de blockiert.
Ich bin wohl kaum der Erste, der eine Benachrichtigung von der
Uni-Bibliothek bekommt?!

Das Auto-Whitelisting hilft selbst bei den großen Anbietern nicht immer,
hin und wieder wurden sogar Emails von Freenet für immerhin 2 Stunden
blockiert. Auch eine Weiterleitung die ich eingerichtet habe, hatte
bisher immer Verspätung, da nur sehr selten Nachrichten darüber
reinkommen. Scheinbar wird die Whitelist immer mal wieder zurückgesetzt
oder verwirft alte Einträge.

Gruß
Sebastian

[Benjamin Gufler]

Post by Sebastian Schneider
Scheinbar wird die Whitelist immer mal wieder zurückgesetzt
oder verwirft alte Einträge.

Die Whitelist (= händisch gepflegte Liste zugelassener Absenderhosts)
sollte alte Einträge nicht verwerfen.
Die Greylist (= Liste, in die Hosts oder Host/Absender/Empfänger-Tripel
(oder Host/Absender oder Host/Empfänger) eingetragen werden) hingegen
sollte Einträge, die für einen gewissen Zeitraum nicht benötigt wurden,
wieder verwerfen. Ansonsten wären irgendwann[TM] ja alle Hosts bekannt
und das Greylisting damit sinnlos.

Benjamin

[Georg Acher]

In article <etljm5$grs$***@news.in.tum.de>,
Benjamin Gufler <***@cs.tum.edu> writes:
|> On 2007-03-19 09:44, Sebastian Schneider wrote:
|> > Scheinbar wird die Whitelist immer mal wieder zurückgesetzt
|> > oder verwirft alte Einträge.
|>
|> Die Whitelist (= händisch gepflegte Liste zugelassener Absenderhosts)
|> sollte alte Einträge nicht verwerfen.
|> Die Greylist (= Liste, in die Hosts oder Host/Absender/Empfänger-Tripel
|> (oder Host/Absender oder Host/Empfänger) eingetragen werden) hingegen
|> sollte Einträge, die für einen gewissen Zeitraum nicht benötigt wurden,
|> wieder verwerfen. Ansonsten wären irgendwann[TM] ja alle Hosts bekannt
|> und das Greylisting damit sinnlos.

Wieso? Es muss doch nur anhand der ID festgestellt werden, ob der Server die
zurückgewiesene Mail wieder schickt. Wenn er das ein paar mal tut, ist es wohl
kein Bot und er darf ohne Verzögerung zustellen. Meist kommt da ja auch
noch die Paarung Sender/Empfänger mit rein. Sicher sollten die Einträge
auch mal rausaltern, aber die jetzige Einstellung kommt mir arg vergesslich vor.

[Benjamin Gufler]

Post by Georg Acher
Wieso? Es muss doch nur anhand der ID festgestellt werden, ob der Server die
zurückgewiesene Mail wieder schickt. Wenn er das ein paar mal tut, ist es wohl
kein Bot und er darf ohne Verzögerung zustellen. Meist kommt da ja auch
noch die Paarung Sender/Empfänger mit rein. Sicher sollten die Einträge
auch mal rausaltern, aber die jetzige Einstellung kommt mir arg vergesslich vor.

Dass die derzeitige Expire-Einstellung gut gewählt ist, wollte ich nicht
behaupten. Nur, das es generell sinnvoll ist, Einträge, die für eine
bestimmte Zeit nicht benötigt wurden, wieder zu vergessen.

Benjamin

[Daniel Weber]

Post by Georg Acher
Wieso? Es muss doch nur anhand der ID festgestellt werden, ob der Server die
zurückgewiesene Mail wieder schickt.

Greylisting weist temporär ab, _bevor_ die E-Mail (und damit die
Message-ID) übermittelt wurde.

Außerdem: Würde man Greylisting nur nach der Message-ID entscheiden
lassen anstatt dem (Sender-IP,Envelope-From,Envelope-To)-Tupel, dann
würde _jede_ E-Mail verzögert werden, nicht nur die Erste aus einer
Konversationsfolge.

Bye,
Daniel