Bei den Google Produkten ist der Deal hinlänglich bekannt. Man bekommt all die tollen Dienste kostenfrei zur Verfügung gestellt, beispielsweise Suchmaschine, Email-Account, Blog, Kartenservice etc. und im Gegenzug sieht man etwas Werbung und gibt vor allem gewisse Daten von sich preis. Diese Daten kann dann Google wieder nutzen, um möglichst viel Geld durch möglichst effektive Werbung zu generieren. So werden beispielsweise die Emails, welche man über Gmail empfängt, analysiert und dem User wird dann die passende Werbung dazu angezeigt. Geht es in den empfangenen Emails um Tintenpatronen, erscheint dann zum Beispiel Werbung für einen Tintenpatronen Onlineshop etc.
Durch die ganze PRISM Geschichte ist der Datenschutz nun wieder - wie ein Zahnarzt - in aller Munde. Aber ist der durchschnittliche Internet-User bereit, für Datenschutz Geld auszugeben, wenn er den gleichen Service von Google auch kostenfrei erhält? Ich denke, diese Frage kann man ziemlich klar mit nein beantworten. Die meisten finden auch, sooo grosse Geheimnisse schicken sie nun ja auch wieder nicht per Email herum oder verraten derartiges durch ihre Suchmaschinen-Eingaben.
Nichts desto trotz gab es einige Versuche, von denen ich heute an Accon.de erinnern möchte. Eine Suchmaschine, die besonderen Wert auf Datenschutz legte. Sie speicherte keine ip-Adressen, legte keine Cookies an, schütze die Privatsphäre und es gab keine Profilbildungen der User. Der Server stand in Deutschland und hatte eine eigene Suchsoftware sowie einen eigenen Suchindex, unabhängig von den USA. Obendrauf war alles auch noch Open-Source. Finanzieren wollte sich die Suchmaschine durch Spendengelder ihrer User (siehe Screenshot).
Für den Betrieb brauchte Acoon laut Homepage etwa 1'000 Euro pro Tag. Gespendet haben die User vom 18.06.2013 bis zum 03.08.2013 genau 145 Euro - verteilt auf vier Spender... Tja, nicht gerade sehr viel zusammen gekommen und am 03.08.2013 machte Acoon dann schliesslich dicht - jedoch nicht ohne dass sich Gründer Michael Schöbel noch mal zu Wort meldete, was wir euch hier nicht vorenthalten wollen:
Acoon - Ende nach 14 Jahren Betrieb
Acoon ging am 24.6.1999 online. Und am 3.8.2013 endete der Betrieb. Warum?
Kurz gesagt: Weil Ihr mich alle mal am Arsch lecken könnt!!!
Ja, Ihr habt richtig gelesen!
Ich hatte Euch hier eine werbefreie Suchmaschine zur Verfügung gestellt, die keine Cookies anlegt, keine Profile von Euch bildet, keine IP-Adressen speichert, und deren Sourcecode zudem auch noch von mir als Open-Source zur Verfügung gestellt wurde. Mit anderen Worten: Ich habe genau das gemacht wonach die Netzgemeinde angeblich so lechzt. All das, was als richtig und gut angesehen wird.
Weil das alles natürlich trotzdem irgendwie finanziert werden muss, habe ich um Spenden gebeten. Für den Betrieb (Server, Internet-Anbindung, etc.) und damit ich weiter meine Miete zahlen und mir was zu essen kaufen kann, wären 1.000 Euro/Tag nötig gewesen. Viel Geld, ja, aber der überwiegende Teil davon wäre natürlich nicht in meine Tasche gewandert, sondern für die ganze Technik drauf gegangen.
Der Spendenaufruf lief vom 18.6.2013 bis zum 3.8.2013, also etwas mehr als 6 Wochen lang. Während dieser Zeit hat Acoon circa 4 Millionen Suchabfragen beantwortet. Und was glaubt Ihr wie viele Leute in der Zeit gespendet haben? Und wie viel? Antwort: Gerade mal 4 Personen (genau genommen 3 Personen und eine Firma), haben insgesamt 145 Euro gespendet. Viel, VIEL zu wenig um Acoon weiter betreiben zu können.
An dieser Stelle mein aufrichtiger Dank an die, die gespendet haben. Herzlichen Dank an JH, KB, RV und MR !!
Besonders enttäuscht bin ich auch von den grossen (Computer-) Nachrichtenseiten im Internet. Man sollte meinen, dass eine werbefreie, datenschutzfreundliche, als Open-Source verfügbare Suchmaschine aus Deutschland, Nachrichtenseiten wie Heise oder Golem eine Meldung wert gewesen wäre. Aber trotz mehrerer Pressemitteilungen und auch direkter Emails war man dort offenbar anderer Meinung und hat Acoon einfach tot geschwiegen.
Tja, offenbar ist in diesem Scheißland trotz Prism, XKeyscore, NSA, GCHQ und was weiss ich sonst noch alles, offenbar niemand wirklich an Datenschutz interessiert. Oder zumindest nicht bereit auch nur einen Euro dafür zu zahlen.
Ich weiss noch nicht, was mein nächstes Projekt sein wird. Ich weiss aber, was es nicht sein wird. Es wird NICHT Open-Source sein. Es wird entweder NICHT werbefrei oder NICHT kostenlos sein. Datenschutz und Eure Privatsphäre werden mich nur so weit interessieren, wie ich gesetzlich dazu gezwungen bin. Denn Ihr wollt es ja offenbar nicht anders.
Und deshalb könnt Ihr mich jetzt alle mal am Arsch lecken!!!
-- Michael Schöbel --
Nachzulesen auf www.acoon.de oder auch hier im Screenshot:
Schaffhausen.net wünscht Michael Schöbel alles Gute für die Zunkunft!
Durch die ganze PRISM Geschichte ist der Datenschutz nun wieder - wie ein Zahnarzt - in aller Munde. Aber ist der durchschnittliche Internet-User bereit, für Datenschutz Geld auszugeben, wenn er den gleichen Service von Google auch kostenfrei erhält? Ich denke, diese Frage kann man ziemlich klar mit nein beantworten. Die meisten finden auch, sooo grosse Geheimnisse schicken sie nun ja auch wieder nicht per Email herum oder verraten derartiges durch ihre Suchmaschinen-Eingaben.
Nichts desto trotz gab es einige Versuche, von denen ich heute an Accon.de erinnern möchte. Eine Suchmaschine, die besonderen Wert auf Datenschutz legte. Sie speicherte keine ip-Adressen, legte keine Cookies an, schütze die Privatsphäre und es gab keine Profilbildungen der User. Der Server stand in Deutschland und hatte eine eigene Suchsoftware sowie einen eigenen Suchindex, unabhängig von den USA. Obendrauf war alles auch noch Open-Source. Finanzieren wollte sich die Suchmaschine durch Spendengelder ihrer User (siehe Screenshot).
Für den Betrieb brauchte Acoon laut Homepage etwa 1'000 Euro pro Tag. Gespendet haben die User vom 18.06.2013 bis zum 03.08.2013 genau 145 Euro - verteilt auf vier Spender... Tja, nicht gerade sehr viel zusammen gekommen und am 03.08.2013 machte Acoon dann schliesslich dicht - jedoch nicht ohne dass sich Gründer Michael Schöbel noch mal zu Wort meldete, was wir euch hier nicht vorenthalten wollen:
Acoon - Ende nach 14 Jahren Betrieb
Acoon ging am 24.6.1999 online. Und am 3.8.2013 endete der Betrieb. Warum?
Kurz gesagt: Weil Ihr mich alle mal am Arsch lecken könnt!!!
Ja, Ihr habt richtig gelesen!
Ich hatte Euch hier eine werbefreie Suchmaschine zur Verfügung gestellt, die keine Cookies anlegt, keine Profile von Euch bildet, keine IP-Adressen speichert, und deren Sourcecode zudem auch noch von mir als Open-Source zur Verfügung gestellt wurde. Mit anderen Worten: Ich habe genau das gemacht wonach die Netzgemeinde angeblich so lechzt. All das, was als richtig und gut angesehen wird.
Weil das alles natürlich trotzdem irgendwie finanziert werden muss, habe ich um Spenden gebeten. Für den Betrieb (Server, Internet-Anbindung, etc.) und damit ich weiter meine Miete zahlen und mir was zu essen kaufen kann, wären 1.000 Euro/Tag nötig gewesen. Viel Geld, ja, aber der überwiegende Teil davon wäre natürlich nicht in meine Tasche gewandert, sondern für die ganze Technik drauf gegangen.
Der Spendenaufruf lief vom 18.6.2013 bis zum 3.8.2013, also etwas mehr als 6 Wochen lang. Während dieser Zeit hat Acoon circa 4 Millionen Suchabfragen beantwortet. Und was glaubt Ihr wie viele Leute in der Zeit gespendet haben? Und wie viel? Antwort: Gerade mal 4 Personen (genau genommen 3 Personen und eine Firma), haben insgesamt 145 Euro gespendet. Viel, VIEL zu wenig um Acoon weiter betreiben zu können.
An dieser Stelle mein aufrichtiger Dank an die, die gespendet haben. Herzlichen Dank an JH, KB, RV und MR !!
Besonders enttäuscht bin ich auch von den grossen (Computer-) Nachrichtenseiten im Internet. Man sollte meinen, dass eine werbefreie, datenschutzfreundliche, als Open-Source verfügbare Suchmaschine aus Deutschland, Nachrichtenseiten wie Heise oder Golem eine Meldung wert gewesen wäre. Aber trotz mehrerer Pressemitteilungen und auch direkter Emails war man dort offenbar anderer Meinung und hat Acoon einfach tot geschwiegen.
Tja, offenbar ist in diesem Scheißland trotz Prism, XKeyscore, NSA, GCHQ und was weiss ich sonst noch alles, offenbar niemand wirklich an Datenschutz interessiert. Oder zumindest nicht bereit auch nur einen Euro dafür zu zahlen.
Ich weiss noch nicht, was mein nächstes Projekt sein wird. Ich weiss aber, was es nicht sein wird. Es wird NICHT Open-Source sein. Es wird entweder NICHT werbefrei oder NICHT kostenlos sein. Datenschutz und Eure Privatsphäre werden mich nur so weit interessieren, wie ich gesetzlich dazu gezwungen bin. Denn Ihr wollt es ja offenbar nicht anders.
Und deshalb könnt Ihr mich jetzt alle mal am Arsch lecken!!!
-- Michael Schöbel --
Nachzulesen auf www.acoon.de oder auch hier im Screenshot:
Schaffhausen.net wünscht Michael Schöbel alles Gute für die Zunkunft!
3 Kommentare:
Wo er Recht hat, hat er Recht. Aber 1000€ pro Tag für den Betrieb? Naja.
Das hatte ich mich auch gefragt, vor allem, da Acoon ja vorher anscheinend über 14 Jahre mehr oder weniger ohne Spenden auskam.
Die Hardware dürfte nicht all zu teuer gewesen sein (siehe Ausführungen unten). Das Teure war vermutlich der massive Traffic - der wahrscheinlich durch die Prism Debatte nochmals ordentlich zugenommen hatte.
Die Page ist ja jetzt vom Netz, aber früher war dort noch ein Acoon Blog vorhanden, in dem folgendes stand:
In this article I want to give you an overview about what Acoon currently represents, where the limits are, and how it's done.
Current State
As of now the search-index of Acoon contains about 350 million web-pages. These contain a total of about 50-60 billion words, and there are 400-500 million different words on these pages.
A full search-index takes up about 400gb of space, but it takes about 15-20tb of incoming data to build this index.
Acoon runs on only 2 servers. One is the web- and mail-server, and also has the search-index, so all queries run on this server. The other server is responsible for crawling and building the search-index.
The crawler is a leased server, has a quad-core 3.2GHz CPU, 32gb RAM and four 2tb harddrives and has a 1gbit/s Internet connection. The crawler is able to handle incoming data at about 400mbit/s, which means a bit over 1,000 pages/s. It takes this machine about a week to build a new search-index.
The web-server is actually sitting right here in my home-office, has a quad-core 3.5GHz CPU, 32gb RAM and two 500gb SSDs. This server is connected to the Internet via a relatively cheap 128mbit/s Downstream, 10mbit/s Upstream connection.
Current Limits
Currently the web-server can handle up to about 5-10 queries/second. Having the index on SSDs instead of regular harddisks is an absolute necessity. Both the higher transfer-rate and the higher-number of random-reads per second that an SSD provides are needed.
The software has an internal limit of about 536 million web-pages (2^29 -128 to be exact). More than that would overflow some internal data-structures.
While these data-structures would be easy to fix, it wouldn't really help the situation. The queries are still done single-threaded and that causes them to simply take too long in some cases. In practice I have found that 300-350 million pages is the limit before queries take too long to be acceptable.
Another limit is the crawler/indexer, especially early during the crawl while it is still collecting new links. The need to check about 50,000 newly-found links per second, and adding them to the URL-database, is slowing down the crawl during its early stages.
The parser takes up a lot of CPU-time too and the parser's limit on this server is at about 1,500 pages/second.
How It Is Done
The entire software is written in Delphi which is a Pascal dialect. It is a surprisingly small piece of software with less than 15,000 lines of source-code.
But the software is highly optimized and tailor-made for its task. There is no big database-solution that powers this. No, it is all done explicitly in the software. This is the ONLY way to achieve this much with this little hardware.
At the beginning of a crawl the URL-database is seeded with about one million URLs as starting-points for the crawl. These are crawled, parsed for text and links, the links are added to the database, and then the crawl continues on until enough pages have been crawled. The resulting data is not yet searchable. That requires an indexing-step which takes about 8 hours for 350 million pages. It then takes another 10-12 hours to transfer the search-index to the web-server.
Guter Artikel mit sehr nützlichem Kommentar auch) Vielen Dank den Autoren!
Kommentar veröffentlichen