lor.sh is one of the many independent Mastodon servers you can use to participate in the fediverse.
lor.sh is yet another mastodon instance.

Administered by:

Server stats:

374
active users

Kolibri

YaCy - Wikiwand
wikiwand.com/ru/articles/YaCy

**YaCy** — децентрализованный поисковый движок с открытым кодом, обеспечивающий приватность и независимость. Он может быть развернут в различных режимах для достижения оптимальной производительности и конфиденциальности.

YaCy — это свободно распространяемая децентрализованная поисковая система, работающая на основе одноранговой сети (P2P). Она была основана Михаэлем Кристеном в 2003 году и поддерживается фондом свободного программного обеспечения (FSFE). YaCy доступна для Windows, Linux и MacOSX. Основной модуль написан на Java и поддерживает тысячи компьютеров участников, которые независимо индексируют интернет-страницы, создавая общую базу данных. Сеть YaCy децентрализована, все узлы эквивалентны, и отсутствует центральный сервер.

Программа работает как поисковый робот или локальный прокси-сервер, индексируя доступные страницы. Доступ к функциям поиска осуществляется через локально запущенный веб-сервер. Для обеспечения быстроты поиска используются распределённые хеш-таблицы (DHT). Протокол YaCy включает текстовые сервлеты и взаимодействие между узлами происходит через GET-параметры.

На начальной загрузке узел устанавливает контакт с другими узлами через специальные списки, что позволяет интегрировать сеть YaCy и обеспечивать доступность результатов.

### Пять способов развернуть собственный поисковик:
1. **Full Node** — максимальная независимость с локальным индексом.
2. **Private Peer** — защищенная корпоративная сеть.
3. **Hybrid Mode** — подключение к другим узлам по необходимости.
4. **Split Index** — для облегченного доступа к большим объемам данных.
5. **Clustering** — масштабирование индекса с повышением надежности.

### Стратегии для повышения анонимности:
1. Использование **VPN** или **Tor**.
2. Режим изоляции узла.
3. Настройка прокси-сервера.
4. Ограничение логов.
5. Шифрование трафика.

### Интеграция с сетью **Иггдрасиль**:
1. Децентрализация — обмен данными без централизованного управления.
2. Анонимность — защита личной информации.
3. Доступ к контенту — индексация ресурсов, недоступных традиционными системами.
4. Обмен данными — улучшение качества поисковых результатов.

matrix.to/#/!HdSCQbJtfHHCalgem

Ось 5 способів розгорнути власний пошуковик для серйозного використання:

1. **YaCy** — децентралізована peer-to-peer система з відкритим кодом, яка забезпечує приватність та незалежність.
2. **Elasticsearch** — потужний інструмент для великих масивів даних, часто використовуваний для корпоративного пошуку.
3. **Apache Solr** — платформа для масштабованого пошуку та аналітики з високою продуктивністю.
4. **Searx** — метапошуковик, що дозволяє користувачам отримувати результати з багатьох пошукових систем.
5. **Whoogle** — локальна альтернатива Google з конфіденційністю і простим інтерфейсом.

Ці рішення підходять для побудови незалежного пошуку з акцентом на конфіденційність і налаштування під власні потреби.

Ось 5 варіантів для тих, хто не терпить компромісів у розгортанні пошукової системи за допомогою YaCy:

1. **Режим повного вузла (Full Node)** — забезпечує найбільшу незалежність, зберігає локальну копію індексу.

2. **Приватна мережа (Private Peer)** — ідеально для захищених корпоративних пошуків, створюючи локальну, захищену мережу.

3. **Гібридний режим** — дозволяє підключатися до інших вузлів лише в разі потреби, зберігаючи приватність.

4. **Пошук із окремими індексами (Split Index)** — розділяє бази даних для полегшення доступу до великих обсягів інформації.

5. **Кластеризація** — для масштабування індексу з розподілом навантаження, що підвищує надійність і швидкість роботи

Щоб додати більше анонімності та приватності при використанні YaCy, ось п’ять стратегій:

1. **Використання VPN або Tor** — маршрутизуйте трафік через VPN або Tor, щоб приховати своє місцезнаходження і уникнути відстеження.

2. **Режим ізоляції вузла** — уникайте підключення до публічних мереж YaCy, працюючи лише на локальному індексі.

3. **Налаштування проксі-сервера** — для обфускації реальних IP-адрес та додаткового шару захисту.

4. **Обмеження логів** — вимкніть або мінімізуйте журнали, щоб запобігти збереженню даних пошуку.

5. **Шифрування трафіку** — використовуйте HTTPS або додатковий шар SSL на своєму сервері для захисту від перехоплення.

Такі налаштування дозволяють розгортати власний пошуковик без шкоди приватності.

Щоб забезпечити приватність і надійність у даркнеті та меш-мережах із YaCy, ось кілька варіантів:

1. **Даркнет через Tor** — запускайте YaCy через Tor, щоб інтегруватися з даркнет-мережею, анонімізуючи джерело запитів.
2. **Меш-сети** — використовуйте YaCy на локальних меш-сетях, таких як cjdns або Hyperboria, для створення безпечного децентралізованого пошуку.
3. **I2P** — інтеграція через Invisible Internet Project дозволяє захистити пошук у глибокій мережі.
4. **Зашифровані точки доступу** — зв’яжіть вузли через VPN-меш-сети для посиленого захисту.
5. **Управління індексом на власному сервері** — зберігайте індекси на локальному або приватному сервері для захисту від зовнішніх втручань.

Такі варіанти підходять для незалежного, безпечного пошуку, що працює в даркнеті чи меш-сетях.

Ось п’ять варіантів апаратної архітектури для розгортання власного пошукового сервера:

1. **Мікроархітектура ARM** — для економічного і низькоенергетичного пошуку, особливо корисно для невеликих мереж.
2. **x86 з підтримкою багатоядерності** — оптимальний для продуктивних обчислень і середніх індексів.
3. **Кластер на GPU** — для обробки великих обсягів даних та аналітики з використанням нейромереж.
4. **Кластер серверів з високою доступністю** — з резервуванням і розподілом навантаження для безперервного пошуку.
5. **Мережа Raspberry Pi** — для економного децентралізованого індексування в умовах низького бюджету.

Ці варіанти дозволяють налаштувати систему під ваші потреби й масштаб.

Для пошукових систем кластер на GPU особливо корисний у випадках, коли потрібна обробка великих обсягів даних або висока продуктивність. Використання GPU дозволяє значно прискорити процеси індексування та аналізу завдяки паралельній обробці даних, особливо в сценаріях із нейромережами та машинним навчанням. Кластер на основі GPU може виконувати задачі на порядок швидше, ніж традиційні процесори, і часто використовується в системах з великим навантаженням, де важлива продуктивність у реальному часі.

Використання GPU-кластерів у пошукових системах — це реальна практика, яку активно впроваджують у високопродуктивних середовищах, наприклад, для обробки великих даних і машинного навчання. Зокрема, у великих компаніях, які працюють з масивними обсягами даних, GPU-кластери застосовують для швидкого аналізу текстів, класифікації та ранжування пошукових запитів. Ця архітектура використовується на практиці для задач, що вимагають високої обчислювальної потужності, особливо в реальному часі.

YaCy может быть интегрирован с сетью Иггдрасиль, обеспечивая децентрализованный и анонимный способ поиска информации. Вот несколько ключевых моментов о взаимодействии:

1. **Децентрализованность**: Иггдрасиль — это децентрализованная сеть, которая позволяет пользователям подключаться и обмениваться данными без централизованного управления. YaCy, как децентрализованный поисковик, может использовать эту сеть для индексирования и поиска контента.

2. **Анонимность**: Используя Иггдрасиль, пользователи могут сохранить свою анонимность, что дополнительно увеличивает конфиденциальность поисковых запросов, выполненных через YaCy.

3. **Доступ к контенту**: YaCy может индексировать сайты и ресурсы, доступные в сети Иггдрасиль, позволяя пользователям находить информацию, которая может быть недоступна в традиционных поисковых системах.

4. **Обмен данными**: Поскольку обе системы децентрализованы, пользователи могут обмениваться данными и ресурсами, улучшая качество поисковых результатов и доступ к информации.

Если вас интересует больше деталей о том, как это может быть реализовано или какие преимущества это предоставляет, дайте знать!

Да, вокруг YaCy существуют некоторые споры и дискуссии. Основные вопросы касаются его децентрализованной природы, конфиденциальности пользователей и производительности по сравнению с традиционными централизованными поисковыми системами.

1. **Децентрализация и конфиденциальность**: YaCy — это децентрализованная поисковая система, что означает, что пользователи могут совместно работать над индексацией веб-контента. Это привлекает сторонников конфиденциальности, которые предпочитают избегать централизованных систем, которые могут собирать и анализировать данные о пользователях. Однако некоторые критикуют децентрализованные модели за возможные проблемы с контролем качества и чистотой результатов поиска.

2. **Эффективность и качество поиска**: Некоторые пользователи отмечают, что результаты поиска в YaCy могут быть менее релевантными по сравнению с крупными поисковыми системами, такими как Google или Bing, из-за менее развитых алгоритмов ранжирования и меньше объема данных.

3. **Технические сложности**: YaCy требует определенных технических навыков для установки и настройки, что может быть барьером для некоторых пользователей.

Эти аспекты могут вызывать разногласия среди пользователей и экспертов в области технологий, что способствует активным обсуждениям вокруг YaCy.

YaCy — это свободно распространяемая децентрализованная поисковая система, работающая на основе одноранговой сети (P2P). Она была основана Михаэлем Кристеном в 2003 году и поддерживается фондом свободного программного обеспечения (FSFE). YaCy доступна для Windows, Linux и MacOSX. Основной модуль написан на Java и поддерживает тысячи компьютеров участников, которые независимо индексируют интернет-страницы, создавая общую базу данных. Сеть YaCy децентрализована, все узлы эквивалентны, и отсутствует центральный сервер.

Программа работает как поисковый робот или локальный прокси-сервер, индексируя доступные страницы. Доступ к функциям поиска осуществляется через локально запущенный веб-сервер. Для обеспечения быстроты поиска используются распределённые хеш-таблицы (DHT). Протокол YaCy включает текстовые сервлеты и взаимодействие между узлами происходит через GET-параметры.

На начальной загрузке узел устанавливает контакт с другими узлами через специальные списки, что позволяет интегрировать сеть YaCy и обеспечивать доступность результатов.










@kolibri Написано на Java. Какой ужас! Системные требования и расходование ресурсов явно не обрадуют. Остаётся надеяться, что найдётся программист, который перепишет это на C или C++; тогда можно будет посмотреть.

P.S. Версии текста на разных языках лучше делать отдельными сообщениями.

@gamliel Это сырец, для понять самому себе. Спасибо за интерес. Ваше мнение совпадает с моим.
ЗЫ: это проблема многих достойнейших разработок. Увы.

@gamliel Как говорил Буратино, если Некто освоит С...

@gamliel не очень пока напрягает, а вот индекс, скорее всего, будет рости до бесконечности (если пириться).

@kolibri Бесконечный рост индекса — проблема. Решением могла бы быть кластеризация индекса, то есть его разделение на части, хранящиеся в разных местах. Без кластеризации имеет смысл #индексация далеко не любого контента: только одного сайта (группы сайтов); или только в одной скрытосети (например, #I2P или #Yggdrasil); или контента только на одном языке с небольшим количеством носителей; или только сайтов, зарегистрированных в каталоге.

И всё же хорошо бы, чтобы #YaCy был переписан на C/C++.

@gamliel да, уже заметил... нет бесконечных ресурсов и бесплатных решений.

@gamliel спасение утопающих — дело рук...