Давайте вернемся на 5 лет назад и посмотрим, как это было:
В данном прототипе было реализовано все, что требовалось, но при превышении размера таблицы в 400кк строк у нас возникли серьезные проблемы, так как мы не использовали транзакции с групповой вставкой, а также использовали InnoDB. Мы пытались собрать деньги, которые бы пошли на сервер, но данная идея к сожалению, провалилась, вспомнить этот провал можно тут:
4 ноября 2020 я выпустил
Что же сейчас у нас есть и как будут обстоять дела: разработка нового ПО шла параллельно локальному АП в 20 году, но из-за катастрофической нехватки времени проект был заморожен. Проект задумывался как приватная версия локального АП, но сейчас я понимаю, что нам нужна не только локальная версия, но и онлайн. Сейчас у нас следующая картина: полностью разработан дизайн и логика классов. Остается только закодить классы и отладить (только для локальной версии), а также из-за того, что мы будем подключать еще и онлайн базу данных – придется изменить архитектуру и сделать ее более универсальной. Из-за этого, сейчас часть готовых классов придется просто снести, либо продублировать и дописать новые интерфейсы. С онлайн версией дела обстоят сложнее, так как придется разработать backend в виде tcp сокета, который позволит ускорить передачу данных между клиентом и сервером, а также выдержит большее кол-во соединений, чем nginx+php-fpm в привычном виде.
Ознакомится с дизайном можно ниже:
По интерфейсу уже понятно, какой будет функционал, но о нем я все же напишу ниже:
1. Восстановление базы данных: при загрузке списка email адресов вы можете восстановить возможные комбинации паролей, если таковы будут иметься в базе данных. Очень полезная функция, когда люди восстанавливали персональные данные Навольнят.
2. Задачи: это очень сложная часть кода, так как в этой области нужно все сделать таким образом, чтобы последующее обновление включало не только поочередную проверку баз данных, но и можно было выбирать кол-во баз данных для одновременной проверки. Тут потребуется время и сбор статистики от пользователей.
3. Онлайн синхронизация базы данных: да, я предоставлю возможность доступа к нашей базе данных, но эта функция будет платной, так как многие ушлые люди будут просто воровать данные и использовать их для конкуренции.
4. Онлайн проверка базы перед стартом: очень часто базу данных уже проверили до вас какие-то люди. Я буду собирать результаты проверки, а по этим результатам уже будет проходить парсинг вашей базы данных в соответствии с исходным документом. Я не буду собирать дополнительно данные об исходной базе данных (email, password), так как это займет много места на сервере и не рационально данное хранение.
5. Онлайн проверка без подписки: к сожалению, бесплатно можно сделать только обменяв ваши данные на проверку. Каждый человек, который будет отправлять данные на сервер - генерирует нагрузку, за эту нагрузку нужно будет заплатить одним из способов: первый - подписка за деньги; второй - проверка за добавление в базу.
6. Подписки: планируется сделать 3 типа подписочной модели, а именно:
Стоимости подписок: пока что неизвестно. При запуске мы всем дадим возможность использования подписки Professional для оценки нагрузки и исправления ошибок.
Лицензия: программа будет предоставляться "as is", т.е. "как есть". Возможны проблемы с производительностью только из-за ваших дисков.
Авторизация: будет доступна через форум позже, как будут запускаться online сервисы.
Поддержка проекта:
Если вы желаете одними из первых получить доступ и войти в группу тестирования ПО, то вы можете приобрести его переведя любую сумму денег на один из следующих реквизитов:
BTC: bc1q752lnzh9gxjfdn0uddjpn82rgnkftmrlr3utrw
ETH: 0x696DD6C14E54C2CE18E7B0b0d4254FcCc22480C4
XLM: GCIIW7ZMDZTLIT5QL6LBKHPQ3QBEANKQJB4TASWTH6OAQTMWZG665V2W (в memo можете вписать свой никнейм от форума)
LTC: GCIIW7ZMDZTLIT5QL6LBKHPQ3QBEANKQJB4TASWTH6OAQTMWZG665V2W
Собранные средства пойдут исключительно на сервер.
Предложения
Я принимаю предложения по данному ПО в этой теме, а также буду информировать вас о продвижении разработки. Можете подписаться на данную тему, чтобы получать уведомления на почту и алерты на форуме. Жду с нетерпением ваших комментариев!
Пожалуйста,
Вход
или
Регистрация
для просмотра содержимого URL-адресов!
В данном прототипе было реализовано все, что требовалось, но при превышении размера таблицы в 400кк строк у нас возникли серьезные проблемы, так как мы не использовали транзакции с групповой вставкой, а также использовали InnoDB. Мы пытались собрать деньги, которые бы пошли на сервер, но данная идея к сожалению, провалилась, вспомнить этот провал можно тут:
Пожалуйста,
Вход
или
Регистрация
для просмотра содержимого URL-адресов!
4 ноября 2020 я выпустил
Пожалуйста,
Вход
или
Регистрация
для просмотра содержимого URL-адресов!
, в которой была перекомпилирована библиотека SQLite для включения многопоточного режима работы, но это привело только к деградации в производительности, так как при вставке база данных блокируется полностью, а также блокируется и поиск по ней. Из-за этого было решено оставить 1 поток для работы с базой данных. В данном продукте полностью отсутствуют метрики, поэтому статистики по использованию у меня нет. Последнее обновление было 7 ноября 2020 года, а исходные коды я опубликовал спустя почти год. Вы их можете увидеть тут: Пожалуйста,
Вход
или
Регистрация
для просмотра содержимого URL-адресов!
Что же сейчас у нас есть и как будут обстоять дела: разработка нового ПО шла параллельно локальному АП в 20 году, но из-за катастрофической нехватки времени проект был заморожен. Проект задумывался как приватная версия локального АП, но сейчас я понимаю, что нам нужна не только локальная версия, но и онлайн. Сейчас у нас следующая картина: полностью разработан дизайн и логика классов. Остается только закодить классы и отладить (только для локальной версии), а также из-за того, что мы будем подключать еще и онлайн базу данных – придется изменить архитектуру и сделать ее более универсальной. Из-за этого, сейчас часть готовых классов придется просто снести, либо продублировать и дописать новые интерфейсы. С онлайн версией дела обстоят сложнее, так как придется разработать backend в виде tcp сокета, который позволит ускорить передачу данных между клиентом и сервером, а также выдержит большее кол-во соединений, чем nginx+php-fpm в привычном виде.
Ознакомится с дизайном можно ниже:
По интерфейсу уже понятно, какой будет функционал, но о нем я все же напишу ниже:
1. Восстановление базы данных: при загрузке списка email адресов вы можете восстановить возможные комбинации паролей, если таковы будут иметься в базе данных. Очень полезная функция, когда люди восстанавливали персональные данные Навольнят.
2. Задачи: это очень сложная часть кода, так как в этой области нужно все сделать таким образом, чтобы последующее обновление включало не только поочередную проверку баз данных, но и можно было выбирать кол-во баз данных для одновременной проверки. Тут потребуется время и сбор статистики от пользователей.
3. Онлайн синхронизация базы данных: да, я предоставлю возможность доступа к нашей базе данных, но эта функция будет платной, так как многие ушлые люди будут просто воровать данные и использовать их для конкуренции.
4. Онлайн проверка базы перед стартом: очень часто базу данных уже проверили до вас какие-то люди. Я буду собирать результаты проверки, а по этим результатам уже будет проходить парсинг вашей базы данных в соответствии с исходным документом. Я не буду собирать дополнительно данные об исходной базе данных (email, password), так как это займет много места на сервере и не рационально данное хранение.
5. Онлайн проверка без подписки: к сожалению, бесплатно можно сделать только обменяв ваши данные на проверку. Каждый человек, который будет отправлять данные на сервер - генерирует нагрузку, за эту нагрузку нужно будет заплатить одним из способов: первый - подписка за деньги; второй - проверка за добавление в базу.
6. Подписки: планируется сделать 3 типа подписочной модели, а именно:
- Free - полностью бесплатная подписка, есть возможность онлайн проверки и локальной. Онлайн проверка только с добавлением в общую базу. Восстановление базы данных через онлайн сервис не доступна, доступно только через локальную базу данных. Доступна онлайн синхронизация на основе предыдущих проверок.
- Professional - платная подписка. Есть возможность проверки онлайн без добавления в общую базу данных. Доступна ф-ция восстановления базы данных через онлайн сервис.
- Premium - платная подписка. Ее самое главное отличие от первой платной - возможность синхронизировать онлайн базу с локальной, т.е. полностью выкачать ее и использовать в своих целях.
Стоимости подписок: пока что неизвестно. При запуске мы всем дадим возможность использования подписки Professional для оценки нагрузки и исправления ошибок.
Лицензия: программа будет предоставляться "as is", т.е. "как есть". Возможны проблемы с производительностью только из-за ваших дисков.
Авторизация: будет доступна через форум позже, как будут запускаться online сервисы.
Поддержка проекта:
Если вы желаете одними из первых получить доступ и войти в группу тестирования ПО, то вы можете приобрести его переведя любую сумму денег на один из следующих реквизитов:
BTC: bc1q752lnzh9gxjfdn0uddjpn82rgnkftmrlr3utrw
ETH: 0x696DD6C14E54C2CE18E7B0b0d4254FcCc22480C4
XLM: GCIIW7ZMDZTLIT5QL6LBKHPQ3QBEANKQJB4TASWTH6OAQTMWZG665V2W (в memo можете вписать свой никнейм от форума)
LTC: GCIIW7ZMDZTLIT5QL6LBKHPQ3QBEANKQJB4TASWTH6OAQTMWZG665V2W
Собранные средства пойдут исключительно на сервер.
Предложения
Я принимаю предложения по данному ПО в этой теме, а также буду информировать вас о продвижении разработки. Можете подписаться на данную тему, чтобы получать уведомления на почту и алерты на форуме. Жду с нетерпением ваших комментариев!