Сегодня завершился значительный этап в моей жизни. Я уволился из НИИ, в потором проработал более 18 лет. Пришёл студентом на практику, да так и остался. Как оказалось - надолго, но не навсегда. Всё-таки в программировании я кажусь себе более эффективным, чем в роли возродителя величия отечественной космической отрасли. Ковыряться во всё новых и новых инструментах разработки мне нравится больше. Возможно, когда-то я снова вернусь к космической тематике, но только в роли разработчика программ или архитектора систем. А пока что я незадолго до своего сороколетия "перезагружаю" свою карьеру. Буду нарабатывать себе опыт в своей любимой области - интеграция всего со всем, скращивать ужей с ежами, инь с янь, жабу с гадюкой (Java и Python?) и прочие весёлые танцы с бубном. Удивительно, но в open space мне задышалось легче, чем когда я грезил открытым космосом. Возможно, у меня даже на блог появится больше времени.

Но это не точно.

 

Если бы во вселенную мультфильма "Приручи дракона" завезли маркетологов, думаю, очень скоро там бы появились различные специализированные корма. В том числе для старых огнедышащих дракошиков. "Fireball control".

 

Ну вот и пришла популярность (сарказм)!

Даже странно, что это случилось только сейчас, спустя столько лет. Безымянные и не блещущие фантазией школьники накидали в предложку переводов на сайте Архива всякой лабуды. Я знал, что когда-нибудь это всё же придётся сделать (хотя очень, конечно, не хотелось): с сегодняшнего дня предложить перевод могут только те, кто привязал свои лайки к почте. Сделать это можно по ссылке тут.

Да, и кстати никаких паролей для этого запоминать и вводить не надо.

 

Поскольку сочувствующего проекту специалиста по machine learning пока найти не удалось, а идеи требуют реализации, продолжаю "пилить как умею". Сделал стрипам плашки "похожие стрипы" (пример). Конечно, таких связей между стрипами пока отслежено исчезающе мало. И добавлять их приходится руками, а не с помощью могучего нейронного интеллекта. Но: во-первых, это лучше, чем ничего. А во-вторых, продолжаю надеяться на деятельных энтузиастов (да, я оптимист).

Что касается реализации. Это чудовищно просто (и, подозреваю, с точки зрения "настоящих дата-сайентистов" абсолютно неправильно): в базе создана отдельная табличка, в которой каждая строка - это перечисленные через пробел номера группы похожих друг на друга стрипов. Решение простое, как топор, и такое же изящное, но уж что есть.

В лучшем из миров у Архива есть шарящий в машинном обучении товарищ, который натренирует специальную нейросеть проставлять некое поле тегов стрипам. А по этому полю тегов можно будет судить о похожести стрипов. Но в нашем мире такого товарища пока не нашлось, продолжаю искать.

 

Попрошу минуточку внимания у тех, кто ещё тут меня читает. Нетрудно заметить, что в блоге внезапно появляются записи за старые даты. Записи, которых никогда тут не было. Я бы мог пошутить в карантинном стиле - что это Интернет так очистился, что проступают ненаписанные записи. Но я так шутить не буду. Всё гораздо проще: последние лет десять я был мало того, что довольно занят, но и крохи свободного времени я распылял между разными площадками и проектами. Сейчас я решил, что настало время собрать всю хронологию на одной площадке - тут. Читателей это мне сильно не прибавит, за комментариями и лайками я не гонюсь, но хоть будет что-то вроде цифровых мемуаров "На что я потратил свою сознательную жизнь". Ну и опять же - вдруг найду новых единомышленников для новых затей и проектов?..

P.S.: Мало того, я ещё и движок сайта перебрать собрался. Ну это так, на будущее. Кстати, может, кто-то мне поможет с бутстрапом, например?

 

Этот пост я пишу скорее даже для себя. С другой стороны, подобных материалов по SAS Base на русском исчезающе мало, так что может и пригодится кому-то ещё.

Сегодня решая забавную задачку по работе, понял, что мне не хватает произвольной, собственной функции. Как её можно создать в SAS? Ну для начала там есть макросы. Но это не то. Макросы в SAS - это скорее метапрограммирование: ты пишешь код, который потом при запуске сгенерирует обычный SAS Base-код и уже он пойдёт на исполнение. А мне нужно было (не вдаваясь в подробности) формировать из одной таблицы другую по шаблону третьей. Уверен, это можно было реализовать вкраплением SQL-запроса (SAS это тоже позволяет делать), но моя мысль заключалась несколько в другом: как бы так объявить обычную функцию, которая бы преобразовывала дающиеся на вход данные, да ещё с участием данных из других таблиц?

Язык SAS Base/Macro - весьма своеобразная датаориентированная среда, и то, что в языках типа Java или PHP решается на раз, в SAS требует принципиально другого подхода. Поэтому пришлось попотеть. Схематичный исходник и пояснения - под катом

 

Фиксирую на будущее ещё одно решение рабочей задачи.

Задача следующая: в таблице в одном из столбцов значения сформированы текстом с переносами строк. И в этом тексте в пределах одного значения строки могут повторяться. И эти дубликаты нужно убрать. Не исключаю, что поиски решения привели меня к написанию велосипеда, но если кто знает вариант получше - не держите в себе, поделитесь.

Схематичный исходник и пояснения - под катом