Kitabı oku: «Интеллектуальный инсульт. Как в мире роботов остаться человеком и не потерять себя», sayfa 3

Yazı tipi:

Глава 2. Вверх по карьерной лестнице, ведущей вниз

Я бы обменял все свои технологии на встречу с Сократом.

Стив Джобс

Даже если вы не карьерист, то наверняка мечтаете об успехе. Говорим об этом уверенно, потому что странно мечтать о неудачах в делах. Рука об руку с понятием «успешность» идет термин «конкурентоспособность». Надо знать больше, чем другие, уметь работать лучше, чем они, и т. д. Чем выше конкуренция, тем больше требований, которым мы должны соответствовать, чтобы не оказаться на обочине. И мы, казалось бы, готовы к этому, хотим учиться и развиваться. Но вот парадокс – при решении этих задач мы выбираем в союзники то, что на самом деле отнимает у нас бесценные для саморазвития ресурсы: внимание и время.

Его величество гаджет

Нам кажется, что для постоянного развития нужно быть поближе к цифровым технологиям. Это так круто и современно. Принято считать, что такие технологии способствуют повышению нашей эффективности. Этот предрассудок мы развенчаем в главе 8, а пока предложим свою версию рождения не только данного мифа, но и демонизации технологий в целом. Несмотря на компьютеризацию всей планеты, 9 из 10 человек не понимают, как работают цифровые технологии. В представлении подавляющего большинства пользователей компьютер – существо сверхъестественное: ведь он столько всего знает, помнит и умеет. А раз так, чем больше времени мы или наши дети проводим в общении с «искусственным интеллектом», тем больше шансов «заразиться» от него умом и талантом. Как говорил Сергей Брин, разработчик и сооснователь поисковой системы Google, «люди преувеличивают значение Google как в лучшую, так и в худшую сторону. Одни говорят, что Google – это бог. Другие – что дьявол»23.

Родители убеждены: чем раньше ребенок окажется за компьютером, тем быстрее научится соображать. Чем раньше сориентируется во всех кнопочках, тем больше у него перспектив. Кстати, профессора ведущего в России Университета информационных технологий ИТМО (Санкт-Петербург), студенты которого побеждают практически на всех чемпионатах мира по программированию, уже устали объяснять родителям: уверенное пользование ПК и успехи в компьютерных играх не имеют ничего общего ни с гениальностью, ни с качеством профильных знаний.

Демонизация компьютера порождает миф о его всемогуществе. А это, в свою очередь, провоцирует зависимость от «великого и ужасного». Но станете ли вы так же поклоняться ПК, если узнаете, что это техническое устройство не умнее… выключателя освещения? Нам скажут: «Не может быть! Вы посягнули на святое!» Однако все устройства, вызывающие восхищение и поклонение, работают по тому же принципу реле, что и самый обычный выключатель в вашей комнате: либо цепь соединена, либо разомкнута (ниже мы расскажем об этом подробнее). С учетом этого факта демонический образ технических устройств и готовность людей поклоняться им напоминает поведение героев сказки «Удивительный волшебник из страны Оз» (1900) американского писателя Фрэнка Баума. В России этот волшебник более известен как Гудвин (герой сказки Александра Волкова «Волшебник Изумрудного города»). Великий и ужасный в представлении жителей сказочной страны, в реальности он оказался обычным человеком. А изумруды – простым стеклом, выглядевшим зеленым в глазах горожан лишь благодаря очкам, которые они обязаны были носить, чтобы защититься от ослепляющего блеска драгоценных камней.

Улучшенная версия станка

Чтобы смириться с низвержением кумира было чуть легче, предлагаем обратиться к истории. Основоположником нынешних суперкомпьютеров можно считать господина Жозефа Жаккарда, изобретателя… станка для цветных тканей, позволявшего запрограммировать узор. Этот станок управлялся конфигурацией отверстий в перфорированных картах. При помощи перфокарты он набивал рисунок. По сути, она была программой для работы станка.

Безусловно, это изобретение можно назвать прогрессом. Но когда человека заменила перфокарта, вместе с работой он потерял и магию мастерства. Ведь теперь любой узор можно было просто запрограммировать!

Следующий этап развития технической идеи наступил в 1890 г. во время переписи населения в США. Для быстрой обработки огромного количества данных использовали табуляторы Холлерита24, основная идея которых похожа на принцип работы станка Жаккарда. С годами система совершенствовалась, а в 1928 г. IBM (напомним: первая в мире компьютерная компания) ввела новую карту с прямоугольными пробивками.

Идея Жаккарда воплощена и в работе телеграфа: точка и тире – всё та же перфокарта. Такая же система действительна для компьютеров, только человека здесь заменил чип – центральный процессор, отвечающий за расшифровку точек и тире. Если раньше сигналы раскодировал живой человек, то теперь – микросхема. Кстати, так возникло кодирование языка в цифры и появился новый язык общения между человеком и устройством.

Таким образом, работая на компьютере, мы фактически имеем дело со станком, а узор, который он рисует, – функция, выполняемая устройством: например, исполнение музыки. Между современным техническим устройством и его предком – станком – лишь одно отличие: гигантская скорость. ПК в секунду «проглатывает» миллиард таких точек и тире. Но, полагаем, признать превосходство компьютера гораздо легче, чем сказать себе: я глупее ткацкого станка.

А вот программы, за которые мы ценим наши устройства, – результат работы специалистов. Реальных людей, умных настолько, чтобы составлять эти сложнейшие перфокарты. Однако пользователи предпочитают думать, что имеют дело с очень умными машинами. Увы, как бы мы ни боялись вас разочаровать, следует признать: 5-летние дети уверенно пользуются компьютерами только потому, что имеют дело с примитивным устройством, очень простым в обращении.

Вот в этих словах «примитивное устройство, очень простое в обращении» и кроется ключевой подвох, когда мы говорим о саморазвитии и повышении конкурентоспособности.

Люди больше не выгодны

Чтобы оставаться востребованным специалистом, нужно постоянно совершенствоваться. Цикл актуальности многих профессий стремительно сокращается. Поэтому теперь практически норма получение нового образования и начало карьеры с нуля в другой области. И это происходит не раз в жизни, а едва ли не каждые несколько лет. Некоторые специальности исчезают в связи с развитием технологий, а в каких-то областях людей заменяют роботы. Сегодня практически не осталось профессий, на которые бы «цифра» не оказала прямое или косвенное влияние. Там, где работодателю выгоднее использовать машину, а не человека, он отдает предпочтение технике.

Безработица в странах «золотого миллиарда» связана не только с экономическими кризисами. Роботы постепенно вытесняют людей. Любопытно, что у журналистов, пишущих о новых гаджетах, появился в связи с этим своеобразный штамп. Статьи, где описываются технологии, выполняющие работу за людей (например, способные оценить состояние здоровья пользователя и поставить ему диагноз, составить программы тренировок и контролировать их выполнение), часто начинаются со слов: «Фитнес-тренеры скоро останутся без работы», «Врачи скоро потеряют работу» и т. д. Но, поскольку прессе нужен свежий информационный повод, она не рассказывает о тех сферах, где автоматика уже заменила людей. Зачем писать о кофейных автоматах, котельных, фондовых рынках и регистрации на рейсы, где давно царствуют роботы?

«Рынок труда становится всё менее „физическим“. Люди чаще зарабатывают на жизнь либо на лишенной перспективы неквалифицированной работе, либо на элитных заоблачных постах. Лично мне это говорит о том, что наша экономика устарела и для соответствия технологическому прогрессу ее нужно реформировать. Однако для других это сигнал, что устарели сами люди… И не в том дело, что рынок говорит, будто обычные люди в онлайне ничего не стоят. Большинство оказались просто выведенными за пределы своей коммерческой ценности», – рассуждает в книге «Кому принадлежит будущее?»25 Джарон Ланье, американский программист, футуролог и музыкант. Кстати, именно он предложил термин «виртуальная реальность», конструированием которой занимается с середины 1980-х.

В ближайшие годы атавизмом станут профессии швеи, кондуктора, консьержа, фасовщика, оператора колл-центра, кассира, парковщика, турагента, копирайтера, менеджера по продажам, машиниста метро. Их, а также представителей многих специальностей заменят роботы или компьютеры, либо функционал этих профессий сильно изменится.

Но не спешите обвинять нас в неолуддизме26: мы не против прогресса! Хотя в Лондоне, например, профсоюз сотрудниковметро проводит забастовки в ответ на решение модернизировать систему продажи билетов и закрыть кассы на станциях. Тысячи человек теряют работу, но бюджет экономит миллионы фунтов стерлингов.

Впрочем, не стоит думать, что в зоне риска лишь примитивные профессии, не требующие интеллекта и предполагающие рутинный набор механических действий. «Искусственный интеллект» переходит на новую ступень развития, и вскоре миру не потребуется такое количество врачей, юристов, бухгалтеров. Речь не об абстрактном далеком будущем: компьютеры уже научились делать то, чем заняты сегодня 80% людей в развитых странах, а значит, им придется сменить работу. Об этом говорит инженер и предприниматель Джереми Ховард, идеолог так называемого глубокого машинного обучения (deep machine learning): «Революция машинного обучения будет сильно отличаться от промышленной революции, потому что революция машинного обучения непрерывна. Чем более интеллектуально развиты компьютеры, тем лучшие устройства они создают. А это приведет к тому, с чем наш мир никогда раньше не сталкивался, и ваши прошлые представления о возможном изменятся… В течение последней четверти века эффективность оборудования росла, в то время как производительность рабочих оставалась прежней или немного снижалась… Когда я рассказываю об этом людям, они зачастую мне не верят: мол, компьютеры не могут думать, переживать, воспринимать стихи. Мы не понимаем по-настоящему, как они работают. И что? Уже сейчас компьютеры делают то, на что люди тратят бóльшую часть оплачиваемого времени, так что теперь пора думать над тем, как мы будем адаптировать наши социальные и экономические структуры, чтобы быть готовыми к новой реальности»27.

Разумеется, мы не предлагаем выкинуть компьютеры и вернуть даже не кассы, а деревянные счеты. Мы говорим о том, что технологии меняют реальность, и от людей зависит, будут ли они в ней востребованы и конкурентоспособны. Потому что роботы не просто отнимают работу – они снижают ценность человека. «Благодаря» им он рискует потерять память, лишиться способности планировать, логически мыслить и принимать решения. Значит, найти новую работу будет гораздо сложнее: продать то, ценность чего постоянно снижается, довольно трудно. А уж сбыть дорого практически невозможно.

Развлечение или обучение?

Конечно, люди и по своей инициативе меняют сферу деятельности: динамика современной жизни (тоже, кстати, во многом заданная цифровыми технологиями) диктует новое восприятие реальности. Всю жизнь заниматься одним и тем же, – скучно. Человек, добившийся к 40 годам признания и убедительных финансовых результатов в одной области и решивший реализовываться в другой, выглядит успешным и самодостаточным.

Но какая бы причина ни подтолкнула вас к обучению, освоение нового потребует усилий. Тех самых, которых «примитивное устройство» от вас давно не требовало. И здесь «на помощь» приходит еще один популярный тренд – эдьютейтмент. Термин объединил в себе два английских слова: education – образование и entertainment – развлечение. Предложение оказалось востребованным, потому что созвучно духу времени и абсолютно гармонично вписалось в концепцию нашего общения с цифровыми технологиями. Ведь нам часто кажется, что, развлекаясь за компьютером, мы проводим время полезно и продуктивно. Да и вообще, разве можно учиться по старинке, когда мир так изменился? Читать учебники, по мнению многих, – занятие скучное и откровенно устаревшее.

Что ж, пожалуй, самое время сказать пару слов об активном и пассивном потреблении информации, поскольку, как считал Рудольф Арнхейм, «мы находимся в плену опасной иллюзии, что восприятие равносильно знанию и пониманию»28. А на самом деле активное потребление всегда связано с работой и знаниями, пассивное – с отдыхом и эмоциями. Разницу между ними очень просто объяснить на примере художественного фильма и учебника.

Когда мы смотрим фильм, то потребляем созданную для нас видео- и аудиоинформацию: 24 кадра в секунду плюс звуковой ряд. За час больше 86 тыс. статичных картинок, динамично прокрученных перед нашими глазами, превратятся в историю, где каждый персонаж в исполнении определенного актера сыграет свою роль. Мы будем переживать за героев, бояться, смеяться, плакать, возмущаться. Но чего мы не будем делать точно, так это формировать самостоятельно визуальные образы: ни людей, ни окружающей обстановки. За нас это уже сделали, и мы лишь пассивно потребляем предложенный нам сюжет в интерпретации режиссера, оператора и артистов. Мы вынуждены смириться с этим, даже если тот или иной актер кажется нам совершенно неубедительным.

Читая художественное произведение, мы развиваем воображение, самостоятельно формируем образы, но по-прежнему получаем эмоции. И лишь читая учебники, справочники, научную или деловую литературу, мы становимся активными потребителями информации. Эти книги – тренажеры для мозга, заставляющие анализировать получаемые данные, сопоставлять с уже усвоенными знаниями и формулировать для себя новые (подробнее о волшебном превращении информации в знания мы поговорим в главе 8). Пока заметим, что активное потребление информации всегда подразумевает серьезную работу по интерпретированию смыслов и предполагает формирование не эмоций, а знаний.

Столь популярный эдьютейтмент осуществляет подмену цели с «получить знания» на «испытать удовольствие». Сочетать развлекательный и образовательный контент – по сути то же самое, что совмещать вечеринку и деловую встречу в офисе.

Овладеете ли вы английским языком настолько, чтобы это помогло продвинуться по карьерной лестнице, если выберете из огромного количества методик так называемый спитинг (Один из самых популярных видов эдьютейтмента, основанный на двух действиях: speaking – говорить и eating – есть. Занятия проходят в кафе или ресторанах за изысканным салатом или чашечкой кофе)? Конечно! Но лишь при условии, что после трапезы и веселого трепа «на английском» придете домой и сядете зубрить слова и третью форму неправильных глаголов. Без концентрации и активных действий, без осмысления новой информации и многочисленных повторов, увы, ничего не получится. Разве что вы сделаете успешную карьеру официанта – вы же теперь неплохо ориентируетесь в кофейнях.

Эдьютейтмент пользуется спросом, т. к. отвечает ожиданиям аудитории: никакого напряжения и много позитивных эмоций. «Бывает, оглядываясь по сторонам, я думаю, что совместить несовместимое нам удалось, только став поверхностными, – мы просто откинули глубокие мысли и высокие идеалы, которые мучили бы нас, если б мы оценивали себя в соответствии с ними», – замечает Дэвид Брукс в своей книге «Бобо в раю»29. Зачем скрывать, пассивное потребление информации – проще и приятнее, поскольку требует меньшей концентрации внимания. А вот активный вариант невозможен без дополнительных усилий. При этом во время эдьютейтмента мы сразу ощущаем «результат»: было вкусно и прикольно. С активным потреблением все сложнее: сначала нужно затратить силы; не факт, что будет очень весело; да и результат мы оценим лишь спустя какое-то время.

Что сможет нас утешить? Во-первых, чтобы было веселее делать упражнения из учебника, сварите кофе и достаньте из холодильника пирожное. А во-вторых, инвестиция времени, сил и внимания окупится, когда вы сможете применить полученные знания в реальной жизни: создать или расширить свой бизнес, больше заработать, выиграть грант, получить повышение. Как говорил Конфуций: «Учиться, а затем, когда представится возможность, применять изученное на практике, – разве это не приятно?»

Место под солнцем

Теперь вернемся к необходимости оставаться конкурентоспособным. «Итак, будут ли люди в условиях гуманистической экономики находить друг в друге достаточную ценность, чтобы зарабатывать себе на жизнь, когда сетевые технологии вместе с роботами станут способны удовлетворять большинство их потребностей и желаний? Сохранят ли обычные люди в долгосрочной перспективе достаточную ценность, чтобы оправдать существование экономики?» – размышляет уже упомянутый выше Джарон Ланье.

В связи с постепенным выдавливанием человека с рынка труда очевидно, что конкуренция между людьми, а также между людьми и роботами будет обостряться. В некоторых сферах этот процесс прогнозировать легче, в других – сложнее. Но каждый из нас должен быть готов к тому, что завтра его знания и умения уже не будут востребованы и придется либо повышать квалификацию, либо осваивать новую область деятельности. В любом случае придется снова научиться учиться. «Люди перемешиваются по всей планете: массовые миграции, смешанные браки, интернет-технологии знакомств… Географических барьеров практически нет, языковые преодолеваются всё более просто. Однако, на этом фоне не столь заметно, вырисовывается и другая тенденция: всё более жесткое деление на образованных и необразованных. На тех, кто готов к завтрашнему дню, и на тех, кому милее вчерашний. Эта тенденция таит в себе социальную опасность. Она делит человечество на две части… Несомненно одно: всегда были успевающие и неуспевающие. Но только теперь, в новом мире, зависимость судьбы от образования становится всё больше. Я думаю, влияние образования на судьбу конкретного человека в исторически короткий период станет больше, чем влияние стартовых возможностей: происхождения, капитала и прочего»30.

В главе 15 мы подробно расскажем о жесткой кастовой системе, которая сложится в цифровом обществе. А пока отметим лишь одно. Те, кто всерьез поверил тезису: «Не нужно ничего учить, потому что вся информация есть в интернете», – окажутся беспомощными и проиграют. Потому что люди, которые читают книги, всегда будут управлять теми, кто смотрит телевизор. И нам кажется, что это справедливо.

Глава 3. Порабощение31

У дурака и счастье глупое.

Китайская пословица

В спектакле «Три сестры», поставленном японским режиссером Ориза Хирата, роль младшей сестры исполняет андроид Geminoid F. «Андроид-версию» привозили и в Россию. Эта постановка – часть проекта «Спектакли с участием роботов». Его вместе с режиссером реализует Хироси Исигуро, ведущий исследователь в сфере робототехники, создавший копию самого себя: робота «геминоид». Такие спектакли, по мнению авторов проекта, должны нивелировать чувство страха и отторжения, которое у многих людей вызывают роботы, похожие на человека. «Роботы сегодня стремительно входят в жизнь людей, и приходится переосмысливать их значение для нас», – говорит Хирата.

Что ж, нам тоже кажется, что для осмысления – самое время.

В окружении

Но для начала определимся с главным термином: мы называем роботами все устройства, которые питаются от электричества. Ведь именно оно и алфавит позволили создать программы, заложенные в эти машины. Какой бы впечатляющей ни была разница между андроидом Geminoid F в образе чеховской героини и чайником, в основе обоих технических изобретений, как мы уже писали в главе 2, лежит принцип выключателя света в комнате. Нажимая на выключатель, вы замыкаете и размыкаете цепь: «вкл.» и «выкл.». Когда включаете, цепь замыкается, поступает электричество и лампочка загорается. Когда выключаете – цепь размыкается и лампочка гаснет. По большому счету, все роботы и компьютеры основаны на этом принципе. Просто в комнате, нажимая на выключатель, мы сами замыкаем и размыкаем цепь, а в компьютере это делает центральный процессор, управляя миллиардами цепей в секунду. А программа – это узор Жаккарда, задающий определенный алогоритм, по которому и происходят замыкания и размыкания цепи.

С каждым днем роботы становятся всё более изощренными, их алгоритмы усложняются. Постоянно совершенствуясь, технические устройства не просто качественнее выполняют свою работу, но и берут на себя новые функции – те, что еще несколько лет назад выполнял человек. Пылесос, помогающий хозяйке навести порядок в доме, – это уже нечто допотопное. Актуально устройство, способное сделать это самостоятельно: согласно введенной программе оно будет уходить с зарядного устройства, пылесосить и вставать обратно на зарядку. Производители автомобилей больше не рекламируют надежность тормозов, призванных предотвратить аварию в экстренной ситуации, – они выпускают машины, которые «видят» препятствие на дороге и снижают скорость, не дожидаясь действий водителя. Еще совсем недавно такое было возможно лишь в фантастических фильмах. Сейчас это привычное явление, хотя не всем пока финансово доступное.

Всё больше функций мы делегируем устройствам. И глупо возражать против технического прогресса, потому что подобные перемены обеспечивают нам максимальный комфорт. Да и проблема не в том, что мы перестаем ходить с пылесосом по квартире.

Современный городской житель (а большинство людей на Земле сейчас живет в городах) старается окружить себя максимально возможным количеством разнообразной техники и взаимодействует с устройствами гораздо больше, чем с людьми. Городская среда, насыщенная роботами, меняет картину мира каждого человека. Изобретая технологии, люди создают среду, в которой роботы делают роботов и машины общаются друг с другом. Подлинным языком международного общения стал язык роботов: весь обмен данными (в том числе и человеческие коммуникации в интернете) происходит при помощи «их» языка-протокола tcp/ip. В этом новом мире уже практически невозможно выжить без знаний о том, как пользоваться устройствами.

А учитывая, что с роботами человек начинает знакомиться в возрасте до года, становится очевидным, что 3—4-летним детям они понятнее, интереснее и привычнее, чем живые люди, например родители. Машины не только выполняют за человека те или иные задачи, но и заменили ему других людей.

Родителей, особенно успешных и чрезвычайно занятых, такой вариант устраивает. И они всерьез обидятся, если мы выскажем предположение, что айпад в руках ребенка – всего лишь способ освободить папу или маму от необходимости разговаривать с малышом, играть с ним, читать ему книгу. Такую свободу они назовут дополнительным бонусом для себя, но как любящие и заботливые родители будут убеждать нас в том, что гаджеты развивают их дочь или сына. «Наши дети умнее нас, они, еще не научившись читать, ловко обращаются со смартфоном и пультом от телевизора», – признайтесь, вы не раз слышали подобные утверждения. Существует даже забавная теория о том, что знания предыдущих поколений передаются на генетическом уровне, поэтому нынешние дети – интуитивно более продвинутые пользователи технологий.

Разрушим миф: дети ориентируются в кнопках на компьютере, потому что, во-первых, как мы уже сказали в главе 2, они имеют дело с примитивным устройством, очень простым в обращении; а во-вторых, компьютер (телевизор, телефон и т. д.) занимает 90% их времени. Разумеется, такое времяпрепровождение не делает их умнее. Не будем отнимать хлеб у психологов, посвятивших немало времени и сил исследованиям о влиянии гаджетов на ребенка. Скажем лишь, что прикосновение к сенсорному экрану не развивает моторику. Для этого требуются мелкие движения (например, чтобы нарисовать маленькую букву при написании письма, необходимо активизировать много мышц и нейронов головного мозга). Компьютерные игры не способствуют игре воображения, возможность при любой сложности перезагрузить компьютер не развивает пытливый ум, стремящийся «во всём дойти до самой сути». Главный принцип любого гаджета – быть максимально дружелюбным к пользователю, т. е. предельно простым и доступным в употреблении. Разве это поможет малышу вырасти сообразительным?

Роботы отнимают у человека «ту мыслительную работу, которую он должен выполнять сам, чтобы сохранять и развивать умственную силу», – убежден немецкий психиатр, исследователь головного мозга, профессор Университета Ульма Манфред Шпитцер. Именно поэтому чем больше времени ребенок проводит перед телевизором, за компьютером или игровой приставкой, тем позже он научится читать и тем хуже запоминает тексты. Более того, значительно усложняется процесс овладения речью.

Очевидно, что противостоять окружающей среде невозможно. Но абсолютно реально изменить степень вовлеченности себя и своих детей в эту средунее, а значит, и контролировать результат ее влияния.

23.Апанасик В. 20 великих бизнесменов. Люди, опередившие свое время. М.: Эксмо, 2012.
24.Герман Холлерит (1860—1929) – американский инженер немецкого происхождения, вошел в историю как создатель электрической табулирующей системы. Идея возможности использования перфокарт для быстрой обработки данных принадлежала высокопоставленному чиновнику бюро переписи Джону Биллингсу (будущему тестю Холлерита).
25.Lanier J. Who Owns the Future? NY: Simon & Schuster, 2013.
26.Луддиты – участники первых стихийных выступлений против применения машин в ходе промышленного переворота в Великобритании (конец XVIII – начало IX вв.). Название – от имени легендарного подмастерья Неда Лудда, который якобы первым в безрассудной ярости разрушил станок.
27.Подробнее см.: https://www.ted.com/talks/jeremy_howard_the_wonderful_and_terrifying_implications_of_computers_that_can_learn/transcript?language=ru.
28.Рудольф Арнхейм (1904—2007) – американский писатель, киновед, кинокритик, эстетик и психолог немецкого происхождения. Цит. по: Чернышев Д. Как люди думают. М.: Манн, Иванов и Фербер, 2013.
29.Брукс Д. Бобо в раю. Откуда берется новая элита. М.: Ад Маргинем, 2014.
30.Гин А. Семь противоречий нового образования // Народное образование, 2004. №8. С. 51.
31.В оригинале заголовок звучал как «ПорОбощение». Однако из уважения к русскому языку авторы его скорректировали.
Yaş sınırı:
16+
Litres'teki yayın tarihi:
01 ekim 2020
Hacim:
304 s. 41 illüstrasyon
ISBN:
9785449881779
İndirme biçimi:
epub, fb2, fb3, ios.epub, mobi, pdf, txt, zip

Bu kitabı okuyanlar şunları da okudu