Сделал перевод труда Ника Бострома:

Этика бесконечного

Представляю вашему вниманию труд Ника Бострома, называемый «Этика бесконечного», и посвящённый вопросу — каковой может быть этика разумного существа из предположения о том, что мир бесконечен, и какие проблемы нас подстерегают на пути формулировки такой этики. Труд в первую очередь посвящён одной из разновидностей утилитарной этики — агрегативному консеквенциализму - которая стоит на том, что необходимо максимизировать сумму благ и минимизировать сумму страданий во всём мире. При попытке применить обыкновенную версию подсчёта суммы благ и страданий в бесконечном мире их сумма может оказываться попросту неопределённой, что порождает проблему инфинитного паралича. Становится совершенно неясно, как можно максимизировать некоторое значение, если его величина не определена.

При замене простого суммирования другими процедурами проблема инфинитного паралича отступает, уступая место другим проблемам — например, проблеме фанатизма, связанной с так называемыми «дикими картами» (термин не используется в тексте) теории планирования — сценариями развития событий, вероятность которых ничтожна, но если они свершатся, то последствия их будут грандиозны. И если грандиозность последствий «дикой карты» перевешивает малую вероятность её свершения, то рассуждения о возможности наступления соответствующего сценария развития событий могут подавить все остальные соображения и направить поведение агента по «фанатичному» курсу действий, требующему любой ценой достичь, предотвратить или подготовится к наступлению соответствующего события. Такие «дикие карты» легко могут сделать рекомендации теории принятия решений странными, вредными, противоречащими здравому смыслу и исходным целям и даже бессмысленными. И в случае, когда в игру вступают бесконечности, проблема «диких карт» только обостряется — ибо в их случае бесконечные последствия перевешивают любую сколь угодно малую конечную вероятность наступления соответствующих событий.

В случае, если некий разумный агент не придерживается агрегативного консеквенциализма, а например следует этическим соображениям «долга» или «чести», деонтологической или сверхценной, [квази]религиозной этике, соображениям «кто сильнее тот и прав», некоторым инстинктам и вкладываемым извне программам, или просто собственному эгоизму — то всё равно, следуя из предположения о том, что он разумен, мы приходим к выводу, что он будет использовать наработки теории принятия решений. И в случаях, когда он столкнётся с необходимостью либо учесть некоторые значения, касающиеся всего мира или другого бесконечного множества, либо с перспективой бесконечно больших выгод или потерь — во всех этих случаях рассматриваемые в этом труде проблемы будут иметь место и для него, пусть (возможно) и с меньшей остротой.

Наконец, предвидя попытки возражения против самого понятия «этика» - под «этикой» в данном тексте мы будем понимать наличие у субъекта представления о должном и программу действий, призванную эти представления воплощать. Таким образом, во-первых, отметается возражение о том, что мол «этику придумали моралуфаги, умному/скептически настроенному/нерелигиозному/принадлежащему некоторой религии/асоциальному/вставить_нужное [сверх/недо/не]человеку этика не нужна». Она не может быть не нужна просто потому, что скорее всего для весьма широкого диапазона достаточно разумных агентов просто нет опции, при которой никакой этики у них нет. Во-вторых, это определение позволяет распространить понятие этики на поведение тех субъектов, которые обыкновенно за несоответствие общепринятым нормам морали рассматриваются как «безнравственные» или «злые». Если у них есть представления о должном — пусть эти представления сколь угодно не соответствуют общепринятым нормам морали и выглядят «злодейскими» - мы все равно будем приписывать этим существам этичность. Убийца, считающий высшей ценностью сбор свежих черепов, и посвящающий этому делу всё своё свободное время, будет в этом смысле по-своему очень этичным существом. А лентяй, не причиняющий никакого страдания другим просто из-за отсутствия представления о том, что что-то следует сделать и побуждений что-то делать, будет признан лишённым этики. В-третьих, это определение позволяет предположить, что определённая этика будет характерна как для инопланетных разумных существ, так и для сравнительно широкого класса разумных компьютерных программ или наделённых ИИ роботов, как и вообще для многих других нечеловеческих разумных агентов.


P.S. На том же сайте доступен другой мой перевод другого труда Ника Бострома - Воля Сверхразума.